Avisos
Vaciar todo

eliminar urls usando robots.txt  

 
Enrique
 Enrique
Reputable Member

hola, solo una cosilla.

he leido que puedo elimnar urls de google webmaster usando robots.txt pero tengo una duda:

por ejemplo para eliminar carpetas he visto que usan disallow: /ejemplo/

yo quiero muchas urls sueltas como por ejemplo:
disallow: http://www.dominio.com/nombre.html

esta bien puesto asi?, quiero eliminar bastantes y a ver si asi vale.

saludos y gracias

URL del sitio: Contenido solo visible a usuarios registrados

Citar
Respondido : 21/10/2016 10:43 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

HOla

Podrías probar usando patrones (patterns), revisa :
http://searchengineland.com/a-deeper-look-at-robotstxt-17573

Saludos.

ResponderCitar
Respondido : 21/10/2016 11:49 pm

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Enrique
 Enrique
Reputable Member

Hola.

No me aclaro mucho ya que trata demasiados parametros. Tampoco se a que te refieres con los patrones.

Podrias indicar entonces para eliminar del indice como debo ponder una url para una pagina?

Saludos y gracias

ResponderCitar
Respondido : 22/10/2016 6:03 am
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola Enrique.

Robots.txt usa solamente dos reglas sencillas:
.-User-Agent: el robot al que se aplica la siguiente regla
.-Disallow: la URL que quieres bloquear

Unos Ejemplos serian:
User-Agent: Googlebot ( este bloquearía solo el robot de google )
Disallow: /carpeta/

User-Agent: *
Disallow: /carpeta/

En el primer caso, solamente los bots de Google no pueden indexar el contenido de “carpeta”, mientras que en el segundo ningún bot puede hacerlo.

En tu caso puedes utilizar:

User-Agent: Googlebot
Disallow: Contenido solo visible a usuarios registrados

Un saludo

ResponderCitar
Respondido : 22/10/2016 11:48 am

wpdoctor-revisa-la-salud-de-tu-wordpress

Enrique
 Enrique
Reputable Member

Muchas gracias, voy a probarlo.

saludos.

ResponderCitar
Respondido : 22/10/2016 11:55 am
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola enrique.
ok, dejamos el hilo en espera de tus comentarios.

Un saludo

ResponderCitar
Respondido : 22/10/2016 12:35 pm