Avisos
Vaciar todo

eliminar urls usando robots.txt

6 Respuestas
3 Usuarios
0 Reactions
1,142 Visitas
Respuestas: 363
Reputable Member
Topic starter
 

hola, solo una cosilla.

he leido que puedo elimnar urls de google webmaster usando robots.txt pero tengo una duda:

por ejemplo para eliminar carpetas he visto que usan disallow: /ejemplo/

yo quiero muchas urls sueltas como por ejemplo:
disallow: http://www.dominio.com/nombre.html

esta bien puesto asi?, quiero eliminar bastantes y a ver si asi vale.

saludos y gracias

URL del sitio: Contenido solo visible a usuarios registrados


 
Respondido : 21/10/2016 9:43 pm
Jhon
 Jhon
Respuestas: 44989
Illustrious Member Moderator
 

HOla

Podrías probar usando patrones (patterns), revisa :
http://searchengineland.com/a-deeper-look-at-robotstxt-17573

Saludos.


 
Respondido : 21/10/2016 10:49 pm
Respuestas: 363
Reputable Member
Topic starter
 

Hola.

No me aclaro mucho ya que trata demasiados parametros. Tampoco se a que te refieres con los patrones.

Podrias indicar entonces para eliminar del indice como debo ponder una url para una pagina?

Saludos y gracias


 
Respondido : 22/10/2016 5:03 am
Pepe
 Pepe
Respuestas: 41115
Illustrious Member Admin
 

Hola Enrique.

Robots.txt usa solamente dos reglas sencillas:
.-User-Agent: el robot al que se aplica la siguiente regla
.-Disallow: la URL que quieres bloquear

Unos Ejemplos serian:
User-Agent: Googlebot ( este bloquearía solo el robot de google )
Disallow: /carpeta/

User-Agent: *
Disallow: /carpeta/

En el primer caso, solamente los bots de Google no pueden indexar el contenido de “carpeta”, mientras que en el segundo ningún bot puede hacerlo.

En tu caso puedes utilizar:

User-Agent: Googlebot
Disallow: Contenido solo visible a usuarios registrados

Un saludo


 
Respondido : 22/10/2016 10:48 am
Respuestas: 363
Reputable Member
Topic starter
 

Muchas gracias, voy a probarlo.

saludos.


 
Respondido : 22/10/2016 10:55 am
Pepe
 Pepe
Respuestas: 41115
Illustrious Member Admin
 

Hola enrique.
ok, dejamos el hilo en espera de tus comentarios.

Un saludo


 
Respondido : 22/10/2016 11:35 am