eliminar urls usando robots.txt  

 
Enrique
Reputable Member

hola, solo una cosilla.

he leido que puedo elimnar urls de google webmaster usando robots.txt pero tengo una duda:

por ejemplo para eliminar carpetas he visto que usan disallow: /ejemplo/

yo quiero muchas urls sueltas como por ejemplo:
disallow: http://www.dominio.com/nombre.html

esta bien puesto asi?, quiero eliminar bastantes y a ver si asi vale.

saludos y gracias

URL del sitio: Contenido solo visible a usuarios registrados

Citar
Respondido : 21/10/2016 10:43 pm
Jhon Marreros Guzman
Miembro Moderator

HOla

Podrías probar usando patrones (patterns), revisa :
http://searchengineland.com/a-deeper-look-at-robotstxt-17573

Saludos.

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar mi Testimonio
¡Gracias!.

ResponderCitar
Respondido : 21/10/2016 11:49 pm

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Enrique
Reputable Member

Hola.

No me aclaro mucho ya que trata demasiados parametros. Tampoco se a que te refieres con los patrones.

Podrias indicar entonces para eliminar del indice como debo ponder una url para una pagina?

Saludos y gracias

ResponderCitar
Respondido : 22/10/2016 6:03 am
Pepe
 Pepe
Miembro Moderator

Hola Enrique.

Robots.txt usa solamente dos reglas sencillas:
.-User-Agent: el robot al que se aplica la siguiente regla
.-Disallow: la URL que quieres bloquear

Unos Ejemplos serian:
User-Agent: Googlebot ( este bloquearía solo el robot de google )
Disallow: /carpeta/

User-Agent: *
Disallow: /carpeta/

En el primer caso, solamente los bots de Google no pueden indexar el contenido de “carpeta”, mientras que en el segundo ningún bot puede hacerlo.

En tu caso puedes utilizar:

User-Agent: Googlebot
Disallow: Contenido solo visible a usuarios registrados

Un saludo

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¿Has probado WpCenter?, es nuestro nuevo manager de WordPress desde el propio cPanel sin necesidad de acceder a tu administración, te permitirá configurar actualizaciones automáticas y mucho más.
Pruébalo accediendo a tu cPanel > Aplicaciones Webempresa > WpCenter
¡Gracias!.

ResponderCitar
Respondido : 22/10/2016 11:48 am

Cursos Gratuitos WordPress

Enrique
Reputable Member

Muchas gracias, voy a probarlo.

saludos.

ResponderCitar
Respondido : 22/10/2016 11:55 am
Pepe
 Pepe
Miembro Moderator

Hola enrique.
ok, dejamos el hilo en espera de tus comentarios.

Un saludo

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¿Has probado WpCenter?, es nuestro nuevo manager de WordPress desde el propio cPanel sin necesidad de acceder a tu administración, te permitirá configurar actualizaciones automáticas y mucho más.
Pruébalo accediendo a tu cPanel > Aplicaciones Webempresa > WpCenter
¡Gracias!.

ResponderCitar
Respondido : 22/10/2016 12:35 pm

wpdoctor-revisa-la-salud-de-tu-wordpress

wpdoctor-revisa-la-salud-de-tu-wordpress

Por favor Iniciar Sesión o Registro