Errores de rastreo y archivo Robots.txt  

 
Maria Amparo
 Maria Amparo
Usuario eminente

Buenas,

Creo que tengo problemas con el archivo robots.txt
Por mucho que ponga que dejen de seguirme en páginas que ya no existen, no paran de crecer mi numero de errores de rastreo por error 404 en google.

Mi archivo robots.txt tiene unas 3000 líneas Disallow. Este es un ejemplo de mi archivo, grabado en txt y codificación UTF-8

User-agent: *
#Disallow: /components/
#Disallow: /media/
#Disallow: /modules/
#Disallow: /templates/
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /medicamentosonline.net/__media__/js/trademark.php?d=medicamentosonline.net&type=ns
Disallow: /medicamentosonline.net/component/content/article
Disallow: /medicamentosonline.net/component/content/article?id=article
Disallow: /medicamentosonline.net/es/
#A partir de aquí tengo como 3000 líneas de errores 404 que me he ido descargando de google web master#

¿Esta bien hecho? Es que ya dudo de que este haciendo bien dicho archivo, ayer tenía 3000 errores y hoy 4700, no para de subirme.

URL del sitio: Contenido solo visible a usuarios registrados

Citar
Respondido : 07/10/2015 10:14 am
Rafael
 Rafael
Miembro Moderator

Buenos días María,

¿Podrías pasarnos una captura del último extracto de aquellas URLs que dan error desde Webmaster de Google? ¿Has verificado que las URLs que indica como error estén en el archivo robots.txt?

He examinado el archivo robots.txt que nos adjuntas y no veo errores, está bien configurado.

Saludos

Saludos

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¡Gracias!.

ResponderCitar
Respondido : 07/10/2015 10:27 am

wpdoctor-revisa-la-salud-de-tu-wordpress

Maria Amparo
 Maria Amparo
Usuario eminente

Adjunto archivo.

Por ejemplo, el que sale en la posición 1º

http://www.medicamentosonline.net/es/ley-de-cookies

En la línea 45 de mi archivo robots.txt sale así:
Disallow: /medicamentosonline.net/es/ley-de-cookies

Sin embargo, se sigue mostrando error de rastreo. Los doy como solucionados, informo a google de que he hecho un nuevo archivo robots.txt y me vuelven a salir.

ResponderCitar
Respondido : 07/10/2015 10:42 am
Rafael
 Rafael
Miembro Moderator

Hola María,

Entiendo que el dominio que usas medicamentosonline.net es el dominio principal en tu cPanel, es por esto que las rutas son incorrectas, de ahí que no te lo reconozca.

Por defecto, el archivo robots.txt tomará como indice la carpeta public_html, es por esto que le estás indicando que no indexe siguiendo tu ejemplo en -> public_html/medicamentosonline.net/es/ley-de-cookies como carpeta y no como URL de tu sitio.

Cambia /medicamentosonline.net/es/ley-de-cookies por /es/ley-de-cookies ( y en todos los restantes que sean enlaces a tu página web )

Revisa si con ello el problema se soluciona

Saludos

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¡Gracias!.

ResponderCitar
Respondido : 07/10/2015 11:01 am

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Maria Amparo
 Maria Amparo
Usuario eminente

Entiendo que todas la líneas han de quedar sin el dominio principal delante.

Por ejemplo:
Disallow: /es/ley-de-cookies

Acabo de poner todas las líneas así. A ver don Google que dice.

ResponderCitar
Respondido : 07/10/2015 11:34 am
Rafael
 Rafael
Miembro Moderator

Hola María,

Efectivamente siempre que sean URL relativas de tu página de medicamentosonline.net tiene que quedar tal y como comentas.

Quedamos a la espera que nos confirmes los resultados.

Saludos

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¡Gracias!.

ResponderCitar
Respondido : 07/10/2015 11:37 am

Gestor de Contraseñas - VPN Conexión Segura - Gestor 2FA (Segundo Factor de Autenticación

Maria Amparo
 Maria Amparo
Usuario eminente

He hecho los cambios hace un rato, y mi sorpresa es que de 3746 errores de las 9:39 he pasado a 4533 errores a las 12:10 de no se encuentra. Lo que pasa es que ahora no me sale nada en el listado donde se supone que tienen que venirte todos los enlaces.

Desconozco si google tarda en actualizar esto.

Adjunto pantallazo y mi archivo final de robots.txt

ResponderCitar
Respondido : 07/10/2015 1:12 pm
Pablo Velasco
 Pablo Velasco
Illustrious Member

Hola,

Google puede tardar bastante tiempo en indexar de nuevo los resultados y tener en cuenta lo configurado en robots.txt.

Ten en cuenta que el robot de Google deberá volver a rastrear tu web para que los cambios aplicados sean tenidos en cuenta. No existe un plazo determinado para que Google realice el rastreo, ya que los tiempos varían en función de la importancia que Google le da a la página.

Revisa el siguiente enlace donde se explican los pasos a seguir para solicitar un nuevo rastreo de Google:

https://support.google.com/webmasters/answer/6065812?hl=es

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¡Gracias!.

ResponderCitar
Respondido : 07/10/2015 3:55 pm

Cursos Gratuitos WordPress

Maria Amparo
 Maria Amparo
Usuario eminente

Ok. Iré vigilando los errores de rastreo.

Muchas gracias a los dos.

ResponderCitar
Respondido : 07/10/2015 6:23 pm
Maria Amparo
 Maria Amparo
Usuario eminente

Van poco a poco disminuyendo.

Cuando tienes más de 1000 errores, google te da los primeros 1000 errores en un archivo csv, los solucionas y te vuelve a dar los 1000 siguientes, y así poco a poco voy sacando todos los errores de rastreo.

Me quedan 1747. De 4532 que tenía inicialmente, en menos una semana. Espero tenerlos a 0 en breve.

Saludos

ResponderCitar
Respondido : 13/10/2015 12:03 pm

wpdoctor-revisa-la-salud-de-tu-wordpress

Rafael
 Rafael
Miembro Moderator

¡Hola María!

Perfecto, dejamos el hilo en espera a que nos comentes los resultados definitivos.

Saludos

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¡Gracias!.

ResponderCitar
Respondido : 13/10/2015 12:10 pm

Por favor Iniciar Sesión o Registro