Avisos
Vaciar todo
Buenas,
Creo que tengo problemas con el archivo robots.txt
Por mucho que ponga que dejen de seguirme en páginas que ya no existen, no paran de crecer mi numero de errores de rastreo por error 404 en google.
Mi archivo robots.txt tiene unas 3000 líneas Disallow. Este es un ejemplo de mi archivo, grabado en txt y codificación UTF-8
User-agent: *
#Disallow: /components/
#Disallow: /media/
#Disallow: /modules/
#Disallow: /templates/
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /medicamentosonline.net/__media__/js/trademark.php?d=medicamentosonline.net&type=ns
Disallow: /medicamentosonline.net/component/content/article
Disallow: /medicamentosonline.net/component/content/article?id=article
Disallow: /medicamentosonline.net/es/
#A partir de aquí tengo como 3000 líneas de errores 404 que me he ido descargando de google web master#
¿Esta bien hecho? Es que ya dudo de que este haciendo bien dicho archivo, ayer tenía 3000 errores y hoy 4700, no para de subirme.
URL del sitio: Contenido solo visible a usuarios registrados
Respondido : 07/10/2015 10:14 am
Buenos días María,
¿Podrías pasarnos una captura del último extracto de aquellas URLs que dan error desde Webmaster de Google? ¿Has verificado que las URLs que indica como error estén en el archivo robots.txt?
He examinado el archivo robots.txt que nos adjuntas y no veo errores, está bien configurado.
Saludos
Saludos
Respondido : 07/10/2015 10:27 am
Adjunto archivo.
Por ejemplo, el que sale en la posición 1º
http://www.medicamentosonline.net/es/ley-de-cookies
En la línea 45 de mi archivo robots.txt sale así:
Disallow: /medicamentosonline.net/es/ley-de-cookies
Sin embargo, se sigue mostrando error de rastreo. Los doy como solucionados, informo a google de que he hecho un nuevo archivo robots.txt y me vuelven a salir.
Respondido : 07/10/2015 10:42 am
Hola María,
Entiendo que el dominio que usas medicamentosonline.net es el dominio principal en tu cPanel, es por esto que las rutas son incorrectas, de ahí que no te lo reconozca.
Por defecto, el archivo robots.txt tomará como indice la carpeta public_html, es por esto que le estás indicando que no indexe siguiendo tu ejemplo en -> public_html/medicamentosonline.net/es/ley-de-cookies como carpeta y no como URL de tu sitio.
Cambia /medicamentosonline.net/es/ley-de-cookies por /es/ley-de-cookies ( y en todos los restantes que sean enlaces a tu página web )
Revisa si con ello el problema se soluciona
Saludos
Respondido : 07/10/2015 11:01 am
Entiendo que todas la líneas han de quedar sin el dominio principal delante.
Por ejemplo:
Disallow: /es/ley-de-cookies
Acabo de poner todas las líneas así. A ver don Google que dice.
Respondido : 07/10/2015 11:34 am
Hola María,
Efectivamente siempre que sean URL relativas de tu página de medicamentosonline.net tiene que quedar tal y como comentas.
Quedamos a la espera que nos confirmes los resultados.
Saludos
Respondido : 07/10/2015 11:37 am
He hecho los cambios hace un rato, y mi sorpresa es que de 3746 errores de las 9:39 he pasado a 4533 errores a las 12:10 de no se encuentra. Lo que pasa es que ahora no me sale nada en el listado donde se supone que tienen que venirte todos los enlaces.
Desconozco si google tarda en actualizar esto.
Adjunto pantallazo y mi archivo final de robots.txt
Respondido : 07/10/2015 1:12 pm
Hola,
Google puede tardar bastante tiempo en indexar de nuevo los resultados y tener en cuenta lo configurado en robots.txt.
Ten en cuenta que el robot de Google deberá volver a rastrear tu web para que los cambios aplicados sean tenidos en cuenta. No existe un plazo determinado para que Google realice el rastreo, ya que los tiempos varían en función de la importancia que Google le da a la página.
Revisa el siguiente enlace donde se explican los pasos a seguir para solicitar un nuevo rastreo de Google:
Respondido : 07/10/2015 3:55 pm
Ok. Iré vigilando los errores de rastreo.
Muchas gracias a los dos.
Respondido : 07/10/2015 6:23 pm
Van poco a poco disminuyendo.
Cuando tienes más de 1000 errores, google te da los primeros 1000 errores en un archivo csv, los solucionas y te vuelve a dar los 1000 siguientes, y así poco a poco voy sacando todos los errores de rastreo.
Me quedan 1747. De 4532 que tenía inicialmente, en menos una semana. Espero tenerlos a 0 en breve.
Saludos
Respondido : 13/10/2015 12:03 pm
¡Hola María!
Perfecto, dejamos el hilo en espera a que nos comentes los resultados definitivos.
Saludos
Respondido : 13/10/2015 12:10 pm
