Avisos
Vaciar todo
Esta mañana me ha llegado una notificación de Google diciéndome que al robot le es imposible acceder a mi sitio. He probado con http://www.misitio.com/robot.txt y efectivamente me devuelve un mensaje de "500 internal server error" como hasta ahora su creación había sido automática no tengo ni idea de donde crearlo, incluso he instalado un plugging especifico pero el error continua y desde las herramientas para webmaster de Google también lo he creado y el error persiste.
¿Que más puedo tocar?
URL del sitio: Contenido solo visible a usuarios registrados
Respondido : 12/03/2014 5:31 pm
Hola,
El archivo robots.txt (no robot.txt como comentas) es un archivo que se puede colocar opcionalmente en una web para indicarle a los robots de búsqueda las páginas y directorios que pueden rastrear. No es necesario tenerlo para que los robots de búsqueda visiten tu página.
De hecho, por defecto con WordPress no viene un archivo robots.txt, ya que la información sobre las páginas que puede rastrear o no se las pasa mediante metas.
Vete en la administración de la web a Ajustes->Lectura y aquí asegúrate de que tienes desactivado el parámetro Visibilidad para los buscadores, ya que en caso de que estuviera activado los robots no podrán rastrear tu web.
Respondido : 12/03/2014 5:55 pm
Gracias Pablo por responder tan rápido, pero no esta ahí el error, ya se que es opcional en la web pero no se en que punto impide a Google rastearla. El día siete de este mes analice la pagina con WooRank y me indico que perfecto, tenia un archivo robots.txt y funcionaba bien.
No se que ha podido pasar en estos días.
Un saludo
Respondido : 12/03/2014 6:34 pm
Hola Juan Carlos,
Efectivamente verifico que se genera un erro 500 al consultar tu archivo robots.txt:
500 Internal Server Error 0.38s - 700 Bytes - text/html; charset=iso-8859-1
¿Como lo has generado el archivo?
WordPress no necesita el archivo robots.txt ya que lo genera dinámicamente.
De lo que si tienes que preocuparte es de generar los sitemaps (post, páginas, etc.) y subirlos a los buscadores habituales (Bing, Google, Yahoo, etc.) que los bots de indexados ya se encargarán de buscar tu archivo de robots.txt llegado el caso para no rastrear las rutas.
Tienes un plugin que te permite generar un robots.txt y tener mayor control sobre el (no soy partidario de este tipo de plugins):
- http://wordpress.org/plugins/wp-robots-txt/
O el plugin Meta Robots WordPress de Yoast.
En el dashboard, Herramientas, Lecturas verifica que no tengas habilitado el checkbox: Visibilidad para los buscadores.
Respondido : 12/03/2014 10:59 pm
