Error 500 robot.txt  

 
Juan Carlos
 Juan Carlos
Usuario activo

Esta mañana me ha llegado una notificación de Google diciéndome que al robot le es imposible acceder a mi sitio. He probado con http://www.misitio.com/robot.txt y efectivamente me devuelve un mensaje de "500 internal server error" como hasta ahora su creación había sido automática no tengo ni idea de donde crearlo, incluso he instalado un plugging especifico pero el error continua y desde las herramientas para webmaster de Google también lo he creado y el error persiste.
¿Que más puedo tocar?

URL del sitio: Contenido solo visible a usuarios registrados

Citar
Respondido : 12/03/2014 5:31 pm
Pablo Velasco
 Pablo Velasco
Illustrious Member

Hola,

El archivo robots.txt (no robot.txt como comentas) es un archivo que se puede colocar opcionalmente en una web para indicarle a los robots de búsqueda las páginas y directorios que pueden rastrear. No es necesario tenerlo para que los robots de búsqueda visiten tu página.

De hecho, por defecto con WordPress no viene un archivo robots.txt, ya que la información sobre las páginas que puede rastrear o no se las pasa mediante metas.

Vete en la administración de la web a Ajustes->Lectura y aquí asegúrate de que tienes desactivado el parámetro Visibilidad para los buscadores, ya que en caso de que estuviera activado los robots no podrán rastrear tu web.

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¡Gracias!.

ResponderCitar
Respondido : 12/03/2014 5:55 pm

Gestor de Contraseñas - VPN Conexión Segura - Gestor 2FA (Segundo Factor de Autenticación

Juan Carlos
 Juan Carlos
Usuario activo

Gracias Pablo por responder tan rápido, pero no esta ahí el error, ya se que es opcional en la web pero no se en que punto impide a Google rastearla. El día siete de este mes analice la pagina con WooRank y me indico que perfecto, tenia un archivo robots.txt y funcionaba bien.
No se que ha podido pasar en estos días.

Un saludo

ResponderCitar
Respondido : 12/03/2014 6:34 pm
Luis Mendez Alejo
 Luis Mendez Alejo
Miembro Admin

Hola Juan Carlos,

Efectivamente verifico que se genera un erro 500 al consultar tu archivo robots.txt:

500 Internal Server Error 0.38s - 700 Bytes - text/html; charset=iso-8859-1

¿Como lo has generado el archivo?

WordPress no necesita el archivo robots.txt ya que lo genera dinámicamente.

De lo que si tienes que preocuparte es de generar los sitemaps (post, páginas, etc.) y subirlos a los buscadores habituales (Bing, Google, Yahoo, etc.) que los bots de indexados ya se encargarán de buscar tu archivo de robots.txt llegado el caso para no rastrear las rutas.

Tienes un plugin que te permite generar un robots.txt y tener mayor control sobre el (no soy partidario de este tipo de plugins):

- http://wordpress.org/plugins/wp-robots-txt/

O el plugin Meta Robots WordPress de Yoast.

En el dashboard, Herramientas, Lecturas verifica que no tengas habilitado el checkbox: Visibilidad para los buscadores.

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¡Gracias!.

ResponderCitar
Respondido : 12/03/2014 10:59 pm

wpdoctor-revisa-la-salud-de-tu-wordpress

Por favor Iniciar Sesión o Registro