bloqueo de robot  

 
Ricardo
 Ricardo
Usuario activo

Hola,
En mi consola de Google me aparecen muchas advertencias : 418
PORQUE:
"El archivo robots.txt ha bloqueado la URL.
El sitemap incluye URL que el archivo robots.txt ha bloqueado."

Que significa???, Podeis ayudarme a resolverlo?
Gracias

RTF

En archivo adjunto el archivo robot.txt, gracias

URL del sitio: Contenido solo visible a usuarios registrados

Citar
Respondido : 27/02/2017 12:58 am
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola Ricardo.

¿ Que extensión usas para el sitemap ? ¿ utilizas yoast para el SEO ?

El Aviso significa que uno de los sitemaps generados por Yoast, contiene URLs que se encuentran bloqueadas desde robots.txt o desde una meta etiqueta robots, ej:

Verifica las excepciones a esas URLs en la configuración de Yoast.

Te dejo un enlace al Blog con información sobre lo que te comento y como solucionarlo:
robots.txt en WordPress ¿que problema tienes googlebot?

Un saludo

ResponderCitar
Respondido : 27/02/2017 8:44 am

Cursos Gratuitos WordPress

Ricardo
 Ricardo
Usuario activo

Hola Pepe, utilizo YOAST SEO, he intentado utilizar lo propuesto en el blog que me indicas pero no se me resuelven las incidencias

Gracias

RTF

ResponderCitar
Respondido : 28/02/2017 8:23 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

HOla

Tienes un robots.txt muy extenso, te sugiero hacerlo más simple y evitar complicaciones, limita por ejemplo sólo:

User-Agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/

Sitemap:  https://www.procuradorensantiago.es/sitemap_index.xml 

Como ves no limitas para nada el sitemap y haces referencia al index del sitemap que es el que contiene los 3 links.

Saludos

ResponderCitar
Respondido : 28/02/2017 9:16 pm

wpdoctor-revisa-la-salud-de-tu-wordpress

Ricardo
 Ricardo
Usuario activo

Gracias Jhon, probe los cambios que me dijiste y tampoco me funciono, busque en webempresa y aplique un texto para wordpress y para robot.txt. Aplique en index el sitemap y al final ha mejorado pero solo para /category-sitemap.xml.

Siguen dando error:
/page-sitemap.xml
/post-sitemap.xml

Como puedo resolverlo.

Muchas gracias

ResponderCitar
Respondido : 02/03/2017 6:18 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

Hola

Has probado sólo colocar la url del índice?

Contenido solo visible a usuarios registrados

Saludos.

ResponderCitar
Respondido : 02/03/2017 6:27 pm

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress