Problema con la indexación de comments/feed/ y robots.txt en Google Search console  

 
Mario
 Mario
Usuario activo

Buenas tardes,

He configurado el archivo robots.txt de mi sitio web ( https://comparalosmejores.es/robots.txt ) siguiendo la guía de uno de vuestros post https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html , pero me ha llegado un mail de Google Seach Console advirtiendo que "Se han detectado problemas de cobertura en mi web" debido a que una página "se ha indexado aunque un archivo robots.txt la ha bloqueado".

Al consultar el informe veo que la página que tengo bloqueda es "https://comparalosmejores.es/comments/feed/".

error google console

¿Cómo puedo solucionar el problema? ¿Dónde puedo ponerle el noindex a la página de "comments/feed/" para que desaparezca este aviso? porque no veo la manera de acceder a esa página y no quiero tocar código del tema en la medida de lo posible. Uso GeneratePress, por si conocéis algún hook del tema que pueda ayudar.

 

* Acabo de actualizar el archivo robots.txt de mi sitio web y he cambiado estas dos líneas:

Allow: /feed
Allow: /comments/feed

El problema me ha dado cuando ambas estaban como "Disallow".

 

Gracias de nuevo por vuestro gran trabajo.

This topic was modified hace 4 meses por Gerard Martínez
Citar
Respondido : 19/05/2020 5:41 pm
Jhon Marreros Guzman
 Jhon Marreros Guzman
Soporte CMS Webempresa Moderator

Hola

Personalmente creo que no deberías tener tanto código en el robots.txt, prueba sólo usar:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap:  https://sitioweb/sitemap_index.xml 

El resto que no aparezcan aqui serán permitidas, si quieres restringir una página específica usa algún plugin como SEO Yoast para establecer que no se indexe

Por cierto cambia en el sitemap : sitioweb , debes poner una url válida que haga referencia a tu mapa de sitio.

Saludos.

This post was modified hace 4 meses por Jhon Marreros Guzman

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar mi Testimonio
¡Gracias!.

ResponderCitar
Respondido : 19/05/2020 6:44 pm

Cursos Gratuitos WordPress

Mario
 Mario
Usuario activo

Gracias por la información @jmarreros, sobre todo por lo del sitemap, se me había pasado cambiarlo después del copy/paste 😓.

He actualizado el archivo tal y como comentas, pero me surgen algunas dudas. ¿Qué diferencias hay entre "deshabilitar"  una página desde el robots.txt o pornerle el "noindex"? ¿Hay alguna que prefiera Google para las arañas? 

 

Un saludo.

 

ResponderCitar
Respondido : 19/05/2020 9:07 pm
Jhon Marreros Guzman
 Jhon Marreros Guzman
Soporte CMS Webempresa Moderator

Hola

Usualmente deshabilitas por robots.txt directorios enteros.

y usas un plugin como SEO Yoast para páginas individuales.

Saludos.

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar mi Testimonio
¡Gracias!.

ResponderCitar
Respondido : 19/05/2020 10:05 pm

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Por favor Iniciar Sesión o Registro