Problema con la indexación de comments/feed/ y robots.txt en Google Search console  

 
Mario
 Mario
Usuario activo

Buenas tardes,

He configurado el archivo robots.txt de mi sitio web ( https://comparalosmejores.es/robots.txt ) siguiendo la guía de uno de vuestros post https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html , pero me ha llegado un mail de Google Seach Console advirtiendo que "Se han detectado problemas de cobertura en mi web" debido a que una página "se ha indexado aunque un archivo robots.txt la ha bloqueado".

Al consultar el informe veo que la página que tengo bloqueda es "https://comparalosmejores.es/comments/feed/".

error google console

¿Cómo puedo solucionar el problema? ¿Dónde puedo ponerle el noindex a la página de "comments/feed/" para que desaparezca este aviso? porque no veo la manera de acceder a esa página y no quiero tocar código del tema en la medida de lo posible. Uso GeneratePress, por si conocéis algún hook del tema que pueda ayudar.

 

* Acabo de actualizar el archivo robots.txt de mi sitio web y he cambiado estas dos líneas:

Allow: /feed
Allow: /comments/feed

El problema me ha dado cuando ambas estaban como "Disallow".

 

Gracias de nuevo por vuestro gran trabajo.

Este debate ha sido modificado el hace 6 meses por Gerard Martínez
Citar
Respondido : 19/05/2020 5:41 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

Hola

Personalmente creo que no deberías tener tanto código en el robots.txt, prueba sólo usar:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap:  https://sitioweb/sitemap_index.xml 

El resto que no aparezcan aqui serán permitidas, si quieres restringir una página específica usa algún plugin como SEO Yoast para establecer que no se indexe

Por cierto cambia en el sitemap : sitioweb , debes poner una url válida que haga referencia a tu mapa de sitio.

Saludos.

Esta publicación ha sido modificada el hace 6 meses por Jhon
ResponderCitar
Respondido : 19/05/2020 6:44 pm

Cursos Gratuitos WordPress

Mario
 Mario
Usuario activo

Gracias por la información @jmarreros, sobre todo por lo del sitemap, se me había pasado cambiarlo después del copy/paste 😓.

He actualizado el archivo tal y como comentas, pero me surgen algunas dudas. ¿Qué diferencias hay entre "deshabilitar"  una página desde el robots.txt o pornerle el "noindex"? ¿Hay alguna que prefiera Google para las arañas? 

 

Un saludo.

 

ResponderCitar
Respondido : 19/05/2020 9:07 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

Hola

Usualmente deshabilitas por robots.txt directorios enteros.

y usas un plugin como SEO Yoast para páginas individuales.

Saludos.

ResponderCitar
Respondido : 19/05/2020 10:05 pm

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress