[Resuelto] Problema con la configuración de archivo Robots.txt en Yoast SEO  

 
DAVID
 DAVID
Usuario activo

Hola.

Tengo configurado el archivo robots.txt con la herramienta de Yoast SEO. El problema está en que a pesar de estar marcado en Disallow aquellas páginas que no quiero que se rastreen por el buscador de google, me aparecen en los resultados del buscador, y no sé cómo hacer que desaparezcan.

Concretamente, me interesa eliminar de las búsquedas las páginas de Aviso Legal, Privacidad y Política de Cookies de mi web, que no sé por qué siguen apareciendo.

Dejo aquí enlace de mi robots.txt, para comprobación: http://desahuciador.com/robots.txt

Todo lo que hay en él marcado no debería aparecer en búsquedas.

Además, he tratado de desindexarlo con Google Search Console y tampoco ha habido éxito.

Gracias de antemano por su ayuda.

Respondido : 04/05/2020 9:29 am
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola David.

Supongo que utilizas Yoast para el seo.

.- Edita las páginas que no quieres que se indexen

.- En el bloque Seo, despliega la opción " Avanzado "

.- Selecciona" No " en la opción " ¿Permitir a los motores de búsqueda mostrar esta Página en los resultados? "

screenshot joomlero cp95.webjoomla.es 2020.05.04 10 39 25

.- Accede a Search Console de Google selecciona la opción " Retirada de URLs "

.- Añade la URL que quieres eliminar:

screenshot search.google.com 2020.05.04 10 44 59

 

Los resultados no son inmediatas y tienes que esperar a que google vuelva a rastrear la Web para que surta efecto la nueva configuración.

 

Un saludo

 

Respondido : 04/05/2020 9:45 am

Gestor de Contraseñas - VPN Conexión Segura - Gestor 2FA (Segundo Factor de Autenticación

DAVID
 DAVID
Usuario activo

@pepesoler

Gracias por la respuesta.

Respecto a lo que comentas de la configuración de YoastSEO, ya tenía desde hace tiempo marcada esa opción que me recomiendas, y aún así no ha hecho efecto.

En cuanto a lo de retirar las URLs en search consolémosle, también lo he valorado, pero tengo entendido que solamente es para 6 meses, por lo que luego volverían a aparecer ¿?

Gracias.

Respondido : 04/05/2020 9:56 am
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola David.

pero tengo entendido que solamente es para 6 meses, por lo que luego volverían a aparecer ¿?

No tendría si ya tienes puesto que no indexe en las opciones de Yoast, en seis meses le da tiempo a Google a actualizar las URL.

También puedes bloquear los buscador en el archivo robot.txt:

User-agent: *
Disallow: /privacidad/
Disallow: /aviso-legal/

Con este código le estamos indicando que los Buscadores no pueden rastrear esas pagina.

Como te comente no es inmediato, hay que esperar a que google vuelva a rastrear las URL para que surtan los efecto y esto puede pasar semanas.

 

Un saludo

Respondido : 04/05/2020 10:08 am

wpdoctor-revisa-la-salud-de-tu-wordpress

DAVID
 DAVID
Usuario activo

@pepesoler

Gracias.

Precisamente eso era lo que había hecho, indicar de esa manera que me indicas en el archivo robots.txt las url que no quería indexar, pero al parecer ahí siguen.

Probaré con Google Search Console a eliminarlas y esperemos que no aparezcan más.

Un saludo y gracias.

Respondido : 04/05/2020 10:30 am