Avisos
Vaciar todo

Semrush no respeta las directivas en robots.txt

4 Respuestas
2 Usuarios
0 Reactions
9 Visitas
Luis
 Luis
Respuestas: 198
Estimable Member
Topic starter
 

Buenas Tardes amigos/as,

 

Tengo una que le encuentro sentido y tampoco he conseguido información en Google.

 

Las auditorías que realiza SEMrush (simple, sin plan), generan una cantidad de información que está prohibida o bloqueada en el archivo robots.txt

Por ejemplo, en nuestro archivo robots.txt está la siguiente directriz:

image

Sin embargo, entra y en el informe de auditoría indica que hay una gran cantidad de errores. Bueno, no es que sean errores, y precisamente por ese motivo se bloquea el acceso al archivo robots.txt, pero semrush no le para.

 

¿Será que es incorrecta la directrix declarada en el archivo robots.txt?

 

Muchas gracias por su ayuda

Luis

 

Contenido solo visible a usuarios registrados


 
Respondido : 10/07/2023 10:11 pm
Karen Rios
Respuestas: 18826
Illustrious Member Moderator
 

Hola Luis, 

No veo la directiva mal si lo que deseas es impedir el acceso a todo lo que se contenga en /app.online-tesis.com/*

Ten en cuenta que al marcar * estarás indicando a los buscadores que no rastreen absolutamente que contengas en este directorio

Sobre SEMrush no podemos saber qué sucede o porque muestra el aviso que mencionas, en este caso te recomiendo consultes con el soporte de SEMrush → Contenido solo visible a usuarios registrados 

Un Saludo 


 
Respondido : 10/07/2023 10:35 pm
Luis
 Luis
Respuestas: 198
Estimable Member
Topic starter
 

Gracias @karen,

 

También me di cuenta que, "app.online-tesis.com", es un subdirectorio, por lo tanto, había creado un robots.txt en el subdirectorio con el siguiente contenido:

# Impedir acceso generales a subdominios Wordpress

User-agent: *
Disallow: /

 

Pero tampoco le hace caso. De manera que seguiré tu consejo. Muchas Gracias

Luis


 
Respondido : 10/07/2023 10:43 pm
Karen Rios
Respuestas: 18826
Illustrious Member Moderator
 

Hola Luis,

Gracias a ti, es un placer siempre poder ayudarte.

Quedamos atentos como habido todo 

Un saludo


 
Respondido : 10/07/2023 10:58 pm