Avisos
Vaciar todo

Robots.txt

6 Respuestas
3 Usuarios
0 Reactions
28 Visitas
Respuestas: 186
Reputable Member
Topic starter
Translate
English
Spanish
French
German
Italian
Portuguese
Russian
Chinese
Japanese
Korean
Arabic
Hindi
Dutch
Polish
Turkish
Vietnamese
Thai
Swedish
Danish
Finnish
Norwegian
Czech
Hungarian
Romanian
Greek
Hebrew
Indonesian
Malay
Ukrainian
Bulgarian
Croatian
Slovak
Slovenian
Serbian
Lithuanian
Latvian
Estonian
 

Hola buenos dias.

 

Hemos detectado que Googlebot realiza muchos rastreos a un formato de sitemap de productos que no reconocemos y que da error 404;

/wine/productoA/sitemap.xml

Hemos añadido en el robot.txt la siguiente linea

User-agent: *
Disallow: /sitemap.xml

 

Pero sigue realizando los mismos rastreos!!!!

 

Tambien realiza el mismo tipo de rastreo pero para;

/vino/productoA/sitemap.xml que da error 301

 

Como podemos prohibir el rastreo de cualquier prefijo /vino/

 

Por ultimo nos gustaria tener un control del Crawl-delay para WPRocket/Preload es posible realizarlo o controlarlo de alguna forma a traves del robots.txt?

 

Muchas gracias

 

Saludos

 

Jose Carlos

Contenido solo visible a usuarios registrados


 
Respondido : 02/10/2024 10:11 am
Tags del tema
Pepe
 Pepe
Respuestas: 42271
Illustrious Member Admin
Translate
English
Spanish
French
German
Italian
Portuguese
Russian
Chinese
Japanese
Korean
Arabic
Hindi
Dutch
Polish
Turkish
Vietnamese
Thai
Swedish
Danish
Finnish
Norwegian
Czech
Hungarian
Romanian
Greek
Hebrew
Indonesian
Malay
Ukrainian
Bulgarian
Croatian
Slovak
Slovenian
Serbian
Lithuanian
Latvian
Estonian
 

Hola Jose Carlos.

Donde lo viste ? Puedes adjuntar una captura ?

Alguna vez tuviste una instalación en una carpeta independiente con el nombre Wine o vino ?

El Sitemap lo generan automáticamente los plugins de SEO como puede ser Yoast o Rank Math pero no veo que tengas ningún plugin de SEO instalado

 

Un saludo


 
Respondido : 02/10/2024 3:01 pm
Respuestas: 186
Reputable Member
Topic starter
Translate
English
Spanish
French
German
Italian
Portuguese
Russian
Chinese
Japanese
Korean
Arabic
Hindi
Dutch
Polish
Turkish
Vietnamese
Thai
Swedish
Danish
Finnish
Norwegian
Czech
Hungarian
Romanian
Greek
Hebrew
Indonesian
Malay
Ukrainian
Bulgarian
Croatian
Slovak
Slovenian
Serbian
Lithuanian
Latvian
Estonian
 

@pepesoler

Hola Pepe buenas tardes.

 

Lo vemos en Estadisticas - Logs de Acceso

Tuvimos un cambio hace tiempo de enlaces permanentes que no entendimos de vino a wine.

Tenemos instalado Yoast SEO.

Deberia borrar a traves de Google Search Console estos sitemaps /wine/productoA/sitemap.xml

 

Gracias

 

Saludos

 

Jose Carlos

 

 


 
Respondido : 02/10/2024 3:16 pm
Argenis
Respuestas: 12055
Illustrious Member Moderator
Translate
English
Spanish
French
German
Italian
Portuguese
Russian
Chinese
Japanese
Korean
Arabic
Hindi
Dutch
Polish
Turkish
Vietnamese
Thai
Swedish
Danish
Finnish
Norwegian
Czech
Hungarian
Romanian
Greek
Hebrew
Indonesian
Malay
Ukrainian
Bulgarian
Croatian
Slovak
Slovenian
Serbian
Lithuanian
Latvian
Estonian
 

Hola Jose Carlos,

Si el sitemap no corresponde a tu sitio sino a algo que en algún momento estaba y ya no puedes eliminarlo, ten en cuenta siempre trabajar tu sitio con tu único archivo robots:

dominio.com/robots.txt

Con respecto a lo que comentas de WP Rocket, este es un plugin de pago y no figura esta función que buscas en su documentación, ya tendrías que consultarlo con ellos.

Un saludo 🖐️ 


 
Respondido : 02/10/2024 3:40 pm
Respuestas: 186
Reputable Member
Topic starter
Translate
English
Spanish
French
German
Italian
Portuguese
Russian
Chinese
Japanese
Korean
Arabic
Hindi
Dutch
Polish
Turkish
Vietnamese
Thai
Swedish
Danish
Finnish
Norwegian
Czech
Hungarian
Romanian
Greek
Hebrew
Indonesian
Malay
Ukrainian
Bulgarian
Croatian
Slovak
Slovenian
Serbian
Lithuanian
Latvian
Estonian
 

@argenis

Hola Argenis buenas tardes.

 

Gracias por la respuesta. Podeis por favor retirar de la vision publica esto; dominio.com/robots.txt

 

Saludos

Jose Carlos

 

 


 
Respondido : 02/10/2024 5:07 pm
Argenis
Respuestas: 12055
Illustrious Member Moderator
Translate
English
Spanish
French
German
Italian
Portuguese
Russian
Chinese
Japanese
Korean
Arabic
Hindi
Dutch
Polish
Turkish
Vietnamese
Thai
Swedish
Danish
Finnish
Norwegian
Czech
Hungarian
Romanian
Greek
Hebrew
Indonesian
Malay
Ukrainian
Bulgarian
Croatian
Slovak
Slovenian
Serbian
Lithuanian
Latvian
Estonian
 

Hola Jose Carlos,

Con gusto, esperamos que el resto del tema haya quedado claro, nos comentas para poder cerrarlo.

Un saludo 🖐️ 


 
Respondido : 02/10/2024 5:10 pm