Avisos
Vaciar todo

Pelea con Google y Bingbot

2 Respuestas
2 Usuarios
0 Reactions
4 Visitas
Tomás
Respuestas: 347
Honorable Member
Topic starter
 

Hola....

Llevo desde ayer peleando contra Googlebot y Bingbot debido a un rastreo en masa de mi sitio, como nunca me ha pasado. Recibo ráfagas de varios minutos e incluso horas que ponen la CPU al 150%, es decir, me dejan la web inservible. He creado un freno de emergencia en Cloudflare con una regla que los desafía con un JS, es la única manera, pero claro, esto tendrá repercusión en el SEO.

Podéis echarme una mano con alguna sugerencia?

Contenido solo visible a usuarios registrados


 
Respondido : 08/12/2025 8:41 am
Karen Rios
Respuestas: 19117
Illustrious Member Moderator
 

Hola Tomás, 

En este caso lo primero que debes revisar es asegurarte si sean bots de Google y Bing o si alguien finge ser un User-Agent, una vez las identifiques puedes comprobar si es posible bloquear estas IP sin problema 

Por otro lado verifica como puedes optimizar mejor el rastreo de Google en tu sitio web → https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget?hl=es-419

Si identificas que son bots falsos una alternativa es crear una regla dentro de cloudlfare que te permite bloquear, estos bots, por ejemplo

(not cf.client.bot and (
lower(http.user_agent) contains "googlebot" or
lower(http.user_agent) contains "bingbot" or
lower(http.user_agent) contains "adsbot"
))

Tienes información como crear las reglas en cloudflare en su documentación oficial → https://developers.cloudflare.com/waf/custom-rules/create-dashboard/

Un Saludo

 

 
Respondido : 08/12/2025 3:05 pm