Hola....
Llevo desde ayer peleando contra Googlebot y Bingbot debido a un rastreo en masa de mi sitio, como nunca me ha pasado. Recibo ráfagas de varios minutos e incluso horas que ponen la CPU al 150%, es decir, me dejan la web inservible. He creado un freno de emergencia en Cloudflare con una regla que los desafía con un JS, es la única manera, pero claro, esto tendrá repercusión en el SEO.
Podéis echarme una mano con alguna sugerencia?
Contenido solo visible a usuarios registrados
Hola Tomás,
En este caso lo primero que debes revisar es asegurarte si sean bots de Google y Bing o si alguien finge ser un User-Agent, una vez las identifiques puedes comprobar si es posible bloquear estas IP sin problema
Por otro lado verifica como puedes optimizar mejor el rastreo de Google en tu sitio web → https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget?hl=es-419
Si identificas que son bots falsos una alternativa es crear una regla dentro de cloudlfare que te permite bloquear, estos bots, por ejemplo
(not cf.client.bot and ( lower(http.user_agent) contains "googlebot" or lower(http.user_agent) contains "bingbot" or lower(http.user_agent) contains "adsbot" ))
Tienes información como crear las reglas en cloudflare en su documentación oficial → https://developers.cloudflare.com/waf/custom-rules/create-dashboard/
Un Saludo