Ayuda para reducir los boots no estrictamente necesarios

Hola Nadinne,

He revisado el archivo functions.php que nos has adjuntado y, en este caso, está prácticamente limpio. Únicamente contiene el código generado por el tema hijo para cargar determinados estilos; no tienes actualmente ningún código relacionado con bloqueo de bots que pueda entrar en conflicto o duplicarse.

Dicho esto, si lo que buscamos es reducir realmente el consumo de CPU provocado por rastreadores, no te recomendaría realizar el bloqueo desde functions.php.

El motivo es que ese archivo se ejecuta cuando WordPress ya está cargando el tema. Es decir, la solicitud del bot ya ha llegado a PHP y WordPress antes de que podamos rechazarla. Si tenemos cientos o miles de solicitudes, seguiríamos consumiendo una parte importante de los recursos aunque después devolvamos un bloqueo.

Para este caso es preferible actuar antes de que la petición llegue a WordPress, utilizando robots.txt para los rastreadores que respetan sus reglas y .htaccess para aquellos bots concretos que estén generando un consumo excesivo.

Google explica además que robots.txt sirve precisamente para controlar el tráfico de rastreo, pero sus instrucciones no son obligatorias para todos los bots; los rastreadores maliciosos o poco respetuosos pueden ignorarlas.

Tampoco te aconsejaría bloquear absolutamente todos los bots excepto Google. En una tienda WooCommerce pueden existir otros servicios legítimos que necesiten acceder a determinadas URLs y podríamos terminar bloqueando herramientas necesarias, previsualizaciones sociales, sistemas de monitorización u otros servicios externos.

Lo más seguro sería identificar primero cuáles son realmente los bots que están generando más solicitudes y bloquear únicamente esos.

Por ejemplo, si en los registros aparecen repetidamente bots como:

• AhrefsBot
• SemrushBot
• MJ12bot
• DotBot
• BLEXBot
• CCBot
• Bytespider
• Amazonbot

y no necesitas sus servicios, puedes bloquearlos directamente desde .htaccess colocando antes del bloque # BEGIN WordPress algo similar a:

<IfModule mod_rewrite.c>
RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|SemrushBot|MJ12bot|DotBot|BLEXBot|CCBot|Bytespider|Amazonbot) [NC]
RewriteRule ^ - [F,L]

</IfModule>

Apache permite utilizar HTTP_USER_AGENT como condición y devolver directamente un acceso prohibido mediante una regla de reescritura, por lo que la petición se detendría antes de tener que procesar la página mediante WordPress.

Eso sí, no añadiría todos estos bots únicamente por precaución. Lo ideal sería incluir solamente aquellos que realmente aparezcan de forma repetitiva en tus registros y estén provocando consumo.

También debemos tener cuidado con solicitudes que se identifiquen como Googlebot. El nombre del User-Agent se puede falsificar; Google recomienda comprobar la IP o hacer una verificación DNS antes de asumir que una solicitud pertenece realmente a Google.

Por tanto, antes de modificar nada, si puedes compartirnos una captura o listado de los bots que aparecen con más frecuencia y número de solicitudes en tu dominio. Una vez tengamos esa lista, el mismo bloque se podría aplicar después a tus otras webs clonadas si vemos que reciben el mismo tipo de tráfico.

Haz antes una copia del .htaccess original para poder restaurarlo fácilmente si fuese necesario.

Un saludo 🖐️ 

Gracias, déjame mirarlo bien y te contesto.

Hola Nadinne,

Estupendo, quedamos atentos.

Saludos 

he realizado una consulta en Estefan y voy a trabajar sobre los resultados, ya estoy un poco cansada de ser la culpable de los altos consumos de CPU y voy a hacer lo posible por mejorarlo.

Hola Nadinne,

Estupendo, de igual forma vamos a estar por aquí por si tienes alguna otra duda.

Un saludo 🖐️