Consumo excesivo de recursos provocado por MetaBots

Que tal Laura,

Gracias por explicar con detalle tu consulta

Como has mencionado, por defecto, el "Claw-delay" es ignorado por completo por las plataformas de Meta (sea FB o IG)

Por otro lado parece que hay una incongruencia en el archivo de robots.txt donde se declara primero 

User-agent: *
Disallow: /wp-content/uploads/wc-logs/

Pero mas abajo vuelve a aparecer 

User-agent: *
Disallow:

Dependiendo del robot que analice el archivo, tomará en cuenta es la última declaración y no la primera, esto se debe resolver

Regresando al tema de los recursos, hay alternativas que puedes contemplar para optimizar los tiempos de carga, aumentar la seguridad y ahorrar el consumo de recursos que estas teniendo actualmente

Por un lado puedes establecer un bloqueo a los bots provenientes de Meta desde reglas estipuladas en el .htaccess

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} meta-externalagent [NC]
RewriteRule .* - [F,L]

Por otro lado puedes configurar Cloudflare a tu sitio en WordPress el cual aplica una capa de seguridad extra ademas de su servicio de CDN el cual servira una caché estática a los bots

Incluso es posible establecer bloqueos directamente desde Cloudflare agregando los agentes a limitar, que en este caso sería el de "meta-externalagent"

Te dejaré enlaces de interés al respecto

- https://www.webempresa.com/blog/cdn-de-cloudflare-en-wordpress.html
- https://developers.cloudflare.com/waf/tools/user-agent-blocking/

Saludos!

Gracias por responder tan rápido, si me puedes resolver una duda, es algo que ha sucedido a raiz de configuración del pixel de meta(que he desvinculado inmediatamente al tener este problema), o no tiene nada que ver con la configuración de mi web, es algo aleatorio de meta en los rastreos de meta?

Y volviendo a las posibles soluciones,

-Primero: ¿que tengo que eliminar aquí?:

"User-agent: *
Disallow: /wp-content/uploads/wc-logs/

Pero mas abajo vuelve a aparecer 

User-agent: *
Disallow:"

No me interesa que se desindexe el sitio de google, además utilizo Google Ads, solamente cerrar acceso a los bots de Meta. Adjunto pantallazo, lo que está en amarillo lo ha generado el plugin Yoast al crear el archivo robots.txt, lo del centro es lo que he añadido para intentar bloquear los bots.

Y segundo: configuraré Cloudflare, a ver si así voy acotando.

Gracias de nuevo,

Laura

Hola Laura,

es algo que ha sucedido a raiz de configuración del pixel de meta(que he desvinculado inmediatamente al tener este problema), o no tiene nada que ver con la configuración de mi web, es algo aleatorio de meta en los rastreos de meta?

La integración de un píxel no debería manifestarse en el consumo excesivo de recursos por medio de consultas del crawler de meta

Por otro lado este es el apartado que se debe eliminar para evitar conflictos en el archivo de robots.txt

User-agent: *
Disallow:"

Por ultimo

Y segundo: configuraré Cloudflare, a ver si así voy acotando.

Genial, cualquier duda que tengas estaremos atentos

Saludos!