Hola,
me remiten desde el area de cliente al foro para ver si puedo resolver el problema que tengo con el uso de recursos del servidor, en mi web wordpres-woocommerce. Desde hace un par de dias se ha disparado brutalmente el consumo de recursos, me dicen desde ticket que: El tráfico que aparece con el user agent meta-externalagent corresponde al crawler oficial de Meta (Facebook/Instagram), que accede a tu web para rastrear su contenido.
Revisando esta guia: https://www.webempresa.com/blog/como-configurar-crawl-delay-en-tu-archivo-robots-txt.html, he creado desde Yoast seo el archivo robots.txt, añadiendo User-agent/ Crawl-delay, pero parece que no funciona. Os indico como ha quedado el archivo robots.txt:
User-agent: *
Disallow: /wp-content/uploads/wc-logs/
Disallow: /wp-content/uploads/woocommerce_transient_files/
Disallow: /wp-content/uploads/woocommerce_uploads/
Disallow: /*?add-to-cart=
Disallow: /*?*add-to-cart=
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: facebookexternalhit
Crawl-delay: 10
User-agent: meta-externalagent
Crawl-delay: 10
User-agent: FaceBookBot
Crawl-delay: 10
# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow:
Sitemap: https://aquimidominio.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK
Aún así, sigue con el consumo prácticamente todo el tiempo al 100%, y se cuelga la web, si me podéis ayudar con esto,
Gracias de antemano,
Laura