[Cerrado] Bloquear bot con robots.txt

Hola Sofia, 

En este caso, para bloquear esta URL en específico puedes agregar lo siguiente a tu archivo robots.txt

User-agent: *
Disallow: http//admantx.com/service-fetcher.html

Puedes ver más información como optimizar el archivo robtos.txt en el siguiente artículo que tenemos disponible -> https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html, encontraras una sección que indica Cómo optimizar el Robots al máximo

Un Saludo 

Hola,

Por lo tanto, para bloquear este bot (admantx.com/service-fetcher.html) de mi web (comeamaviaja.com) tendría que dejarlo así, ¿cierto?:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Disallow: /wp-content/uploads/wpo-plugins-tables-list.json

User-agent: *

Disallow: http//admantx.com/service-fetcher.html

Sitemap: https://comeamaviaja.com/sitemap_index.xml

Por lo tanto, ¿la otra info que me dieron es incorrecta? En la que me indicaban que tenía que poner esto para bloquear al bot de toda mi web:

User-agent: ADmantX bot
Disallow: /

¿Puedes confirmarme por favor que está correcto ahora?

¡Muchas gracias!

Hola Sofia,

El url se coloca para bloquear una acción por parte de un robot, el código seria este:

User-agent: ADmantX
Disallow:/

Es decir de el que nos compartes en un inicio quedaria asi:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Disallow: /wp-content/uploads/wpo-plugins-tables-list.json

User-agent: ADmantX

Disallow:/

Sitemap:  https://comeamaviaja.com/sitemap_index.xml 

Igualmente de donde te han compartido el código de User-agent: ADmantX bot, segun vemos en varios sitios de bloqueos de malos robots el código es el que te comparto.

igualmente puedes agregar ambos, y el código final quedaría así:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Disallow: /wp-content/uploads/wpo-plugins-tables-list.json

User-agent: ADmantX

Disallow:/

User-agent: ADmantX bot

Disallow: /

Sitemap:  https://comeamaviaja.com/sitemap_index.xml 

Verifica y nos comentas, un saludo 🖐️ 

@argenis Genial, hago el cambio y a ver qué pasa. ¡Muchas gracias!

hola Sofia,

Encantados de poder ayudar, en caso de necesitar alguna otra asesoría o tener alguna consulta, recuerda que puedes crear un nuevo tema y con gusto lo vemos.

Un saludo 🖐️