Avisos
Vaciar todo
Página 2 / 2
Anterior
Buenas
Quisiera saber que texto tengo que poner en mi archivo robots.txt y a que altura para bloquear el acceso de los crawlers de plataformas como Ahrefs,Semrush,Ubbersuggest,Built with,etc...y asi aveitar que la competencia moniteroee las metricas de trafico y backlinks de mi sitio web.
Teniendo en cuenta de que los crawlers de Google si que puedan acceder a mi sitio correctamente para indexar el contenido
He visto que en este tema: https://eltallerdelbit.com/bloquear-bot-semrush/ tratan el asunto, pero me gustaria que me dijerais como debo configurarlo correctamente tambien para Ahrefs,Ubbersuggest,Builtwith,etc..y seguir permitiendo a Google y Bing que indexen mi sitio correctamente.
Quedo a la espera de vuestra respuesta
Saludos
URL del sitio: Contenido solo visible a usuarios registrados
Respondido : 07/09/2019 3:27 pm
Buenas
Estamos seguros que no bloquea ningun Bot bueno o buscador que sea necesario para la correcta indexacion del sitio?
Saludos
Respondido : 09/09/2019 4:34 pm
Hola Federico.
para la correcta indexacion del sitio?
Pues yo diria que si Federico, no tienes ningun codigo que bloquee bots buenos.
De todas formas si Google no puede acceder tendrás un aviso en la consola.
Como te digo la mayoria los tenemos bloqueados a nivel Servidor ya que suponen una carga y tomamos todas las medidas necesarias para que los servidor estén lo más optimizados posible.
Un saludo
Respondido : 09/09/2019 4:40 pm
Página 2 / 2
Anterior
