Avisos
Vaciar todo

ERRORES ROBOTS.TXT  

 
Bernardo
 Bernardo
Usuario experto

Buenos días.

Estoy probando el archivo Robots.txt de la web con la herramienta Probador de Robots.txt de Search Console de Google y me da un mensaje de 574 errores y 74 advertencias.

 

Podríais indicarme a que son debidos esos errores y advertencias y como corregirlos?

 

Muchas gracias.

Un saludo

Berni

CapturaErrores robots.txt

Contenido solo visible a usuarios registrados

Citar
Respondido : 19/12/2020 7:12 pm
Bernardo
 Bernardo
Usuario experto

 

Estoy leyendo que tengo que añadir al final la ruta de sitemaps.xml, pero en Yoast SEO veo que tengo 4 SiteMaps.

Tengo que añadir los 4 o solo el más reciente?

Como se puede ver si el SiteMaps es correcto o está actualizado?

Muchas gracias

CapturaSiteMaps

 

Esta publicación ha sido modificada el hace 4 años por Bernardo
ResponderCitar
Respondido : 19/12/2020 7:35 pm

Jhon
 Jhon
Soporte CMS Webempresa Moderator

Hola

Comprueba primero tu archivo robots.txt ya que es incorrecto, veo que tienes código javascript y HTML metido como parte de ese archivo, lo cual es incorrecto.

Un robot.txt es un archivo de instrucciones simples para permitir o no la indexación de una ruta, por ejemplo el robots.txt de webempresa:

https://www.webempresa.com/robots.txt

Elimina ese archivo, si usas SEO Yoast, puedes generarlo con este plugin.

Saludos.

ResponderCitar
Respondido : 19/12/2020 9:00 pm
Bernardo
 Bernardo
Usuario experto

@jmarreros

hola Jhon.

Excepto las 3 primeras líneas, que ya estaban, el resto lo he generado con Yoast.

Me ha dado error al guardarlo y tuve que copiarlo y guardarlo a través del Administrador de archivos.

 

ResponderCitar
Respondido : 19/12/2020 10:00 pm

Jhon
 Jhon
Soporte CMS Webempresa Moderator

Hola

Tu archivo sigue mal, es como si hubieras copiado y pegado código HTML, lo cual es incorrecto

Contenido solo visible a usuarios registrados

Tal como te comenté revisa el robots.txt de webempresa de ejemplo, debería ser similar.

Para evitar problemas lo que puedes hacer es ubicar ese archivo y editarlo y colocar el siguiente código:



User-Agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-content/plugins/ Sitemap: https://buceonline.com/sitemap_index.xml

Es un código genérico para tu robots.txt que te servirá.

 

Saludos.

Esta publicación ha sido modificada el hace 4 años por Jhon
ResponderCitar
Respondido : 19/12/2020 10:14 pm
Bernardo
 Bernardo
Usuario experto

@jmarreros

Esto es lo que tenía originalmente:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

 

Dejo esto más el sitemaps o lo que tu me mandas?

ResponderCitar
Respondido : 19/12/2020 10:30 pm

Jhon
 Jhon
Soporte CMS Webempresa Moderator

Hola

Puedes usar el que mejor se adapte a lo que buscas, sino quieres complicarte usa el que tenías, agrega sin embargo el sitemap

Saludos.

ResponderCitar
Respondido : 19/12/2020 10:42 pm
Bernardo
 Bernardo
Usuario experto

Hola Jhon.

Sinceramente no se que diferencia hay entre el que tu me has mandado y el que tenía yo. No se que puedo buscar, entiendo que cuando dices que use el que mejor se adapte a lo que busco, te referirás a la forma en que los buscadores encuentren mi página.

El tema es que no tengo ni idea de como hacer eso o como configurar el archivo robots.txt para conseguir una cosa u otra.

He cargado el que tenía añadiendo el Sitemaps.

Un saludo

ResponderCitar
Respondido : 21/12/2020 12:32 pm

Karen Rios
 Karen Rios
Soporte CMS Webempresa Moderator

Hola Bernardo,

Luego de incluir el cambio al archivo robots.txt  te sigue mostrando errores? prueba nuevamente en search console y nos comentas

De manera general puedes verificar el siguiente articulo donde mencionan como crear y optimizar un archivo robots.txt -> https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html

Un Saludo

ResponderCitar
Respondido : 21/12/2020 12:53 pm
Bernardo
 Bernardo
Usuario experto

@karen

Hola Karen

No me muestra errores ni avisos.

Voy a ver el artículo que me mencionas a ver si le saco provecho.

Muchas gracias

ResponderCitar
Respondido : 21/12/2020 1:07 pm

Karen Rios
 Karen Rios
Soporte CMS Webempresa Moderator

Hola Bernardo, 

Enhorabuena ya no ves estos errores, de acuerdo

Quedamos muy atentos como ha ido todo

Un Saludo

ResponderCitar
Respondido : 21/12/2020 1:10 pm