ERRORES ROBOTS.TXT

Estoy leyendo que tengo que añadir al final la ruta de sitemaps.xml, pero en Yoast SEO veo que tengo 4 SiteMaps.

Tengo que añadir los 4 o solo el más reciente?

Como se puede ver si el SiteMaps es correcto o está actualizado?

Muchas gracias

Hola

Comprueba primero tu archivo robots.txt ya que es incorrecto, veo que tienes código javascript y HTML metido como parte de ese archivo, lo cual es incorrecto.

Un robot.txt es un archivo de instrucciones simples para permitir o no la indexación de una ruta, por ejemplo el robots.txt de webempresa:

https://www.webempresa.com/robots.txt

Elimina ese archivo, si usas SEO Yoast, puedes generarlo con este plugin.

Saludos.

@jmarreros

hola Jhon.

Excepto las 3 primeras líneas, que ya estaban, el resto lo he generado con Yoast.

Me ha dado error al guardarlo y tuve que copiarlo y guardarlo a través del Administrador de archivos.

Hola

Tu archivo sigue mal, es como si hubieras copiado y pegado código HTML, lo cual es incorrecto

Contenido solo visible a usuarios registrados

Tal como te comenté revisa el robots.txt de webempresa de ejemplo, debería ser similar.

Para evitar problemas lo que puedes hacer es ubicar ese archivo y editarlo y colocar el siguiente código:

User-Agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/

Sitemap:  https://buceonline.com/sitemap_index.xml 

Es un código genérico para tu robots.txt que te servirá.

Saludos.

@jmarreros

Esto es lo que tenía originalmente:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Dejo esto más el sitemaps o lo que tu me mandas?

Hola

Puedes usar el que mejor se adapte a lo que buscas, sino quieres complicarte usa el que tenías, agrega sin embargo el sitemap

Saludos.

Hola Jhon.

Sinceramente no se que diferencia hay entre el que tu me has mandado y el que tenía yo. No se que puedo buscar, entiendo que cuando dices que use el que mejor se adapte a lo que busco, te referirás a la forma en que los buscadores encuentren mi página.

El tema es que no tengo ni idea de como hacer eso o como configurar el archivo robots.txt para conseguir una cosa u otra.

He cargado el que tenía añadiendo el Sitemaps.

Un saludo

Hola Bernardo,

Luego de incluir el cambio al archivo robots.txt  te sigue mostrando errores? prueba nuevamente en search console y nos comentas

De manera general puedes verificar el siguiente articulo donde mencionan como crear y optimizar un archivo robots.txt -> https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html

Un Saludo

@karen

Hola Karen

No me muestra errores ni avisos.

Voy a ver el artículo que me mencionas a ver si le saco provecho.

Muchas gracias

Hola Bernardo, 

Enhorabuena ya no ves estos errores, de acuerdo

Quedamos muy atentos como ha ido todo

Un Saludo