Crear y optimizar Robots.txt en WordPress – La Mejor Guía

Seguramente tu web tiene apartados, páginas o contenidos que no quieres que los buscadores pierdan el tiempo rastreando para indexar esos contenidos.

Durante todo este mes, contrata tu plan de hosting al -70% de descuento.

Llévatelo

Te cuento cómo crear y optimizar Robots.txt en WordPress, para que tengas claro que patrones de directivas puedes utilizar y así mejorar los contenidos rastreables.

Si agilizas el trabajo a buscadores como Google haciendo que el rastreo de tu web sea lo más accesible y rápido posible facilitarás que se llegue a las partes realmente importantes, las cuales necesites posicionar.

Para ello, marcar páginas como noindex o establecer sugerencias como enlaces nofollow pueden agilizar ese proceso de acelerar el rastreo; aunque es posible hacer mucho más y para esto existe el archivo robots.txt.

  Vídeo sobre la optimización de robots.txt

En el siguiente vídeo te muestro cómo puedes mejorar el archivo robots.txt y optimizarlo para buscadores en tu sitio web.

  ¿Qué es el robots.txt?

El robots.txt es un pequeño fichero que permite indicar a los bots de los buscadores que partes de un sitio web pueden estos rastrear y cuáles no.

Cuando el robot de Google, Bing, Yandex o cualquier otro buscador accede a una web, lo primero que hace es buscar el archivo robots.txt, si lo tienes creado, ya que por defecto no lo verás en tu instalación.

Con base en ello tomará una u otras decisiones de análisis en función de las directivas que tengas establecidas en dicho archivo.

Si no lo tienes creado, accederá sin atender a ninguna orden o prohibición previamente indicada, lo cual puede ser en ocasiones perjudicial, sobre todo en webs de mucho contenido.

En resumen: el archivo robots.txt no es obligatorio, pero sí muy recomendable optimizarlo porque ayudará al posicionamiento de tu web.

  ¿Para qué usar robots.txt?

De la misma manera que debes hacer que Google no indexe URL que no son importantes de tu web, indicando como directiva noindex páginas de política de privacidad, política de cookies, aviso legal, o “URL con contenido que no se busca en Google”; debes usar el fichero robots para cerrar el acceso de forma más drástica a Google a esas URL o partes de la web.

No debes confundir la directiva noindex con robots.txt, ya que sus funciones son diferentes.

• Noindex: No muestra unas determinadas páginas en las SERP o lo que es lo mismo, permite a Google indexar un contenido.
• Robots.txt: Bloquea el acceso a las URL marcadas para que Google no pueda leer el HTML en WordPress, lo que incluye leer el noindex.

Google recomienda usar noindex para no mostrar URL en las SERP:

Si no deseas que determinadas páginas aparezcan en los resultados de búsqueda, “no utilices el archivo robots.txt para ocultar tu página web”, tal como explica Google.

Aunque las órdenes indicadas en el robots.txt suelen ser obedecidas por los buscadores, no son efectivas al 100 % pudiendo Google u otros obviar las instrucciones indicadas y rastrear las URL bloqueadas.

Según dice Google, la información que das en tu archivo robots.txt son instrucciones, no reglas.

Si varios enlaces apuntan a esta página, es posible que Google la indexe y la muestre en sus resultados de búsqueda, sin saber lo que contiene, incluso si la has bloqueado en tu archivo robots.txt

  Cómo crear el archivo robots.txt

Para ver si una web tiene creado un archivo robots.txt solo tienes que indicar después del dominio /robots.txt.

Ejemplo: tu-dominio.com/robots.txt

La creación del archivo robots.txt es muy sencilla y puedes hacerlo de varias formas:

1. Crea un archivo.txt, anota lo que quieres bloquear y súbelo este a la carpeta raíz de tu web.

   – Abre un blog de notas, indica las directivas que quieres y guárdalo con el nombre robots.txt.

   – Ahora solo tienes que subirlo a la raíz de tu web y ya está.

 

2. Usa un plugin como Yoast SEO.

   – Accede a la opción de Yoast SEO ➜ Herramientas ➜ Editor de archivos y haz clic en robots.txt.

Te explico a continuación estos 2 métodos.

  Crear el archivo robots.txt manualmente

Esta opción es recomendable si no utilizas plugins específicos de SEO que además integren la opción de crear el archivo robots, porque sinceramente no vale la pena instalar un plugin solo para crear el archivo de robots, en cuyo caso el método manual es mucho más recomendable, rápido y eficiente.

Si tu sitio no tiene un archivo robots.txt deberías crearlo y luego puedes usar de guía el código incluido en el apartado Cómo optimizar el Robots al máximo y personalizarlo para tu sitio y necesidades.

Como puedes ver, se crea un archivo robots prediseñado por defecto que podrás guardar y ya lo tienes creado a falta de indicar el sitemap.

Para ello, tanto si usas Yoast SEO como un blog de notas, debes indicar la siguiente línea:

– Si usas el plugin Google XML Sitemap:

Sitemap: tusitioweb.com/sitemap.xml

– O si usas el sitemap del plugin Yoast SEO:

Sitemap: tusitioweb.com/sitemap_index.xml

Para insertar el mapa del sitio dentro del robots.txt solo tienes que copiar la ruta de tu sitemap, con tu dominio, en el archivo robots.txt

Recuerda pegarlo al final del fichero creado robots.txt.

  Crear el archivo robots.txt con Yoast SEO

Si ya tienes instalado el plugin Yoast SEO porque lo utilizas para gestionar el SEO on-page de tus publicaciones y del sitio en general, entonces puedes aprovechar la funcionalidad que incorpora para crear el archivo robots.txt sin tener que irte al Administrador de Archivos de tu Hosting a crearlo.

Para acceder a esta opción vete a:

Yoast SEO   Herramientas   Editor de archivos   Crear robots.txt

Te abrirá una ventana dentro de ese mismo apartado, con un texto mínimo viable para tu archivo robots.txt y en él podrás añadir contenido personalizado, como por ejemplo el indicado en el bloque de este artículo Cómo optimizar el Robots al máximo.

Recordarte que es un texto “guía” del que tú debes extraer aquello que te interese activar y personalizar los bloques de acuerdo a tus necesidades, ya que la solución no es “copiar y pegar tal cual el bloque sin saber qué le estás diciendo al archivo que haga, no vaya a ser que acabes bloqueando el rastreo de tu web a todos los bots de indexado.

Ciertamente desde el plugin Yoast SEO, la creación del archivo de rastreo a los bots de los motores de búsqueda es mucho más sencilla y si ya usabas el plugin, pues es otra forma adicional de seguir sacándole partido al mismo.

Lo siguiente será decirle a Google y otros buscadores (Bing, Yandex, etc.) que tienes un archivo robots.txt (o que lo has modificado, si es el caso) para que lo rastreen y se apliquen las restricciones o permiso de rastreo indicados en el archivo.

Lo más importante en este caso es que podrán rastrear de nuevo todo tu sitio para detectar contenidos indexables.

  ¿Cómo indicar a Google que he creado el robots.txt?

Muy sencillo, accede a tu Google Search Console y en el apartado de Ayuda (?) escribe: robots.txt.

Aparecerá como primer resultado: Probar tu archivo robots.txt. Haz clic y se abrirá la herramienta de robots.txt.

NOTA Ten en cuenta que no es lo mismo subir el archivo Robots.txt que validarlo en Google Search Console, para validarlo tendrás que haberlo creado previamente.

Escoge una propiedad (tu dominio) y copia y pega el contenido del archivo robots.txt creado en el blog de notas o en Yoast.

Haz clic en enviar y escoge la opción “Solicita a Google la actualización”.

Te dejo un enlace directo al validador de Robots.txt de Search Console

Asegúrate de que no genera error.

Ya solo tienes que acceder al navegador y escribir tusitioweb.com/robots.txt y ver si se muestra.

Google Search Console sigue haciendo mejoras y cambios en su interfaz, es posible que cambie o añada esta opción de probador en otro sitio más adelante

Con esto ya tendrás el archivo robots.txt creado y estarás facilitando el rastreo en Google aunque es personalizable todo lo que quieras.

NOTA Tienes que tener cuidado porque cada web es diferente y un error en un simple * o / puede hacer que Google no rastree partes que sí son importantes.

Vamos a ver el robots creado por defecto y las diferentes opciones para crear un archivo robots a medida.

  Cómo es el archivo robots.txt creado por defecto en WordPress

En WordPress, el archivo robots.txt, por defecto, es un archivo en blanco, lo que significa que no hay ninguna directiva específica establecida en el mismo.

Sin embargo, los motores de búsqueda como Google o Bing siguen ciertas prácticas para indexar y rastrear los sitios de WordPress. Por ejemplo, no indexan automáticamente las páginas de administración de WordPress, lo que sería el dashboard, la página de inicio de sesión o el panel de administración.

También respetan las etiquetas meta en WordPress como noindex y nofollow establecidas en las páginas o publicaciones individuales.

Si necesitas personalizar el archivo robots.txt en tu sitio de WordPress, puedes hacerlo añadiendo directivas específicas para controlar qué partes de tu sitio quieres que los motores de búsqueda indexen o no.

Puedes crear o modificar el archivo desde la raíz de tu instalación de WordPress utilizando un editor de texto plano o de código, aunque lo mejor es editarlo usando el Administrador de Archivos de tu Panel de Hosting.

Este es el código que por defecto puede incluir el archivo robots.txt en WordPress, en caso de que ya esté creado, aunque lo normal es que no exista el archivo una vez instalada la web o esté vacío.

*
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

*Aquí habría que añadir la línea de tu sitemap.

En ellas vemos disallow (no permitir) y allow (permitir).

En él existen 3 líneas:

• User-agent: *: Permite a todos los buscadores rastrear tu web.
• Disallow: /wp-admin: Evita que los buscadores pierdan tiempo en rastrear el administrador de WordPress.
• Allow: /wp-admin/admin-ajax.php/: Dentro de la prohibición anterior, los buscadores sí deben rastrear admin-ajax-php.

NOTA Si tu web estuviera bloqueada para los motores de búsqueda (opción en los ajustes de WordPress mientras se diseña una web) tú robots tendría un Disallow: /.

Tienes que tener cuidado porque si mostrará esto estás diciendo a Google que no rastree absolutamente nada de tu web.

La parte más importante en un robots.txt se encuentra en los comodines, es importante conocer todos los códigos a emplear como el signo del *, el $, etc. Te lo muestro.

  Comodines a utilizar en robots.txt

En la creación del robots debes respetar las mayúsculas, minúsculas, espacios.

No es lo mismo indicar /wp-content que /WP-content.

Cualquier error en un espacio, un símbolo fuera de sitio, puede perjudicar mucho a tu web en cuestión de posicionamiento.

  Almohadilla (#)

Este símbolo simplemente lo puedes usar para anotar comentarios indicando que significan las diferentes líneas a tratar.

Ejemplo: #bloqueo de búsquedas o #bloqueo de trackbacks.

De esta manera tendrás control de lo que quieres indicar y estará más ordenado.

  User-agent

Indica a qué bots quieres dirigirte. Lo normal es que todos los robots accedan a tu web, para ello por defecto es:

User-agent: *

Pero si por ejemplo solo quieres que sea el robot de Google el que tenga acceso o establecer una regla concreta para Google, habrá que añadir la línea:

User-agent: Googlebot

Todo lo que añadas debajo se aplicará exclusivamente al robot de Google.

NOTA Es importante que los user-agent vayan separados por espacios porque de lo contrario, si están juntos, las reglas de debajo se aplicarán a todos.

Si estableces varios user-agent del mismo bot, el más específico o largo será el que mande.

Ejemplo:

User-agent: Googlebot-Image
Disallow: /

Prevalecerá sobre:

User-agent: Googlebot
Disallow:

Permite el rastreo al no llevar /.

  El asterisco (*)

Se trata de un símbolo comodín que representa cualquier secuencia de caracteres.

Si por ejemplo indicas /*.pdf te estarás refiriendo a todos los archivos que contengan .pdf.

Y valdrá tanto para tusitioweb.com/document.pdf como para tusitioweb.com/document.pdf?ver=1.1

El uso del asterisco es muy importante

Imagina que quieres evitar que los motores de búsqueda accedan a las URL de categorías de productos con parámetro en tu sitio.

Lo puedes hacer así:

User-agent: *
Disallow: / productos / camisetas?
Disallow: / productos / camisas?
Disallow: / productos / abrigos?

O hacer uso del * (mejor opción)

User-agent: *
Disallow: / productos / *?

Al marcar el * estarás indicando a los buscadores que no rastreen absolutamente ningún producto con parámetros.

  El símbolo del dólar ($)

Si existiese algún carácter después de dicho símbolo ($) no se aplicará la regla.

Si por ejemplo indicamos /*.pdf$ te estarás refiriendo a todos los archivos que terminen con un .pdf.

Esto incluye a tusitioweb.com/document.pdf, pero excluye a tusitioweb.com/document.pdf?ver=1.1

Usa el comodín $ para marcar el final de una URL.

Por ejemplo, si desea evitar que los motores de búsqueda accedan a todos los archivos .pdf en su sitio, su archivo robots.txt podría verse así:

User-agent: *
Disallow: /*.pdf$

  Noindex y nofollow

NOTA Desde el 01 de septiembre del 2019 no es recomendable marcar noindex en el robots, si bien puedes y debes usarlo en la etiqueta meta robots o el encabezado HTTP x-robots en su lugar.

De la misma manera tampoco debes usar nofollow.

  Disallow

Esta directiva evita que los buscadores rastreen una página, una categoría o una estructura determinada.

Un disallow prohíbe entrar a Google en él.

Imagen “disallow-robots”

NOTA Aunque tengas marcado como noindex una página a la que asignes disallow, los bots pueden indexarla aunque no su contenido.

Te explico; si marcas una página como noindex, la URL ni su contenido interno se mostraran en las SERP, aunque los buscadores sí pueden llegar a incluir la URL en las SERP con una metadescripción indicando que hay robots.

Esto puede suceder si consideran, por ejemplo, que la página tiene enlaces entrantes y es de calidad.

  ¿Qué ocurre con el Linkjuice en un Disallow?

El linkjuice (fuerza de una página) no se traspasaría a otra URL si estamos bloqueando por robots la primera.

Te lo explico:

Ejemplo: Imagina que marcas:

Disallow: /servicio1/

Servicio1 recibe enlaces de la home y a su vez servicio1 tiene enlaces hacia servicio2.

Servicio1 seguirá recibiendo su fuerza pero no la traspasará a servicio2 ya que hemos bloqueado por robots esa url.

  Bloqueo de páginas que empiezan por…

Disallow: /paginaprueba

Bloquea todas las URL que empiezan por paginaprueba, pero no los que delante tengan algo, para ello necesitarías incluir un * .

Es decir, bloquearía todas las URL que empezasen por /paginaprueba tales como: tusitioweb.com/paginaprueba/ o tusitioweb.com/paginaprueba-imagen/contacto.

Pero necesitarías de un * delante:

tusitioweb.com/*paginaprueba

Si quieres bloquear por ejemplo tusitioweb.com/ejemplo-paginaprueba o tusitioweb/categoría/paginaprueba

  Bloqueo de carpeta

Si quieres bloquear la carpeta de página prueba, deberás colocar una barra lateral al final de la directiva de la siguiente manera:

Disallow: /paginaprueba/

De esta manera bloquearás todas las URL que contengan dicha carpeta como por ejemplo:

tusitioweb.com/paginaprueba/
tusitioweb.com/paginaprueba/imagenes/

Pero no bloquearías aquellas URL que no contengan exactamente esa carpeta ejemplo:

tusitioweb.com/paginaprueba-imagenes/portfolio
tusitioweb.com/index/paginaprueba
tusitioweb.com/imagenes-paginaprueba

Otro ejemplo:

Imagina que clonas tu web creando una subcarpeta en el servidor llamada /cop.

Si pones:

Disallow: /cop

No solo estarás bloqueando la sub carpeta, también lo harás para páginas como /copia-seguridad/, /cocinando-patatas o /copiadora-epson/

La solución es bloquear la carpeta entera poniendo una / al final

Es decir:

Disallow: /cop/

Y como siempre, si quisieses bloquear todas las URL que contengan /paginaprueba/ independientemente de la posición, debes usar lo siguiente:

Disallow: /*/ paginaprueba/

Y recordando el $, si lo que deseas es bloquear todas las URL que finalicen en paginaprueba deberías utilizar:

Disallow: /* paginaprueba$

  Allow

La función Allow es la contraria a Disallow y se usa exclusivamente para permitir el acceso a partes específicas bloqueadas previamente por disallow.

Imagen “allow-robots”>

Ejemplo: es normal bloquear la carpeta /wp-content/plugins/, ya que no queremos que los buscadores pierdan el tiempo aquí, pero Google, por ejemplo, indica que debe tener acceso a los archivos .css y .js.

Como en esta carpeta existen estos archivos, debes dar permiso para el rastreo de la siguiente manera:

Disallow: /wp-content/plugins/
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.css

Imagina que quieres bloquear todo el blog menos una entrada, puedes aplicar lo siguiente;

User-agent: *
Disallow: /blog
Allow: /blog /post-permitido

  Cómo optimizar el Robots al máximo

No hay una regla fija y tienes que tener cuidado a la hora de replicar los robots de otras webs, ya que puede ser contraproducente.

Un ejemplo de un robots estándar con algunas reglas puede ser el siguiente:

# Bloquear o permitir acceso a contenido adjunto. (Si la instalación está en /public_html).

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-content/plugins/   
Disallow: /wp-content/themes/   
Disallow: /wp-includes/   
Disallow: /wp-admin/

#Impedir el acceso a los diferentes feed que genere la página

Allow: /feed/$
Disallow: /feed   
Disallow: /comments/feed   
Disallow: /*/feed/$   
Disallow: /*/feed/rss/$   
Disallow: /*/trackback/$   
Disallow: /*/*/feed/$   
Disallow: /*/*/feed/rss/$   
Disallow: /*/*/trackback/$   
Disallow: /*/*/*/feed/$   
Disallow: /*/*/*/feed/rss/$   

# Impedir URLs terminadas en /trackback/ que sirven como Trackback URL.   

Disallow: /*/*/*/trackback/$

# Evita bloqueos de CSS y JS.

Allow: /*.js$
Allow: /*.css$

#Bloquear todos los pdfs

Disallow: /*.pdf$

#Bloquear parámetros

Disallow: / *?

# Lista de bots que deberías permitir.

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /


 # Lista de bots bloqueados

User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: GurujiBot
Disallow: /
User-agent: hl_ftien_spider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: Yeti
Disallow: /
User-agent: YodaoBot
Disallow: /

#Desautorizar a páginas innecesarias

Disallow: /gracias-por-suscribirte

# Añadimos una indicación de la localización del sitemap

Sitemap: https://sitioweb/sitemap_index.xml

El objetivo no es que copies este archivo “tal cual” te lo muestro y lo pegues en tu archivo robots.txt sin más porque no siempre este se va a adaptar a tus contenidos y a la estructura del sitio web.

Es un texto guía para que lo analices, tal como he desmenuzado en el apartado Cómo es el robots.txt creado por defecto en WordPress de este artículo, de manera que entiendas su verdadero funcionamiento y así decidir qué añades y que no a tu archivo, o qué personalizas para tu caso.

Ya que por ejemplo es posible que tú sí quieras permitir el rastreo de contenidos de tu sitio por parte de crawlers como Baiduspider porque tienes público objetivo en ese país, idioma o servicio de indexado del buscador en cuestión y quieres permitir las arañas solo Baidu -el mayor motor de búsqueda de China- y bloquear las arañas de motores de búsqueda más pequeños.

NOTA Puedes querer hacer disallow a los comentarios, etiquetas, etc. Cada web es diferente, pero piensa si quieres que los buscadores pierdan tiempo en rastrear eso.

  ¿Necesitas un archivo robots.txt?

Esta es la pregunta que te puedes hacer en un momento dado.

Como te he mencionado, tener un robots.txt no es esencial para sitios pequeños, aunque la recomendación es que puedes usarlo y así mejorar el posicionamiento cuando lo utilices.

Un buen robots.txt creado puede ayudarte en:

• Tareas de mantenimiento al poder incluir un Disallow: /
• Prevención de sobrecarga del servidor, ya que pueden existir menos peticiones a páginas innecesarias.
• Evitar que Google desperdicie el presupuesto de rastreo, aumentando la probabilidad de mejor acceso y por más tiempo a páginas relevantes.
• Puedes evitar contenido duplicado. Puedes evitar que se rastreen páginas como el checkout o el carrito en una tienda online (Disallow: /checkout/ y Disallow: /cart/)
• …

El robots.txt solo es independiente de los subdominios.

Es decir, si tienes un subdominio creado tienes que crear un robots específico para el subdominio creado.

  Cómo editar el robots.txt de WordPress manualmente

Para poder crear el archivo robots.txt necesitas de una u otra forma acceder a la carpeta donde se encuentra la instalación de tu web, que puede ser public_html si solo tienes una web y esta no cuelga de ninguna carpeta específica, o si tienes varias webs, separadas por dominios, subdominios, etc., estará entonces dentro de una carpeta public_html/tu-dominio.es o similar, dependiendo del nombre que pusieras cuando lo instalaste.

En dicha carpeta debería encontrarse el archivo robots.txt para que puedas editarlo y aplicar cambios, optimizarlo o realizar las acciones necesarias.

La mejor manera de editar siempre el archivo robots es utilizando el Administrador de Archivos de tu panel de Hosting, que normalmente suele incluir por defecto algún tipo de editor de texto plano, de código o similar, con el que una vez seleccionas el archivo, puedes editarlo para ver su contenido.

Si no tienes claro que vas a hacer en dicho archivo al editarlo, es importante que antes de aplicar algún cambio en el mismo, te descargues una copia de seguridad a tu ordenador, del citado fichero, por si acaso.

Una vez aplicas los cambios que sean podrás Guardar los mismos con la opción que tu editor de archivos del filemanager disponga.

NOTA Los espacios cuenta en este archivo, así que no te prodigues en separar mucho los contenidos unos de otros porque eso suma a la hora de rastrear e interpretar dicho fichero.

  Cómo editar el robots.txt de WordPress con plugin

Anteriormente has visto cómo crear o editar el archivo robots.txt con un plugin, y la verdad es que es supersencillo y en ocasiones, sobre todo si no tienes acceso a FTP del sitio web o al Panel de Hosting porque eres “colaborador/a o autor/a” en el sitio, sin permisos suficientes.

En estos casos recurrir a plugins puede ser viable porque si tienes permisos para instalar plugins o administrar los que estén instalados (cuestión de roles que debes consultar con el administrador del sitio si no eres admin) si necesitas modificar el archivo de robots, hacerlo mediante un plugin específico es una buena ayuda a tu trabajo de mantenimiento o de SEO del sitio web en cuestión.

En WordPress para todo hay un plugin 😜 y este caso no podía ser menos, como puedes ver en este breve listado:

• Virtual Robots.txt: Ver plugin – Detecta si existe el fichero XML del sitemap. Aplica algunos bloqueos por defecto.




• XML Sitemap & Google News: Ver plugin – Genera archivos robots.txt dinámicos.




• WordPress Robots.txt optimization: Ver plugin – Crea y optimiza archivos robots.txt




• Block Archive.org via WordPress robots.txt: Ver plugin – Si no quieres que Archive.org te indexe ¡este es tu plugin!




• Robots.txt Quick Editor: Ver plugin – Para editar archivos robots.txt




• All in One SEO – Best WordPress SEO Plugin: Ver plugin – Un peso pesado de los plugins para estas tareas 👍




• Rank Math SEO: Ver plugin – Un buen plugin de SEO que además lidia con robots.txt




• Block Feed and Comments via robots.txt: Ver plugin – Para bloquear el indexado de los comentarios de tu sitio y los Feeds.

He citado plugins que posiblemente no conocías y algunos “grandes plugins” que además te permiten gestionar el archivo robots en tu sitio web, al margen de realizar otras acciones específicas.

Ahora tú decides si lo creas a mano el archivo o si haces uso de alguno de los plugins para poner a raya a los bots, que no olvides que afectan al rendimiento (peticiones) de tu sitio.

  Conclusiones

El archivo robots.txt puede ayudar mucho al rastreo de tu web, pero tienes que asegurarte del buen funcionamiento del mismo.

Una simple coma o mayúscula errónea puede hacer daños importantes en tu web con respecto al SEO.

Bloquear a bot o arañas de rastreo erróneamente puede hacerte perder posicionamiento fácilmente en poco tiempo (días) y si has dedicado mucho tiempo, dinero y esfuerzo a posicionar tu sitio, esto puede acabar en desastre.

Si es o no necesario en todos los sitios depende. Tienes que saber que, en webs pequeñas con arquitecturas sencillas, lo cierto es que los buscadores la rastreen sin problemas.

Incluso existen webs importantes de SEO que comentan no usar robots.txt, ya que Google es lo suficientemente inteligente para entender una web.

Sin embargo, a menudo digo que en el SEO todo ayuda por pequeño que sea.

Si puedes hacer que Google priorice y entienda mejor tu sitio haciéndole ahorrar tiempo, mi recomendación es que uses un robots coherente sin volverte loco.

En este artículo te hablo sobre el archivo robots.txt, que es utilizado por los motores de búsqueda para saber qué páginas o secciones del sitio web deben ser indexadas y cuáles no. En WordPress, existe un archivo robots.txt creado por defecto que puede ser editado manualmente o con la ayuda de plugins.

Además, te explico los diferentes comodines que puedes utilizar en el archivo robots.txt como la almohadilla (#), user-agent, asterisco (*), símbolo del dólar ($), noindex y nofollow, disallow y allow. También menciono algunas recomendaciones para optimizar al máximo este archivo.

Por último, te planteo si realmente es necesario tener un archivo robots.txt dependiendo de las necesidades específicas del sitio web y cómo editar este documento tanto manualmente como a través de plugins especializados.

¡Hasta aquí la Guía sobre Robots, te recomiendo que trabajes en tu robots.txt y que aumente el rastreo!

También te puede interesar:

• Configurar Crawl-Delay en el archivo Robots.txt en WordPress
• Cómo bloquear por Robots.txt en tu WordPress
• Disuadir a los motores de búsqueda de indexar este sitio
• No Index WordPress, Qué significa y cómo configurarlo
• Oculta tu WordPress a los motores de búsqueda