[Resuelto] robot google

Hola Hislining, 

Revisando el sitio web veo que tienes el archivo robtos.txt bloqueando todos los agentes

User-agent: *
Disallow: /

Revisa como tienes creado el archivo robots.txt, si tienes yoast seo instalado accede a Yoast SEO → Herramientas → Editor de archivos

Edita tu archivo robots.txt y utiliza la opción de Cómo optimizar el Robots de WordPress que tenemos disponible en esta guia → https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html

Ten en cuenta que en la sección del codigo de copies debes cambiar la URL de ejemplo por la de tu sitemap  → https://www.elrugirdeldespertar.com/sitemap_index.xml

Sitemap: https://sitioweb/sitemap_index.xml

Luego de ello envia nuevamente el sitemap a Google para que indexe tu sitio web, tienes una guia como enviar el sitemap en este articulo que tenemos disponible → https://www.webempresa.com/blog/sitemap-en-wordpress.html

Una vez realices todo esto debes esperar algunos días o unas semanas hasta que Google indexe nuevamente tu sitio web y comience a aparecer en los resultados de busquda, ten en cuenta que este cambio no es automatico ya que google es quien decide cuando sus robots rastrean el sitio web y comienzan a indexarlo. 

Verifica esto y nos comentas como va todo

Un Saludo

perfecto, creo que lo hice bien, pero te pregunto. dentro de yoast, en en robot.txt puse esto:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: elrugirdeldespertar.com/sitemap_index.xml

podrías revisar que esta bien?

y guarde, esta bien o agregarías algo más o modificarías

gracias

Hola Huslviing, 

Asegurate que la URL del sitemap es completa https://www.elrugirdeldespertar.com/sitemap_index.xml

Debe tener el protocolo del dominio tambien, ten en cuenta que aun veo tu robots antiguo sin estas reglas nuevas añadidas. 

Un Saludo

Listo, quedo así:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.elrugirdeldespertar.com/sitemap_index.xml

No entiendo lo de los robots antiguos? hay algo mas que deba de hacer?

grax

Hola Huslviing,

Lo que comenta del robot antiguo es que si estas modificando este archivo robots.txt y los estas subiendo no se esta tomando aún porque vemos ingresando a la url de https://www.elrugirdeldespertar.com/robots.txt el archivo viejo:

User-agent: *
Disallow: /

Tienes que cambiarlo como te indico Karen en su mensaje para que se actualice con este nuevo texto que nos compartes.

Un saludo 🖐️ 

Pues igual ya se actualizo, porque yo lo veo y parece que todo esta bien, en relacion a lo que me comentaron. podrian revisar de nuevo.

Hola,

Desde aqui seguimos viendo lo mismo. Has vaciado la cache de tu sitio? Recuerda hacerlo, si nosotros vemos la versión antigua, quizás el robot de Google también lo haga.

Un saludo 🖐️ 

ya vacie rocket y varnish cache. a ver si te sale 

con esto ya quedaría bien todo para google?

Hola Husliving

Si, veo que ya está bien:

Te explico brevemente qué hace cada línea:

• User-agent: * -> Aplica a todos los bots (incluido Googlebot).
• Disallow: /wp-admin/ -> Bloquea el acceso al área de administración de WordPress (correcto).
• Allow: /wp-admin/admin-ajax.php -> Permite un archivo necesario para ciertas funciones dinámicas.
• Sitemap: https://www.midominio.com/sitemap_index.xml -> Indica dónde está tu sitemap (muy importante para SEO).

Un saludo

Hola, siguiendo el proceso. Me ha llegado un email de google mencionando lo siguiente:

Hola, 

Puedes enviarnos una captura sobre las paginas que indican no se esta indexando? de esta forma podemos revisar con mayor detalle esto que nos comentas.

Un Saludo

ok, aqui te paso capturas de pantalla

Hola.

Si te das cuenta son paginaciones /page/ tags /tag/ parámetros que añade Google para hacer seguimiento ?utm

Todas esas páginas no se indexan.

.- Edita el archivo robots.txt y sustituye su contenido por el siguiente:

User-agent: *

# --- Administración ---
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# --- Archivos del sistema ---
Disallow: /cgi-bin/

# --- Bloqueo de parámetros de tracking (UTM) ---
Disallow: /*?utm_

# --- Búsquedas internas ---
Disallow: /*?s=
Disallow: /search/

# --- Filtros comunes WooCommerce (evitar indexación basura sin romper tienda) ---
Disallow: /*?filter_
Disallow: /*?min_price=
Disallow: /*?max_price=
Disallow: /*?orderby=

# --- Feeds ---
Disallow: /feed/
Disallow: */feed/
Disallow: /comments/feed/

# --- Trackbacks ---
Disallow: */trackback/

# --- Archivos innecesarios ---
Disallow: /*.pdf$
Disallow: /*.log$
Disallow: /*.tmp$

# --- Páginas específicas ---
Disallow: /gracias-por-suscribirte

# --- Permitir recursos necesarios (CRÍTICO para SEO moderno) ---
Allow: /wp-content/uploads/
Allow: /*.css$
Allow: /*.js$

# --- Bots específicos ---
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

# --- Bloqueo de bots problemáticos ---
User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: libwww
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Yeti
Disallow: /

User-agent: YodaoBot
Disallow: /

# --- Sitemap ---
Sitemap: https://www.elrugirdeldespertar.com/sitemap_index.xml

En resumen son paginas que no se tienen que indexar y Google no las indexa.

Un saludo

pregunta, si no se indexan, vale la pena hacer lo que me recomiendas??? y si recomiendas editar el txt, donde puedo editarlo?? yoast??

gracias