Fichero robots.txt

20 Respuestas
6 Usuarios
0 Reactions
42 Visitas
Respuestas: 11
Active Member
Topic starter
 

Hola: me dicen esto desde soporte técnico:
"Nosotros no bloqueamos en absoluto el acceso de Google a las páginas que alojamos. Probablemente los avisos vienen generados por el fichero robots.txt que genera Yoast para tu sitio; en ese caso, con quien debes consultar es con mis compañeros del foro de soporte CMS, ya que no se trata de una restricción del lado del servidor
Aunque mis compañeros de foro te lo podrán confirmar mejor que yo (y de ahí que te remita a ellos), lo que estás indicando es que para cualquier user-agent, puede accederse a la ruta /wp-admin/admin-ajax.php, y no puede accederse a la ruta /wp-admin/. El problema es que al poner una sentencia Allow que solo permite acceder a un ruta específica, está omitiendo todo lo demás.
Un archivo que permita acceder al frontal, pero impida acceder a /wp-admin/, sería:
User-agent: *
Disallow: /wp-admin/
Allow: /
Allow: /wp-admin/admin-ajax.php
De todas formas, te agradecería que confirmases esto con mis compañeros de foro, que son quieres podrán ayudarte de forma más específica respecto a esta cuestión."

No sé si eso será correcto, y tampoco sé en qué carpeta se encuentra el fichero robots.txt.

Agradecería instrucciones muy precisas, ya que no domino el tema.


 
Respondido : 27/10/2020 12:58 pm
Karen Rios
Respuestas: 18684
Illustrious Member Moderator
 

Hola Donca,

Puedes comentarnos en este caso cual es el error que presentas o cuales son estos avisos?

Si es posible de igual forma indícanos cual es el dominio donde presentas este inconveniente, de esta forma podremos verificar con mayor detalle lo que nos comentas

Un Saludo


 
Respondido : 27/10/2020 1:08 pm
Respuestas: 11
Active Member
Topic starter
 

Hola @karen

El dominio es donca.es, la web https://www.donca.es

El plugin Yoast SEO me advierte de que mi sitio no puede ser encontrado por los motores de búsqueda. Tratando de averiguar si hay algún problema, llego hasta la herramienta search console de Google, con la que no estoy familiarizado en absoluto, y me advierte "La URL enviada tiene un problema de rastreo", pero no consigo extraer más información. Navegando, veo que me hablan de posibles problemas con el fichero robots.txt, que no he manipulado nunca directamente.


 
Respondido : 27/10/2020 1:41 pm
Pepe
 Pepe
Respuestas: 41129
Illustrious Member Admin
 

Hola.

Lo primero edita el archivo robots.txt que encontrarás en la carpeta de la instalación y modifica el contenido de ese archivo por el que encontrarás en esta entrada del blog:

-> https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html

Copia y pega en el archivo todo el código que tienes en el último apartado " Cómo optimizar el Robots al máximo "

Del codigo tienes que modificar la ultima linea con al URL de tu sitemap:

Sitemap: https://sitioweb/sitemap_index.xml

Sería la siguiente: 

Sitemap: https://www.donca.es/sitemap_index.xml

 

Una vez tengas eso accede al administrador de WordPress Ajustes -> Lectura.

Revisa que no tengas seleccionada la opción " Disuadir a los motores de búsqueda de indexar este sitio "

screenshot nimbus capture 2020.10.27 15 08 11

 

Un saludo


 
Respondido : 27/10/2020 2:09 pm
Respuestas: 11
Active Member
Topic starter
 

Gracias Pepe.

Disculpa pero no estoy seguro de en qué carpeta tengo que situar el archivo robots.txt

¿Sería en la carpeta public-html, que es en la que están situadas las carpetas wp-admin, wp-content y wp-includes?.


 
Respondido : 27/10/2020 4:58 pm
Respuestas: 11
Active Member
Topic starter
 

Bueno: ya lo he hecho a través de la utilidad del plugin Yoast SEO.

Gracias.


 
Respondido : 27/10/2020 5:04 pm
Respuestas: 11
Active Member
Topic starter
 

Pero el problema permanece. Al entrar al escritorio de Wordpress, un apartado (que no sé si es de Yoast o de WP) titulado "Estado de salud del sitio", me dice que hay problemas y me ofrece un link a la "pantalla de salud del sitio". Esa pantalla me dice haber detectado un "error crítico". EL texto del error es "Tu sitio no puede ser encontrado por los motores de búsqueda"


 
Respondido : 27/10/2020 5:30 pm
Jhon
 Jhon
Respuestas: 44989
Illustrious Member Moderator
 

Hola

Has podido solucionar tu problema?, actualmente veo correoctamente tu robots.txt

Contenido solo visible a usuarios registrados

Saludos.


 
Respondido : 27/10/2020 5:33 pm
Respuestas: 11
Active Member
Topic starter
 

Hola Jhon.

Seguí las instrucciones de Pepe, pero en mi escritorio de Wordpress aun me sale el aviso

Tu sitio no puede ser encontrado por los motores de búsqueda


 
Respondido : 28/10/2020 8:14 am
Pepe
 Pepe
Respuestas: 41129
Illustrious Member Admin
 

Hola.

El estado de salud es una nueva opción de WordPress donde se muestra la salud del sitio, es decir mejoras que puedes realizar.

Yoast tiene un acuerdo con ryte que es una compañía de seo y supongo que el aviso es de Ryte, puedes crear una cuenta y realizar una revisión:

-> https://es.ryte.com/

 

Si reviso los resultados de google veo que sí que está indexando páginas y si reviso la caché de Google veo que en Octubre rastreo páginas:

screenshot webcache.googleusercontent.com 2020.10.28 13 33 38

 

En principio no veo problemas, lo que tienes que revisar es si en la consola de Google search console tienes avisos para resolver.

 

Un saludo

 


 
Respondido : 28/10/2020 12:40 pm
Respuestas: 11
Active Member
Topic starter
 

Sí: el aviso de YOAST me lleva a Ryte, y Ryte es una compañía de venta de servicios bastante agresiva y pegajosa, que no me ha gustado ni media.

Google Search Console, me dice respecto a https://www.donca.es lo siguiente:

"La URL no está en Google: errores de indexación
No puede aparecer en los resultados de la Búsqueda de Google hasta que no se haya indexado. Más información"
 
He intentado adjuntar una captura de pantalla, pero creo que no va a salir
 
SharedScreenshot
N/D

 
Respondido : 28/10/2020 12:53 pm
Pepe
 Pepe
Respuestas: 41129
Illustrious Member Admin
 

Hola.

En  la parte superior verás que tienes un especie de botón " Solicitar indexación ", selecciona este botón y espera a ver si google indexa esa URl estos días.

screenshot www.webempresa.com 2020.10.28 15 15 39

Las demás páginas están indexadas por lo que no veo problemas de rastreo y el archivo robots.txt no tiene ningún bloque o que pueda afectar.

 

Un saludo


 
Respondido : 28/10/2020 2:19 pm
Respuestas: 11
Active Member
Topic starter
 

@  pepesoler

Lo había probado, pero esto indica Google al posar el ratón encima. Así lleva todo el día. 

Google

No sé si es problema de mi URL únicamente.
¿Alguna otra manera de realizar la indexación?.


 
Respondido : 28/10/2020 5:15 pm
Argenis
Respuestas: 11585
Illustrious Member Moderator
 

Hola Donca,

Google developers publico hace unos días un aviso en su red social twitter informando que habían deshabilitado la opción por arreglos a su infraestructura > Información, no es un problema de tu dominio sino de la plataforma de Google como tal, es posible que aun se encuentran trabajando ya que no esta aun disponible la opción solo queda esperar a que el robot de Google pase nuevamente por tu sitio web.

Un saludo 🖐️ 


 
Respondido : 28/10/2020 6:09 pm
Respuestas: 11
Active Member
Topic starter
 

Gracias @argenis

¿Qué plazo cabe esperar para que Google pase por mi sitio web?. ¿Estamos hablando de días, semanas, meses...?.

 


 
Respondido : 29/10/2020 8:41 am
Página 1 / 2