Sitemap, Error URL restringida por robots.txt  

 
Asociación Cultural El Patiaz
 Asociación Cultural El Patiaz
Usuario experto

Buenas tardes
Estoy intentando indicarle a google mi archivo sitemap. Es una instalación nueva de Joomla (con la vieja no tenía problemas con el sitemap) y siguiendo vuestras indicaciones he instalado OsMap, pero me da el error "URL restringida por robots.txt" a pesar de que he seguido las instrucciones de la documentación de OsMap. https://www.joomlashack.com/docs/osmap/start/

Aqui podéis verlo, he probado de diferentes maneras a ver si lo estaba haciendo mal pero siempre me da ese error, he mirado los post en el foro para ver la solución a ese problema pero no consigo que lo lea.
http://www.elpatiaz.es/sitemap
http://www.elpatiaz.es//index.php?option=com_osmap&view=xml&tmpl=componet&id=3

También he probado a renombrar los archivos robots.txt y robots.txt.dist porque leí en el foro de probar a quitarlos pero sigue dando el error. No se si hay alguna otra cosa que tenga que modificar o quitar.
El mismo error "URL restringida por robots.txt" se produce cuando :
He seguido las indicaciones de la ayuda de Google: Inserta la siguiente línea en cualquier parte del archivo robots.txt, especificando la ruta de tu sitemap.
Sitemap: http://example.com/ubicacion_sitemap.xml
También he generado un archivo sitemap.xml con una aplicacion externa https://www.xml-sitemaps.com y subirlo a la raiz del sitio
http://www.elpatiaz.es/sitemap.xml

Así que no se que más mirar ni que hacer
Este es mi archivo robots.txt, aunque como os digo está renombrado

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /

saludos.

URL del sitio: Contenido solo visible a usuarios registrados

Hosting Joomla 3Gb www.elpatiaz.es

Citar
Respondido : 12/10/2016 9:11 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

Hola

No le veo mucho sentido que renombres robots.txt ya que tu sitemap esta en esta ruta:
Contenido solo visible a usuarios registrados y no en components/

Deberías de hecho hacer referencia al sitemap desde robots.txt

si hace click en el link de directrices que te aparece?

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar mi Testimonio
¡Gracias!.

ResponderCitar
Respondido : 12/10/2016 10:44 pm

Cursos Gratuitos WordPress

Asociación Cultural El Patiaz
 Asociación Cultural El Patiaz
Usuario experto

Hola Jhon
He renombrado robots.txt para que no estuviese el archivo cuando le pasaba el parametro que me daba OsMap para Google mediante Search Console, aun renombrando el archivo me da error "URL restringida por robots.txt", cuando se supone que al renombrarlo el archivo robots.txt no existe.
Para descartar que no había errores de sintáxis después he subido directamente al directorio el archivo sitemap.xml, si no existe un archivo robots.txt y el archivo sitemap.xlm esta en el directorio, Google tendría que darlo por bueno y leerlo, pero aun así, faltando robots.txt, sigue saliendo el error. "URL restringida por robots.txt"

No entiendo a que te refieres con: "si hace click en el link de directrices que te aparece?"
En cuanto a hacer referencia al sitemap desde robots.txt ¿me puedes decir por favor como quedaría el archivo después de añadirlo?

Había hecho pruebas añadiendo la linea en robots.txt:
Sitemap: www.elpatiaz.es/sitemap.xml
pero igualmente me salia el mismo error "URL restringida por robots.txt"

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /

Hosting Joomla 3Gb www.elpatiaz.es

ResponderCitar
Respondido : 13/10/2016 12:25 am
Johnny Heredia Montiel
 Johnny Heredia Montiel
Miembro Moderator

Hola,

Verifica insertando el fichero robots.txt que viene por defecto en Joomla: https://docs.joomla.org/Robots.txt_file

Otra opción seria probar con otro plugin sitemap.

Si nuestra ayuda te ha sido útil, déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar mi Testimonio
¡Gracias!.

ResponderCitar
Respondido : 13/10/2016 4:20 am

wpdoctor-revisa-la-salud-de-tu-wordpress

Asociación Cultural El Patiaz
 Asociación Cultural El Patiaz
Usuario experto

Hola
He sustituido mi Robots.txt por el que me dices, pero también me daba el mismo error, probando he ido despublicando opciones de Robots.txt y ahora Google si que accede pero me muestra un warning "El sitemap incluye URL que el archivo robots.txt ha bloqueado".
Ahora mi archivo Robots.txt queda así. ¿es correcto despublicar esas lineas?
---------------
# http://www.sxw.org.uk/computing/robots/check.html
#
#Disallow: /components/
#Disallow: /plugins/
#Disallow: /cache/
#Disallow: /layouts/

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/
------------
Aún de esta manera hay recursos bloqueados por Robots.txt según muesta el informe de Search Console (imagen1) ¿Puedo despublicar alguna otra linea más para ver si se debloquean esos recursos o no es recomendable?

Saludos

Hosting Joomla 3Gb www.elpatiaz.es

ResponderCitar
Respondido : 14/10/2016 10:16 pm
Johnny Heredia Montiel
 Johnny Heredia Montiel
Miembro Moderator

Hola,

Verifica si el siguiente enlace te es de ayuda:
https://www.webempresa.com/blog/actualiza-robots-txt-en-joomla-3-4-x-y-mejora-tu-karma-con-google-y-de-paso-tu-seo.html

Si nuestra ayuda te ha sido útil, déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar mi Testimonio
¡Gracias!.

ResponderCitar
Respondido : 15/10/2016 6:27 am

Gestor de Contraseñas - VPN Conexión Segura - Gestor 2FA (Segundo Factor de Autenticación

Asociación Cultural El Patiaz
 Asociación Cultural El Patiaz
Usuario experto

Hola
Realmente había llegado a un resultado similar sin saberlo,
¿Es conveniente despublicar todo lo que despublicado? ¿es igual que elimine totalmente el archivo Robots.txt ? Aún a pesar de estar despublicadas muchas opciones, google me avisa de algunos recursos bloquedos por el archivo Robots.txt.
Ahora el archivo Robots.txt me queda así.
-----------
# http://www.sxw.org.uk/computing/robots/check.html
#
#Disallow: /components/
#Disallow: /plugins/
#Disallow: /cache/
#Disallow: /layouts/
#Disallow: /bin/
#Disallow: /cli/
#Disallow: /includes/
#Disallow: /installation/
#Disallow: /language/
#Disallow: /libraries/

User-agent: *
Disallow: /administrator/
Disallow: /logs/
Disallow: /tmp/
--------

Hosting Joomla 3Gb www.elpatiaz.es

ResponderCitar
Respondido : 17/10/2016 4:29 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

Hola

Básicamente desabilita sólo el administrador si tienes una instalación estandar de joomla es correcto lo que has realizado adicionando tmp y log, le agregaría la carpeta cache en caso tengas alguna.

Ten en cuenta que google requiere ver casi todos tus recursos , pero puedes bloquer algunos de ellos si no te interesa que los inspeccione, google busca imágenes en cualquiera de las carpetas de tu sitio

Saludos.

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar mi Testimonio
¡Gracias!.

ResponderCitar
Respondido : 17/10/2016 10:49 pm

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Asociación Cultural El Patiaz
 Asociación Cultural El Patiaz
Usuario experto

Hola Jhon
De momento lo voy a dejar así a ver que pasa y estaré atento a las estadisticas de Google ya que parece ser que tarda en volver a refrescar los datos.

Tema cerrado
Gracias

Hosting Joomla 3Gb www.elpatiaz.es

ResponderCitar
Respondido : 22/10/2016 9:33 am

Por favor Iniciar Sesión o Registro