Avisos
Vaciar todo

Bloqueo de robots no deseados en google

9 Respuestas
5 Usuarios
0 Reactions
924 Visitas
Respuestas: 363
Reputable Member
Topic starter
 

hola de nuevo y vuelvo con mas cosas sobre el robots.txt

Tengo bloqueos en google en varias paginas al rastrear mi sitemap y el error lo dan varios directorios (de hecho he visto varios sitios con un robots con casi todo permitido):

1 Directorio /modules. En robots puse lo de la correccion del blog vuestro y he añadido ademas yo un # en el directorio, pero me sigue bloqueando, puede ser lo del blog que si no esta permitido no vale? Os pego a continuacion los trozos a lo que me refiero:

# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
# Disallow: */modules/
Disallow: */translations/
# Disallow: */tools/

2- El # deja la linea como texto sin procesar, no? o debo borrarla? (he querido mantenerla para saber lo que ponia por defecto)

3- Si quito la linea /modules, podria quitar los dos de arriba? Tambien tuve bloqueos en /tools

Estoy experimentando ciertas mejoras en la indexacion de google gracias a que estoy quitando estas cosas.

4- si quiero por lo contrario bloquear los cms (aviso legal, etc) hay que añadir el directorio /content ?

saludos y gracias por adelantado

URL del sitio: Contenido solo visible a usuarios registrados


 
Respondido : 25/08/2016 9:26 pm
Johnny Heredia Montiel
Respuestas: 20131
Illustrious Member Moderator
 

Hola,

Puedes probar a renombrar el fichero robots_old.txt, luego puedes ir a la administración de tu PrestaShop => preferencias => SEO y URLs y al final presionar en el botón generar el fichero robots.txt para que nuevamente coloque nuevamente el fichero que viene por defecto.


 
Respondido : 26/08/2016 12:05 am
Respuestas: 363
Reputable Member
Topic starter
 

Hola, no me referia a eso que me contestas, ya que lo que pretendo es no gestionar el robots.txt por la herramienta prestashop.

Podriais comentarme por favor lo que os pregunto?

saludos y muchas gracias


 
Respondido : 26/08/2016 9:35 am
Pablo Velasco
Respuestas: 20382
Illustrious Member
 

Hola,

No te recomiendo desactivar la indexación del directorio módules, ya que en este directorio se cargarán imágenes, archivos css, etc.

Es decir, tendrías que borrar la línea

Disallow: */modules/

Si se pone un # se está comentando la línea, por lo que sería equivalente a eliminarla.

Si quitas esta línea no es necesario que existan los Allows para los contenidos de módulos ya que, en ausencia de Disallow, el Allow ya se sobreentiende.

Si quieres bloquear los elementos del CMS tendrías que añadir la siguiente línea:

Disallow: /content/


 
Respondido : 26/08/2016 1:11 pm
Respuestas: 363
Reputable Member
Topic starter
 

Ok, gracias.

Recomiendas desactivar mas cosas?

He visto en alguna web bien posicionada la ruta al sitemap.xml al principio y al final del archivo robots.txt. Que te parece esto?

Tambien he visto en una web que luego he perdido y no encuentro de nuevo, una entrada desabilitando las urls con errores 404 en su robots.txt. De hecho creo que leí confirmando esto mismo en algun sitio especializado. Sabes como prodria escribirlo? Que opinion te da esto?

Muchas gracias por adelantado y saludos.


 
Respondido : 28/08/2016 8:48 am
Pepe
 Pepe
Respuestas: 41273
Illustrious Member Admin
 

Hola Enrique

Recomiendas desactivar mas cosas?
Al eliminar el Disallow: */modules/, no hace falta que tengas estas dos lineas y puedes eliminarlas:

Allow: */modules/*.css
Allow: */modules/*.js

He visto en alguna web bien posicionada la ruta al sitemap.xml al principio y al final del archivo robots.txt. Que te parece esto?

En este caso es indiferente que se encuentre al principio o al final, la función es la misma y no afecta su posición en el SEO que es a lo que creo que te refieres.

La ultima consulta no la entiendo muy bien pero supongo que te refieres a redireccionar las errores 404 que son de pagina no encontrada.

Estas redirecciones las puedes realizar desde .htaccess, redirigiendo esa url a otra por ejemplo al inicio.

Revisa esta entrada del blog
Redirecciona urls de forma correcta usando cPanel y .htaccess

Un saludo


 
Respondido : 28/08/2016 2:38 pm
Respuestas: 363
Reputable Member
Topic starter
 

Gracias, pero eso ya lo habiamos hablado en este tema y el resto no me refiero a eso.

Pero podemos cerrar el tema si quereis.

P.D. Una cosa diferente. Me acaba de salir el mensaje de aviso del numero de 50 mensajes en el foro por mes. Se refiere a meses reales? (De Agosto me quedarian 2 dias hasta el 31 y empeazamos a contar otro mes) o meses a contar desde las sucripciones?

Saludos y gracias


 
Respondido : 29/08/2016 5:36 pm
Jhon
 Jhon
Respuestas: 44989
Illustrious Member Moderator
 

HOla

Son meses reales, es decir te quedarían 2 días para reiniciar el contador. De no ser así, y sigues viendo el mensaje te lo pueden aclarar por tickets en donde pueden ver más detalle.

Saludos.


 
Respondido : 29/08/2016 10:38 pm
Respuestas: 363
Reputable Member
Topic starter
 

ok, gracias de nuevo

saludos


 
Respondido : 31/08/2016 11:35 pm