Avisos
Vaciar todo

sobre el robot.txt

4 Respuestas
3 Usuarios
0 Reactions
569 Visitas
Rosario
Respuestas: 1246
Noble Member
Topic starter
 

Mi archivo robot.txt tiene todos estos directorios fura de rastreo pero no se si es correcto tenerlo así, con estos datos porque luego en los programas de chequeos de links me dice que el robot no ha podido rastrearlos. ¿Quizás al menos la carpeta images debería de estar rastreable?

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

URL del sitio: Contenido solo visible a usuarios registrados


 
Respondido : 22/11/2016 1:43 pm
Pepe
 Pepe
Respuestas: 41101
Illustrious Member Admin
 

Hola Rosario

¿Quizás al menos la carpeta images debería de estar rastreable?
Deja solo estos que te indico:
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/

Un saludo


 
Respondido : 22/11/2016 3:20 pm
Rosario
Respuestas: 1246
Noble Member
Topic starter
 

¿Te puedo preguntar por qué?


 
Respondido : 22/11/2016 3:54 pm
Jhon
 Jhon
Respuestas: 44989
Soporte CMS Webempresa
 

Hola

Lo que sucede es que google ahora quiere saber más cosas de tu sitio, si detecta que es un CMS quiere entrar por ejemplo dentro de los archivos del template que usas.

Saludos.


 
Respondido : 22/11/2016 5:52 pm