Avisos
Vaciar todo

No indexar la paginación desde robots.txt

4 Respuestas
2 Usuarios
0 Reactions
11 Visitas
Levantemedia
Respuestas: 560
Honorable Member
Topic starter
 

Hola.

Tengo otra pregunta.

¿Para indicar que no se indexe la paginación desde robots.txt está bien así?

Disallow: /tag/*/page/

O haría que poner sin el tag? Es decir:

Disallow: */page/

También he leído esto en una web:

"Ahora puedes indexar las paginaciones siempre que tengas bien implementadas las metas prev, next y canonical, para que cuando pase Google pueda ver todo el contenido paginado correctamente".

Bueno, yo tengo los robots así:

https://joancasan.com/robots.txt

https://mastermbaonline.net/robots.txt

Saludos.

Contenido solo visible a usuarios registrados


 
Respondido : 30/01/2024 12:29 pm
Pepe
 Pepe
Respuestas: 41230
Illustrious Member Admin
 

Hola.

Para desactivar la paginación puedes utilizar lo siguiente:

User-agent: *
Disallow: /page/

 

Si te das cuentas todas las URL de la paginación empiezan por page " Contenido solo visible a usuarios registrados " y el codigo le indica a los motores de búsqueda que no deben rastrear ninguna página que contenga /page/ en su URL.

 

Un saludo


 
Respondido : 30/01/2024 12:51 pm
Levantemedia
Respuestas: 560
Honorable Member
Topic starter
 

@pepesoler de acuerdo. 

Muchas gracias. 

Una última duda que me surge. ¿Si indico que no rastree la paginación puede impedir que indexe los posts que se encuentran dentro?

Saludos.


 
Respondido : 30/01/2024 1:00 pm
Pepe
 Pepe
Respuestas: 41230
Illustrious Member Admin
 

Hola.

¿Si indico que no rastree la paginación puede impedir que indexe los posts que se encuentran dentro?

No, solo impide que los motores de búsqueda indexen las páginas de paginación, no restringe el acceso a esas paginas que si que indexan.

 

Un Saludo


 
Respondido : 30/01/2024 2:01 pm