Definición correcta de robots.txt  

 
Marina
 Marina
Usuario eminente

Hola
Tengo definido este robots.txt

User-agent: *
Disallow: /wp-admin/
Disallow: /*.php$/
Disallow: /*.php$
Disallow: /article-title/
Disallow: /blog*/
Disallow: /build-your-own-website-easily/
Disallow: /home-page*/
Disallow: /home-v*/
Disallow: /listings*/
Disallow: /shortcodes/dividers/
Disallow: /sitemap-tax-pointfinderltypes.xml
Disallow: /sitemap-pt-empresa-2016-12.xml
Disallow: /sitemap-pt-page-2016-10.xml
Disallow: /sitemap-pt-page-2016-11.xml

Sitemap: https://organics-directory.com/sitemap_index.xml

Desde Search console-> rastreo->probador de Robots.txt (adjunto pantalla)

Pongo para que me compruebe el robot de google esta dirección: https://organics-directory.com/shortcodes/dividers/

y me indica que si que está permitida. Sin embargo yo he definido en el fichero robots.txt que no acceda.
No se si es normal este comportamiento o he definido mal mi robots.txt

El motivo de querer hacer esto es que tengo instalado el plugging redirection y este pluging me da error 404 sobre https://organics-directory.com/shortcodes/dividers/ dado por robots. Por eso quería quitar esa pagina del acceso a los robots dado que no existe en mi WEB.

¿estoy haciendo algo mal?

URL del sitio: Contenido solo visible a usuarios registrados

Citar
Respondido : 22/12/2016 6:29 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

Hola

Pero esta página no existe:

Contenido solo visible a usuarios registrados

Si no existe simplemente realiza una redirección 301 de esta página al home

Saludos.

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar mi Testimonio
¡Gracias!.

ResponderCitar
Respondido : 22/12/2016 8:49 pm

Cursos Gratuitos WordPress

Marina
 Marina
Usuario eminente

Hola

Se que esa pagina no existe y no me parece correcto hacer una 301 para "engañar" a un robot.

Mi pregunta concreta era si mi configuración de robots.txt era correcta y no me la ha contestado.

Un saludo.

ResponderCitar
Respondido : 23/12/2016 1:15 pm
Pablo Velasco
 Pablo Velasco
Illustrious Member

Hola,

El código del archivo robots.txt parece correcto y, en efecto, tendría que bloquear a los robots de los buscadores el acceso a la página que indicas. Es extraño que Google Search Console te diga que es accesible.

Si hago el test con otras herramienta de análisis del robots.txt sí me indica que está bloqueado. Por ejemplo, en esta:

http://tools.seobook.com/robots-txt/analyzer/

Tendrías que consultar el tema con el soporte de Search Console.

En todo caso, lo que te indicaba Jhon de la redirección 301 es recomendable. De esta forma, si Google vuelve a visitar esta página y se encuentra el 301 la dejará de indexar, ya que precisamente se le indica que hay una redirección permanente.

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¡Gracias!.

ResponderCitar
Respondido : 23/12/2016 2:15 pm

Gestor de Contraseñas - VPN Conexión Segura - Gestor 2FA (Segundo Factor de Autenticación

Marina
 Marina
Usuario eminente

Hola

He vuelto a probar desde search console y ahora si que me aparece como bloqueado dicha URL...seguramente tarda un tiempo en hacerse efectiva los cambios sobre robots.txt

Gracias !!

ResponderCitar
Respondido : 23/12/2016 6:56 pm

Por favor Iniciar Sesión o Registro