Avisos
Vaciar todo

Robots.txt en Wordpress  

 
Ana
 Ana
Usuario eminente

Estoy intentado crear y editar correctamente el archivo robots.txt, siguiendo sus instrucciones ( https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html) en el artículo que recomiendan a través del foro y me encuentro que la Search Console de Google, en su probador de robots.txt me dice que hay 8 errores. Lo curioso es que los errores son líneas de código que yo no he puesto en el archivo. El código que yo he escrito en el archivo txt es el que ustedes (en otro artículo: https://www.wpdoctor.es/fichero-robotstxt-wordpress/) recomiendan:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /readme.html
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/

En el artículo que ustedes recomiendan sugieren literalmente: En WordPress, y prestando atención a las nuevas políticas establecidas por Google para el indexado de contenidos, lo mejor es no bloquear el acceso a wp-includes y específicamente a plugins. Entonces me surge una duda, el código Disallow: /wp-content/plugins/ no está haciendo exactamente eso?, bloquear el acceso a wp-inlcudes y a plugins?

También he observado que no puedo ver el archivo desde el administrador de archivos de cPanel. Les dejo una captura de pantalla donde verán el archivo en blanco.

Y por último una sugerencia, apenas he logrado entender el artículo. Demasiado técnico para mi nivel. Me hubiera gustado poder ir comprendiendo parte a parte. Por ponerles un ejemplo, hablan de elegir unas reglas para el archivo y yo no tengo ni idea de qué reglas pueden aplicarse... Sería de agradecer un artículo para principiantes....

Muchas gracias,

Ana

URL del sitio: Contenido solo visible a usuarios registrados

Citar
Respondido : 19/01/2017 7:29 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

HOla

De donde has sacado ese código que tienes en tu robots.txt?
Contenido solo visible a usuarios registrados

Tiene errores, lo más rápido sería que elimines todo el contenido y luego sólo coloca este código:

User-Agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/

Sitemap: URL_DE_TU_SITEMAP

Sólo reemplaza la URL_DE_TU_SITEMAP

Saludos.

ResponderCitar
Respondido : 19/01/2017 8:59 pm

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Ana
 Ana
Usuario eminente

He cambiado el código por el que me recomendó pero aún me da un error en la línea vacía (línea 5). El código que he puesto es:

User-Agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
 
Contenido solo visible a usuarios registrados
Me pregunta por otro lado, dónde encontré el código que tenía puesto previamente: www.wpdoctor.es/fichero-robotstxt-wordpress/

ResponderCitar
Respondido : 19/01/2017 9:17 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

HOla

Elimina las líneas vacías.

Saludos.

ResponderCitar
Respondido : 19/01/2017 9:27 pm

Cursos Gratuitos WordPress

Ana
 Ana
Usuario eminente

Ya lo he hecho y ya no da errores. Gracias

Queda pendiente de responder:
También he observado que no puedo ver el archivo desde el administrador de archivos de cPanel. Les dejo una captura de pantalla donde verán el archivo en blanco.

ResponderCitar
Respondido : 19/01/2017 9:39 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

HOla

No veo que hayas cambiado tu archivo, lo veo igual, los cambios deberían verse al consultar la url:

Contenido solo visible a usuarios registrados

Saludos.

ResponderCitar
Respondido : 19/01/2017 9:51 pm

wpdoctor-revisa-la-salud-de-tu-wordpress

Ana
 Ana
Usuario eminente

Hola de nuevo.
No entiendo lo que está pasando. Si yo descargo el archivo robots.txt desde cPanel a mi ordenador y lo abro, lo que leo es lo siguiente (el texto que usted me indicó):

User-Agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Sitemap: https://anitaporelmundophotography.com

Pero si accedo a través del enlace: anitaporelmundophotography.com/robots.txt lo que veo es lo siguiente:

{rtf1ansiansicpg1252cocoartf1504cocoasubrtf760
{fonttblf0fmodernfcharset0 Courier;}
{colortbl;red255green255blue255;red52green52blue52;red251green251blue251;}
{*expandedcolortbl;;cssrgbc26667c26667c26667;cssrgbc98824c98824c98824;}
paperw11900paperh16840margl1440margr1440vieww22100viewh21460viewkind0
deftab720
pardpardeftab720partightenfactor0

f0fs24 cf2 cb3 expnd0expndtw0kerning0
User-Agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Sitemap: https://anitaporelmundophotography.com}

¿Cómo es que ocurre eso y cómo se soluciona?

ResponderCitar
Respondido : 20/01/2017 6:26 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

Hola

Estas segura que estas cambiando el robots.txt correcto?
Si eliminas o renombras el archivo robots.txt verifica si se sigue mostrando.

Tienes algún tipo de cache a nivel de servidor activo? como magic cache?

Saludos.

ResponderCitar
Respondido : 20/01/2017 9:56 pm

Gestor de Contraseñas - VPN Conexión Segura - Gestor 2FA (Segundo Factor de Autenticación

Ana
 Ana
Usuario eminente

Claro que estoy segura que es el mismo. De hecho no tenía ningún robots.txt en la instalación.

ResponderCitar
Respondido : 21/01/2017 2:10 am
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola Ana.

.- Accede a tu cuenta de cPanel - > Adminsitrador de Archivos.
.- Selecciona la carpeta ' anitaporelmundophotography.com '
.- Renombrar el archivo robots.txt por ejemplo a robots_old.txt
.- Sube el archivo que te adjunto y lo descomprimes en anitaporelmundophotography.com

Cuando lo descomprimas veras que hay un nuevo archivo robots.txt ya modificado.

Revisa si con eso se soluciona

Un saludo

ResponderCitar
Respondido : 21/01/2017 11:11 am

Eduardo
 Eduardo
Usuario experto

Hola.
Perdón que use este espacio para preguntar algo.
Pepe, el robots TXT que recomiendas en este hilo, sigue vigente? Son válidas las diagonales invertidas? Qué significan. Tengo algunos problemas, que preguntaré personalmente en otro hilo.
Saludos

ResponderCitar
Respondido : 23/09/2019 6:33 am
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola Eduardo.

No, no lo utilices.
Dependerá que lo que busques, hay algunos líneas que se pueden utilizar en todas las instalaciones y otras que dependiendo de lo que se busque, se añaden o no, por ejemplo puedes querer que solo rastree la web Google y bloquear los otros robots o impedir que se rastreen algunas carpetas.

No sé si utilizas algún plugin de seo como puede ser Yoast:
-> https://es.wordpress.org/plugins/wordpress-seo/

El plugin tiene una opción para crear el archivo robot.txt:
.- Accede a Seo -> herramientas -> Editor de archivos

.- Pulsa en el botón " Crear archivo robots.txt "

Revisa esta entrada del blog donde se tarta el tema:
-> https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html

Un saludo

ResponderCitar
Respondido : 23/09/2019 10:50 am

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Eduardo
 Eduardo
Usuario experto

Muchas gracias Pepe.
Saludos

ResponderCitar
Respondido : 23/09/2019 9:00 pm