robot.txt en una versión no canónica del sitio web.  

Página 1 / 2
 
Domingo Gil
 Domingo Gil
Reputable Member

Hola, tengo el siguiente problema con el robot.txt Contenido solo visible a usuarios registrados la consola de google no me lo detecta investigando he comprobado que el error es que está  

No entiendo como es posible esto, tengo en el htacces el dominio con www apuntando al dominio sin ellas, no veo el problema espero que me puedan orientar

con este codigo htaccess:

RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.loquesea.com [NC]
RewriteRule ^(.*)$ https://loquesea.com/$1 [L,R=301,NC]

adjunto captura del error consola:

error txt

Gracias

Citar
Respondido : 15/05/2020 5:13 pm
Jhon
 Jhon
Soporte CMS Webempresa Moderator

Hola

Prueba usar el siguiente código como parte de tu robots.txt y verifica nuevamente , ya que veo actualmente un Disallow que no hace referencia a nada.

User-Agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/

Sitemap:  https://ruthmontenegro.com/sitemap_index.xml 

 

Saludos.

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar mi Testimonio
¡Gracias!.

ResponderCitar
Respondido : 15/05/2020 5:24 pm

Cursos Gratuitos WordPress

Domingo Gil
 Domingo Gil
Reputable Member

@jmarreros

Buenas tardes, 

He comprobado que tengo un 301 desde el txt sin las www a con las www de Contenido solo visible a usuarios registrados en la imagen adjunta se puede ver con una extensión de redirecciones

301 del txt de ruthmontenegro

 

no encuentro en que sitio puede estar realizado ese 301 ¿me pueden dar alguna idea? 

 

Gracias

ResponderCitar
Respondido : 16/05/2020 3:36 pm
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola Domingo.

Revisa si tienes la dirección en el archivo htaccess.

De todas formas no hay ningún problema ya que siempre te cargara sin las WWW aunque se añada el dominio con las WWW

 

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¿Has probado WpCenter?, es nuestro nuevo manager de WordPress desde el propio cPanel sin necesidad de acceder a tu administración, te permitirá configurar actualizaciones automáticas y mucho más.
Pruébalo accediendo a tu cPanel > Aplicaciones Webempresa > WpCenter
¡Gracias!.

ResponderCitar
Respondido : 16/05/2020 5:41 pm

wpdoctor-revisa-la-salud-de-tu-wordpress

Domingo Gil
 Domingo Gil
Reputable Member

@pepesoler

Hola, he solucionado el problema del 301 pero sigo con el problema de que el dominio que tengo puesto como preferido (canónico) es el de Contenido solo visible a usuarios registrados

esta claro que google puede rastrear la web (por lo menos es lo que creo) pero no es normal este comportamiento y como me encuentro con una caida general en las busquedas (casi estan desapereciendo de las serps) para todos estos dominios y no tengo una accion manual de penalización marcada en la consola de google buscando la posible causa solo he detectado este problema.

Un poco de historia para que sirva de orientación para comprender mejor el problema que tengo:
La web hasta hace dos meses tenía como dominio canónico con las tres wwww y después de un cambio de plantilla se opto por dejar la url si las tres wwww y casi desde ese momento se ha producido la bajada en las búsquedas (se han dexindexado el 80% de las URls), cuando se ha tenido constancia de estos problemas ya han pasado dos meses y se ha considerado que volver de nuevo a poner todo con las tres www no es aconsejable porque las URLs que se están indexando estan ahora sin las tres www.

El problema es bastante serio y no encuentro una forma de solucionarlo espero que con vuestra ayuda sea capaz de identificar que estoy haciendo mal.

Gracias por la ayuda.

 

txt no accesible
txt no accesible en la consola

 

ResponderCitar
Respondido : 17/05/2020 9:03 am
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola Domingo.

Veo que la pagina se esta rastreando:

->Contenido solo visible a usuarios registrados

Si te das cuenta la fecha de rastreo es del 16/05

screenshot webcache.googleusercontent.com 2020.05.17 16 29 53

 

El tema de que cargue el archivo robot con www o sin ellas no tiene importancia ya que siempre cargara sin las www.

Lo que no se puede hacer es ir variando las estructuras de las URL ni redireccionar, eso si que afecta a el Seo. Lo mas importante es tener claro que estructura se quiere utilizar y seguir siempre con la misma estructura. Cada vez que cambias de estructura de URl estas empezando de nuevo.

 

Un saludo

 

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¿Has probado WpCenter?, es nuestro nuevo manager de WordPress desde el propio cPanel sin necesidad de acceder a tu administración, te permitirá configurar actualizaciones automáticas y mucho más.
Pruébalo accediendo a tu cPanel > Aplicaciones Webempresa > WpCenter
¡Gracias!.

ResponderCitar
Respondido : 17/05/2020 3:38 pm

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Domingo Gil
 Domingo Gil
Reputable Member

@pepesoler

El tema de que cargue el archivo robot con www o sin ellas no tiene importancia ya que siempre cargara sin las www.

RESPUESTA:
No tengo tan claro que sea de esta forma

Varias herramientas me indican que el robot.txt esta cargando el dominio con las tres wwww. en la imagen (robot.txt-cargando con las tres www) se puede comprobar esto

Como el dominio canónico es sin las tres www y el robot.txt no esta cargando por el dominio canónico Contenido solo visible a usuarios registrados no es efectivo, por ejemplo en el robot.txt tengo puesta una regla para que permita el acceso Googlebot a los archivos JS y CSS
User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$
y creo que no funciona porque no es detectado por google.
He comprobado con diferentes herramientas que no detecta el TXT, como muestra puedes verlo en la imagen (1,2 y 3), ¿no existe la posibilidad de que sea posible esto?

Lo que no se puede hacer es ir variando las estructuras de las URL ni redireccionar, eso si que afecta a el Seo. Lo mas importante es tener claro que estructura se quiere utilizar y seguir siempre con la misma estructura. Cada vez que cambias de estructura de URl estas empezando de nuevo.

RESPUESTA: Se modifico la estructura de la URL porque tenia entendido que no afectaba, que solo era un aspecto visual que la web tuviera las tres www o no, pero esta claro que esa información no era correcta, lo que creo es que ahora tengo que aguantar el tiron y levantarla de nuevo, no creo que lo mas conveniente fuera modificar de nuevo la URL después de dos meses para poner el dominio de nuevo con ellas, es un fallo que no tiene remedio, si por lo menos el robot.txt fuera acseible para google todo seria mas rapido.

Gracias

 

3 txt no accesible
2 txt no accesible en la consola
1 BING no detecta el archivo txt dice que esta vacio
robot.txt cargando con las tres www

ResponderCitar
Respondido : 18/05/2020 10:02 am
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola Domingo.

No tengo tan claro que sea de esta forma:

Puedes probarlo simplemente en el navegador intenta cargar el archivo robot.txt con las WWW o sin las WWW y veras que siempre carga el dominio sin www.

-> Contenido solo visible a usuarios registrados

 

Si te fijas puedes ver que el archivo robot.txt esta accesibles:

screenshot www.woorank.com 2020.05.18 18 13 44

 

Un saludo

This post was modified hace 5 meses por Pepe

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¿Has probado WpCenter?, es nuestro nuevo manager de WordPress desde el propio cPanel sin necesidad de acceder a tu administración, te permitirá configurar actualizaciones automáticas y mucho más.
Pruébalo accediendo a tu cPanel > Aplicaciones Webempresa > WpCenter
¡Gracias!.

ResponderCitar
Respondido : 18/05/2020 5:14 pm

Gestor de Contraseñas - VPN Conexión Segura - Gestor 2FA (Segundo Factor de Autenticación

Domingo Gil
 Domingo Gil
Reputable Member

@pepesoler

Hola, correcto ya se ha realizado un 301 (desde el servidor) desde la URL con las tres www y la que no lo tiene, ahora si aparece correcto en todos los examenes

me comentas:

Eso no afecta el que cargue con las WWW o sin las WWW, lo que afecta es el cambio de URL, es decir en principio carga tudominio.xxx/pagina_nombre1 y ahora cambias ese nombre de la pagina y le pones tudominio.xxx/nombre2, aunque redirecciones la pagina1 a la pagina2, esta es nueva y eso si que afecta al posicionamiento y la carga de la web.

RESPUESTA: no te he comprendo bien yo he modificado solo la presentación de la URL antes se presentaba con las tres www y ahora lo hace sin ellas, no he modificado la estructura de la pagina tudominio.xxx/pagina_nombre1 a tudominio.xxx/nombre2

Todavía no tengo claro porque motivo me ha perjudicado tanto la visibilidad se han perdido casi todas las posiciones en las busquedas, desesperante, le estaba echando la culpa al update del 5 mayo de google porque la bajada me empezó en ese momento aunque el cambio de la web de mostrarse con las www o sin ellas se realizo casi dos meses antes, por ese motivo no creía que esto fuera el problema.

 

Gracias por la ayuda que me prestan

ResponderCitar
Respondido : 19/05/2020 12:18 pm
Karen Rios
 Karen Rios
Soporte CMS Webempresa Moderator

Hola Domingo,

Puedo ver que ya tus sitemap carga sin problemas con las dos rutas tanto www o sin ella, nos puedes confirmar si con esto se ha solucionado lo que comentabas?

Todavía no tengo claro porque motivo me ha perjudicado tanto la visibilidad se han perdido casi todas las posiciones en las búsquedas, desesperante, le estaba echando la culpa al update del 5 mayo de google porque la bajada me empezó en ese momento aunque el cambio de la web de mostrarse con las www o sin ellas se realizo casi dos meses antes, por ese motivo no creía que esto fuera el problema.

Puede ser que en el momento de realizar el cambio no se realizo la re dirección, al no establecer un dominio preferido se estaría mostrando dos contenidos duplicados de tu sitio que lo que podría haberte perjudicarte en ese momento.

Un Saludo

 

ResponderCitar
Respondido : 19/05/2020 2:20 pm

Cursos Gratuitos WordPress

Domingo Gil
 Domingo Gil
Reputable Member

@karen

Gracias por tu aporte Karen, pero no eran problemas de sitemap si no del robot.txt.

Si es posible @pepesoler me podría responder al punto este en concreto para dejar las dudas solventadas: 

No afecta el que cargue con las WWW o sin las WWW, lo que afecta es el cambio de URL, es decir en principio carga tudominio.xxx/pagina_nombre1 y ahora cambias ese nombre de la pagina y le pones tudominio.xxx/nombre2, aunque redirecciones la pagina1 a la pagina2, esta es nueva y eso si que afecta al posicionamiento y la carga de la web.

RESPUESTA: no te he comprendo bien yo he modificado solo la presentación de la URL antes se presentaba con las tres www y ahora lo hace sin ellas, no he modificado la estructura de la pagina tudominio.xxx/pagina_nombre1 a tudominio.xxx/nombre2

 

Gracias

ResponderCitar
Respondido : 19/05/2020 4:23 pm
Karen Rios
 Karen Rios
Soporte CMS Webempresa Moderator

Hola Domingo,

Le he dejado asignado a Pepe en cuanto este de turno lo revisará.

Un Saludo

ResponderCitar
Respondido : 19/05/2020 5:13 pm
Domingo Gil me gusta

wpdoctor-revisa-la-salud-de-tu-wordpress

Domingo Gil
 Domingo Gil
Reputable Member

@pepesoler
Hola Pepe, espero a que te conectes para que me puedas aclarar un punto que me indicas:

no afecta el que cargue con las WWW o sin las WWW, lo que afecta es el cambio de URL, es decir en principio carga tudominio.xxx/pagina_nombre1 y ahora cambias ese nombre de la pagina y le pones tudominio.xxx/nombre2, aunque redirecciones la pagina1 a la pagina2, esta es nueva y eso si que afecta al posicionamiento y la carga de la web.

RESPUESTA: no te he comprendo bien yo he modificado solo la presentación de la URL antes se presentaba con las tres www y ahora lo hace sin ellas, no he modificado la estructura de la pagina tudominio.xxx/pagina_nombre1 a tudominio.xxx/nombre2

Es importante tu respuesta porque intento saber que es lo que ha sucedido para la bajada en la busquedas de una forma tan brutal sin motivo aparente no tiene una penalizacion manual y la algoritmica del 5 de mayo no encuentro un motivo para que me afectara.

Gracias de antemano por tu respuesta

ResponderCitar
Respondido : 21/05/2020 10:10 am
Pepe
 Pepe
Soporte CMS Webempresa Admin

Hola Domingo.

Claro, lo que te quiero decir que es lo mismo que cargue el Dominio con WWW o Sin WWW, el resultado es el mismo, lo que interesa es que la URL Cargue, es decir da igual que tengas configurado el dominio para que cargue con www o sin ella, de cara al seo o posicionamiento es lo mismo.

Lo que te comentaba antes es porque se que sueles realizar muchas redirecciones ( O solías ), ahora quiero que cargue en esta URL ahora la cambio y redirecciono, etc... eso sí que afecta y mucho, tanto al rendimiento como al seo, lo mismo que ir cambiando tema ( Plantilla ).

El tema del posicionamiento es complicado, hay que trabajar mucho y no es inmediato, crear contenido nuevo diariamente, publicaciones constantes en redes sociales, intercambio de enlaces en Blogs que traten el mismo tema, ver qué están haciendo los competidores y si puedes aplicar lo mismo, etc...   no es fácil llegar a unas primeras posiciones.

Yo soy Valenciano y como Buen Valenciano Trabajó mucho el arroz y cuando estas preparando una Paella una vez pones el Arroz hay que dejarlo sin moverlo ni realizar cambios, este se asienta el solo, proque te digo esto, bueno con la Web pasa lo mismo, lo primero es tener clara la estructura que quiere tener y una vez lo tengas claro, crear el contenido y dejarlo estar, dejar que este siga su camino y poco a poco empiece a escalar posiciones.

Sobre el tema del Robot.txt esta cargando bien y no veo problemas ni bloqueos, con lo que eso está bien al igual que veo que Google está indexando las páginas.

Tengo un periódico y llevo ya 8 años con el, es un periódico comarcal y nos a costado mucho tiempo en llegar a las primeras posiciones, llevamos 8 años peleándonos para eso y al final el trabajo tiene sus frutos, lo que me di cuenta es que cuanto más cambios realizaba peor eran los resultados, la página hay que ir alimentandola todos los días con contenido nuevo y dejarla que siga su camino.

 

 

Un saludo

 

 

 

 

Si nuestra ayuda te sirve déjanos tu testimonio y mejora así el posicionamiento de tu web:
Enviar Testimonio
¿Has probado WpCenter?, es nuestro nuevo manager de WordPress desde el propio cPanel sin necesidad de acceder a tu administración, te permitirá configurar actualizaciones automáticas y mucho más.
Pruébalo accediendo a tu cPanel > Aplicaciones Webempresa > WpCenter
¡Gracias!.

ResponderCitar
Respondido : 21/05/2020 4:47 pm

optimiza-automaticamente-todas-las-imagenes-de-tu-wordpress

Domingo Gil
 Domingo Gil
Reputable Member

@pepesoler

Hola, gracias por tu respuesta, me aclaro algo lo que sucede y espero seguir por el camino que me indicas que es el correcto, gracias de verdad por tu tiempo.

 

Un saludo

ResponderCitar
Respondido : 23/05/2020 9:47 am
Bulmaro me gusta
Página 1 / 2

Por favor Iniciar Sesión o Registro