Errores 404

Hola.

Me han dicho en el soporte del server que se producen muchos errores 404 y que para solucionarlo debería configurar el Robots.txt siguiendo lo que pone aquí.

https://www.webempresa.com/blog/robots-txt-en-wordpress-que-problema-tienes-googlebot.html

El problema es que es muy genérico y no me termino de aclarar. ¿Podríais ser por aquí un poco más explícitos? Dejo abajo los errores que tengo.

40.77.167.112 - - [09/Oct/2020:03:04:28 +0200] "GET /administrar-subscripciones-comentarios/?srp=3596&srk=2a50c172db6cc44611ce39a057010f61&sra=s&srsrc=f HTTP/1.1" 404 13714 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
207.46.13.133 - - [09/Oct/2020:03:54:56 +0200] "GET /administrar-subscripciones-comentarios/?srp=6762&srk=2a50c172db6cc44611ce39a057010f61&sra=s&srsrc=f HTTP/1.1" 404 13714 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
66.249.70.75 - - [09/Oct/2020:04:15:06 +0200] "GET /wp-content/uploads/2016/03/DSCF2167-e1456997307883-367x550.jpg HTTP/1.1" 404 13736 "-" "Googlebot-Image/1.0"
209.97.177.21 - - [09/Oct/2020:04:50:33 +0200] "GET /blog/feed HTTP/1.1" 404 13700 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36"
66.249.70.77 - - [09/Oct/2020:06:45:14 +0200] "GET /la-costa-de-cadiz-3-vejer-de-la-frontera-y-el-palmar HTTP/1.1" 404 13723 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.140 Mobile Safari/537.36 (compatible; Googlebot/2.1; + http://www.google.com/bot.html )"
66.249.70.77 - - [09/Oct/2020:07:02:02 +0200] "GET /la-costa-de-cadiz-3-vejer-de-la-frontera-y-el-palmar HTTP/1.1" 404 13723 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; + http://www.google.com/bot.html )"
106.11.156.50 - - [09/Oct/2020:07:07:02 +0200] "GET /wp-content/cache/min/1/89904798178be3363754da2bc64be3ed.css HTTP/1.1" 404 13733 "https://elviajemehizoami.com/" "YisouSpider"
207.46.13.163 - - [09/Oct/2020:07:37:40 +0200] "GET /administrar-subscripciones-comentarios/?srp=7747&srk=2a50c172db6cc44611ce39a057010f61&sra=s&srsrc=f HTTP/1.1" 404 13713 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
207.46.13.78 - - [09/Oct/2020:07:53:28 +0200] "GET /yangon-capital-myanmar?nonamp=1 HTTP/1.1" 404 13657 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
3.90.145.182 - - [09/Oct/2020:07:56:44 +0200] "GET /atardecer-ciudad-real/feed/ HTTP/1.1" 404 13654 "https://www.google.com/" "Mozilla/5.0 (X11; Linux x86_64; rv:73.0) Gecko/20100101 Firefox/73.0"
207.46.13.133 - - [09/Oct/2020:08:05:52 +0200] "GET /europa/espana/canarias-espana/ HTTP/1.1" 404 13704 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
31.4.223.110 - - [09/Oct/2020:08:17:35 +0200] "GET /wp-content/cache/min/1/b198f66e7c86d3a440e41baa299a5047.css HTTP/1.1" 404 13734 "https://www.google.com/" "Mozilla/5.0 (Linux; Android 7.1.1; Aquaris X5 Plus) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Mobile Safari/537.36"
39.101.67.145 - - [09/Oct/2020:08:46:21 +0200] "GET /data/admin/allowurl.txt HTTP/1.1" 404 13703 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0"
87.219.119.128 - - [09/Oct/2020:08:55:32 +0200] "GET /apple-touch-icon-precomposed.png HTTP/1.1" 404 13653 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0"
87.219.119.128 - - [09/Oct/2020:08:55:32 +0200] "GET /apple-touch-icon.png HTTP/1.1" 404 13646 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0"
47.60.44.229 - - [09/Oct/2020:08:58:27 +0200] "GET /apple-touch-icon-120x120-precomposed.png HTTP/1.1" 404 13719 "-" "MobileSafari/604.1 CFNetwork/1197 Darwin/20.0.0"
47.60.44.229 - - [09/Oct/2020:08:58:28 +0200] "GET /apple-touch-icon-120x120.png HTTP/1.1" 404 13711 "-" "MobileSafari/604.1 CFNetwork/1197 Darwin/20.0.0"
85.85.139.199 - - [09/Oct/2020:09:19:25 +0200] "GET /wp-content/cache/min/1/75dcfd226576c795635c45830de40c51.css HTTP/1.1" 404 13735 "https://www.google.es/" "Mozilla/5.0 (Linux; Android 9; Redmi 7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.127 Mobile Safari/537.36"
157.55.39.204 - - [09/Oct/2020:09:29:37 +0200] "GET /administrar-subscripciones-comentarios/?srp=8737&srk=2a50c172db6cc44611ce39a057010f61&sra=s&srsrc=f HTTP/1.1" 404 13713 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"
40.77.167.234 - - [09/Oct/2020:09:31:50 +0200] "GET /administrar-subscripciones-comentarios/?srp=680&srk=2a50c172db6cc44611ce39a057010f61&sra=s&srsrc=f HTTP/1.1" 404 13713 "-" "Mozilla/5.0 (compatible; bingbot/2.0; + http://www.bing.com/bingbot.htm )"

Este debate ha sido modificado el hace 4 años por Gerard Martínez

Citar

Respondido : 15/10/2020 7:30 am

Hola.

El archivo robots.txt es el que proporciona información a los Robots de los buscadores sobre qué archivos pueden acceder y cuáles están bloqueados.

Básicamente lo que se pretende es no sobrecarga al servidor con solicitudes innecesarias.

Para un WordPress podría ser esto:

# Bloquear o permitir acceso a contenido adjunto. (Si la instalación está en /public_html).

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-content/plugins/   
Disallow: /wp-content/themes/   
Disallow: /wp-includes/   
Disallow: /wp-admin/

#Impedir el acceso a los diferentes feed que genere la página

Allow: /feed/$
Disallow: /feed   
Disallow: /comments/feed   
Disallow: /*/feed/$   
Disallow: /*/feed/rss/$   
Disallow: /*/trackback/$   
Disallow: /*/*/feed/$   
Disallow: /*/*/feed/rss/$   
Disallow: /*/*/trackback/$   
Disallow: /*/*/*/feed/$   
Disallow: /*/*/*/feed/rss/$   

# Impedir URLs terminadas en /trackback/ que sirven como Trackback URL.   

Disallow: /*/*/*/trackback/$

# Evita bloqueos de CSS y JS.

Allow: /*.js$
Allow: /*.css$

#Bloquear todos los pdfs

Disallow: /*.pdf$

#Bloquear parámetros

Disallow: / *?

# Lista de bots que deberías permitir.

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /


 # Lista de bots bloqueados

User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: GurujiBot
Disallow: /
User-agent: hl_ftien_spider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: Yeti
Disallow: /
User-agent: YodaoBot
Disallow: /

#Desautorizar a páginas innecesarias

Disallow: /gracias-por-suscribirte

# Añadimos una indicación de la localización del sitemap

Sitemap:  https://sitioweb/sitemap_index.xml

Con Disallow le indicamos las carpetas o los robots que están bloqueados, es decir por ejemplo no tiene sentido que puedan acceder a la carpeta plugins o a wp-admin, lo mismo que se bloquean algunos Bots que pueden ser perjudiciales, también se le indica la ruta del sitemap " Sitemap: https://sitioweb/sitemap_index.xml ", en tu caso tienes que sustituir esa URl por la de tu sutemap " https://elviajemehizoami.com/sitemap_index.xml "

Un saludo

ResponderCitar