En este artículo vamos a explicar la configuración del apartado Editar archivos del plugin WordPress SEO by Yoast.
Podemos editar desde este apartado, los archivos robots.txt y .htaccess
Por defecto WordPress no incorpora un archivo robots.txt. Los robots o arañas son programas que utilizan los buscadores para rastrear la web. Cuando rastrean un sitio, lo primero que haces es buscar el robots.txt, y actúan en función de lo que se indica en el mismo.
El archivo robots.txt sirve para:
- Evitar que páginas y directorios del sitio webs sean accesibles a los buscadores
- Bloquear el acceso a determinados archivos
- Impedir la indexación de contenidos duplicados
- Indicar la localización de los sitemaps (mapas del sitio) en XML
Una desventaja del robots.txt es que es público, lo que significa que cualquiera puede visualizarlo tecleando http://www.elnombredeldominio.com/robots.txt
Un ejemplo sencillito de robots.txt:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
En el que impedimos a todos los robots el acceso a los directorios cgi-bin, wp-admin y wp-includes. Más información al respecto en http://es.wikipedia.org/wiki/Estándar_de_exclusión_de_robots
Señalar que WordPress utiliza etiquetas Meta Robots (etiquetas en HTML que se utilizan para dar instrucciones a los buscadores), lo mismo que el archivo robots.txt, se puede utilizar para impedir el rastreo e indexación de una página web, pero hay una diferencia importante. Mientras que el archivo robots.txt solicita a los buscadores que no rastreen una página (y por tanto que no la indexen), la etiqueta meta robots les da permiso para rastrear una página, pero no para almacenarla en su índice. En http://wordpress.webempresa.com/configurar-seo-en-wordpress-2a-parte ya explicamos el uso de las etiquetas Meta Robots.
Respecto al archivo .htaccess es un archivo oculto que está ubicado en el directorio raíz de WordPress.
Es útil utilizarlo para temas de SEO, por ejemplo para realizar redirecciones, o para establecer seguridad adicional en WordPress. En la red hay artículos al respecto como:
http://perishablepress.com/5g-blacklist-2013
http://www.webanddesigners.com/20-htaccess-hacks-to-prevent-your-wordpress-site-from-hacking
Vídeo sobre como Configurar SEO en WordPress (9ª parte):
Continuaremos en próximos artículos, que os ayudarán a configurar este excelente plugin para WordPress.
Contenido del curso SEO WordPress
1. Instalación y vista general
2. Títulos y Etiquetas Meta
3. Configuración Redes Sociales
4. Sitemaps XML
5. Enlaces permanentes o Permalinks
6. Enlaces internos
7. Configuración del apartado RSS
8. Sección Importar y Exportar
9. Sección Editar archivos
10. Cómo editar una página
