Una desventaja del robots.txt es que es público, lo que significa que cualquiera puede visualizarlo tecleando http://www.elnombredeldominio.com/robots.txt
Un ejemplo sencillito de robots.txt:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
En el que impedimos a todos los robots el acceso a los directorios cgi-bin, wp-admin y wp-includes. Más información al respecto en http://es.wikipedia.org/wiki/Estándar_de_exclusión_de_robots
Señalar que Wordpress utiliza etiquetas Meta Robots (etiquetas en HTML que se utilizan para dar instrucciones a los buscadores), lo mismo que el archivo robots.txt, se puede utilizar para impedir el rastreo e indexación de una página web, pero hay una diferencia importante. Mientras que el archivo robots.txt solicita a los buscadores que no rastreen una página (y por tanto que no la indexen), la etiqueta meta robots les da permiso para rastrear una página, pero no para almacenarla en su índice. En http://wordpress.webempresa.com/configurar-seo-en-wordpress-2a-parte ya explicamos el uso de las etiquetas Meta Robots.
Respecto al archivo .htaccess es un archivo oculto que está ubicado en el directorio raíz de WordPress.
Es útil utilizarlo para temas de SEO, por ejemplo para realizar redirecciones, o para establecer seguridad adicional en WordPress. En la red hay artículos al respecto como:
http://perishablepress.com/5g-blacklist-2013
http://www.webanddesigners.com/20-htaccess-hacks-to-prevent-your-wordpress-site-from-hacking
Vídeo sobre como Configurar SEO en Wordpress (9ª parte):
Continuaremos en próximos artículos, que os ayudarán a configurar este excelente plugin para WordPress.
Contenido del curso SEO WordPress
1. Instalación y vista general
2. Títulos y Etiquetas Meta
3. Configuración Redes Sociales
4. Sitemaps XML
5. Enlaces permanentes o Permalinks
6. Enlaces internos
7. Configuración del apartado RSS
8. Sección Importar y Exportar
9. Sección Editar archivos
10. Cómo editar una página
