Para aquéllos de ustedes que estén poco familiarizados con Robots.txt, es un archivo que los webmasters usan para ayudar a controlar qué aspectos de sus sitios Web son indexados por motores de búsqueda y que partes no lo son.
Ésta es una gran forma para darle control completo en la forma de cómo miran tu sitio Web y ayuda a evitar que te penalicen por contenidos duplicados, pero para utilizar un Robots.txt debe hacerse de forma responsable para evitar empeorar el asunto o accidentalmente impedir que tu sitio Web sea indexado!
Abunda posts sobre archivos Robots.txt, cómo hacer uno, etc. Desafortunadamente, muchos de estos posts no se aplican específicamente a WordPress y a menudo tienden a confundir cuando estamos tratando de implementar uno para nuestro sitio Web. Los otros tienden a omitir una buena cantidad de información importante que la mayoría de la gente debería tener antes de tratar de agregar un archivo Robots.txt al directorio raíz de su blog.
Pregúntate si Apache ofrece un archivo Robots.txt y un archivo actualizado Robots.txt del que puedas descargar y destinar para tu blog. Por supuesto querrás hacerlo a la medida para satisfacer tus necesidades, incluyendo agregar cualquier directorio que hayas creado desde la base WordPress que no quieres que sean indexados.
Etiquetas: Tutoriales, Wordpress
