Guía rápida del robots.txt
En esta guía rápida veremos qué es y cómo se usa el archivo robots.txt.
¿Qué es?
El archivo robots.txt básicamente les dice a los motores de búsqueda a que partes de tu sitio pueden acceder y consecuente mente rastrear.
Este archivo se debe llamar “robots.txt”, y tiene que estar en el directorio raíz de tu sitio.
Puede que haya algunas páginas de tu sitio que no quieras que sean rastreadas si no van a ser útiles para los usuarios cuando las encuentren en los resultados de búsqueda. Si quieres evitar que los motores de búsqueda rastreen tus páginas, entonces usamos este archivo.
Impedir que mi web salga en los resultados e búsqueda
Hay unas cuantas maneras más de impedir que tu contenido aparezca en los resultados de búsqueda, como por ejemplo añadir la metaetiqueta “NOINDEX”, usar .htaccess para proteger directorios con contraseña o usar las herramientas para webmasters de Google para quitar contenido que ya ha sido rastreado.
Usa métodos más seguros para el contenido delicado
No deberías quedarte tranquilo bloqueando solo con robots.txt material delicado o confidencial. Una de las razones es porque si hay enlaces a esas URL en alguna parte de Internet los motores de búsqueda aún podrían hacer referencia a esas URL. Además, los motores de búsqueda que no siguen las normas de Robots Exclusion Standard podrían desobedecer las instrucciones de tu robots.txt. Por último, un usuario curioso podría estudiar los directorios y subdominios en tu robots.txt y adivinar la URL del contenido que no quieres que sea visto. Hay alternativas más seguras como encriptar el contenido o protegerlo con una contraseña en .htaccess.
Combatir los comentarios spam con “nofollow”
Establecer el valor del atributo “rel” de un enlace a “nofollow” le dice a Google que algunos enlaces de tu sitio no deben seguirse ni pasar la reputación de tu sitio a las páginas con las que enlazas. Poner “nofollow” a un enlace se consigue usando rel=“nofollow” dentro de la etiqueta de ancla
¿Para qué puede servir esto? Si tu sitio tiene un blog con los comentarios públicos activados, los enlaces de esos comentarios pueden pasar tu credibilidad a páginas con las que no te sentirías cómodo enlazando tú mismo. Usar nofollow en estos enlaces añadidos por los usuarios te asegura que no estás dando parte de tu muy lograda reputación a un sitio de spam.
Añade de forma automática “nofollow”
Si estás dispuesto a dar crédito a los enlaces añadidos por terceros (por ejemplo, si confías en algún usuario de tu sitio), entonces no hace falta usar nofollow en los enlaces. De todas maneras, enlazar a sitios que Google considera spam puede afectar a la reputación de tu sitio.
Hacer referencia a una web sin pasarle credibilidad
También puedes usar nofollow cuando estés escribiendo contenido para tu sitio y quieras hacer referencia a otra página web, pero sin comentar su credibilidad. Por ejemplo, imagina que estás escribiendo una entrada sobre los comentarios de spam y quieres mencionar un sitio que hace poco puso comentarios de spam en tu blog. Quieres advertir a los demás de lo que hacen en ese sitio, así que incluyes un enlace en tu texto, pero obviamente no quieres darle crédito con tu enlace.
Esperemos que os haya sido de ayuda, ¡hasta la próxima!
(fuente: google)
