RSS .92| RSS 2.0| ATOM 0.3
  • Inicio
  • Acerca
  • Enlaces
  • Contacto
  •  

    Infografia: Robots.txt

    Robots.txt es un archivo que usalmente se utiliza en servidores web para indicar a los buscadores qué páginas o directorios del sitio tienen permitido o sentido rastrear, y qué paginas no. Estos lineamientos definidos en robots.txt son de utilidad tanto para los buscadores como para los webmasters en varios sentidos, pero principalmente en términos de eficiencia. Por ejemplo, para los buscadores es interesante contar con este archivo para saber qué páginas tiene sentido rastrear cuando se indexan las páginas de un sitio, y así darle importancia a las páginas que realmente interesan, descartando las que no interesan, y por lo tanto aprovechando los recursos de rastreo de manera eficiente. Para los webmaster, es interesante indicar qué páginas rastrear  y cuales no, de forma de evitar que hayan páginas innecesariamente indexadas en los buscadores. La infografía nos permite entender cómo funciona el flujo de rastreo en un sitio que no tiene robots.txt definido y cómo funciona en un sitio donde sí existe el archivo robots.txt:

    infografia_robots_txt_explicado

    Leave a Reply

    Your email address will not be published. Required fields are marked *