El archivo robots.txt es el recurso esencial para cualquier sitio que busca aparecer bien vista por los buscadores como Bing. Opera como una mapa para los bots, indicándoles qué páginas de tu web pueden están rastreadas y cuáles no . La óptima configuración de este fichero puede a evitar problema