El documento robots.txt es un elemento clave para la página web que pretende ser bien indexada por los rastreadores como Bing. Opera como el instructivo para los bots, indicándoles qué páginas https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html