El documento robots.txt es una elemento fundamental para la página web que desea ser bien vista por los rastreadores como Google . Funciona como una instructivo para los bots, indicándoles qué páginas de tu plataforma pueden deben rastreadas y cuáles no . La adecuada configuración de este archivo