El fichero robots.txt es un instrumento fundamental para gestionar cómo los motores de búsqueda rastrean tu página web . Permite a los arañas indicaciones sobre cuáles secciones de tu web pueden ser rastreadas y cuáles no deben excluidas . Una configuración adecuada del robots.txt puede mejorar tu visibilidad en los SERP y evitar problemas d