SEO
Robots.txt
Archivo de configuración en la raíz del sitio que indica a los crawlers qué partes pueden o no acceder.
Definición técnica
Robots.txt es un archivo de texto plano ubicado en la raíz del dominio que sigue el Robots Exclusion Protocol. Permite especificar reglas por user-agent (Googlebot, Bingbot, AI bots) sobre qué directorios o URLs no deben crawlear. Es solo una recomendación, no obligación legal: bots maliciosos pueden ignorarlo. Para bloqueo real se usa autenticación o noindex.
Por qué importa
Robots.txt mal configurado puede bloquear todo el sitio de Google sin que lo notes. Caso típico: testing environment dejado en producción con Disallow: /. Validar robots.txt es chequeo básico de auditoría SEO.