Crawl Budget
Cantidad de páginas que Googlebot decide crawlear de un sitio en un período determinado, limitada por recursos y prioridad.
Definición técnica
Crawl budget es la capacidad combinada de crawl rate (velocidad técnica que el sitio soporta) y crawl demand (interés de Google en re-crawlear contenido). Google indica que la mayoría de los sitios no necesita preocuparse por esto: importa en sitios muy grandes o que cambian muy seguido. Igual conviene bloquear páginas de bajo valor, evitar URLs duplicadas y mantener una respuesta rápida del servidor.
Por qué importa
Cuando el rastreo se gasta en URLs duplicadas o de filtros, las páginas importantes tardan más en actualizarse en Google.