Краулинговый бюджет — это количество страниц, которые поисковики просканируют на вашем сайте за определённое время. На крупных сайтах его эффективное использование обеспечивает сканирование важных страниц.
Краулинговый бюджет — это ресурс, который Googlebot выделяет вашему сайту. Небольшие сайты редко об этом беспокоятся; крупные должны управлять им.
Найдите технические проблемы и проблемы индексации с SEOBOTX.
Бесплатный аудитВ основном крупных сайтов с 10 000+ страниц.
Через статистику сканирования в Google Search Console.