Robots.txt — это текстовый файл, сообщающий краулерам, какие части сайта они могут сканировать, а какие нет. Он находится в корне домена и управляет сканированием.
Robots.txt даёт краулерам инструкции через правила "Allow" и "Disallow". Это первый файл, который боты проверяют при заходе на сайт.
Проанализируйте robots.txt и настройку сканирования с SEOBOTX.
Бесплатный аудитНет, он управляет сканированием. Для индекса используйте noindex.
В корне: ваш-сайт.com/robots.txt.