Просмотр визитов краулеров и краулингового бюджета (Pro)

Учитывайте каждое посещение роботов Google, Bing и ИИ, отслеживайте, где они теряют время, и исправляйте это в один клик.

Откройте вкладку Crawlers
Перейдите в раздел «SEO», «Эффективность поиска», «Краулеры».
Включить ведение журнала
Отметьте «Записывать визиты краулеров». Каждое посещение увеличивает один счетчик на страницу, поэтому журнал никогда не превышает 10 000 строк, а страницы посетителей не замедляются.
Прочитайте ваш краулинговый бюджет
Краулинговый бюджет показывает, сколько посещений роботов пришлось на страницы, которые не могут ранжироваться, по типам: фильтры, отсутствующие страницы, перенаправления, ошибки, внутренний поиск.
Устранить перерасход
Параметр «Блокировать роботов» добавляет правило robots.txt, а «Перенаправлять их» отправляет их дальше. Параметр «Отменить правило для роботов» отменяет его.

Откройте вкладку Crawlers