查看抓取工具访问次数与抓取配额 (Pro)
统计来自 Google、Bing 和 AI 爬虫的每一次访问,查看它们在哪里浪费时间,并一键修复。
打开 Crawlers 标签页
前往 SEO、搜索表现、抓取工具。

开启日志记录
勾选记录爬虫访问。每次访问都会计入每个页面的一个计数器中,因此日志条数绝不会超过 10,000 行,访客页面的加载速度也不会变慢。

了解您的抓取预算
抓取预算按类别显示有多少抓取访问流向了无法排名的页面:筛选条件、缺失页面、重定向、错误、站内搜索。

解决资源浪费
“阻止爬虫访问”会添加一条 robots.txt 规则,而“重定向它们”会将其转发。“撤消机器人规则”会将其恢复。
