Search Console 中的抓取速率限制工具即将弃用

星期五，十一月 24，2023

Search Console 中的抓取速率限制工具将于一月 8th，2024 弃用。该工具已 提供 十多年， 但随着我们改进抓取逻辑并为发布者提供其他工具，它的实用性已逐渐减弱。

Googlebot 会根据网站——更准确地说，是处理网站请求的服务器——对 Googlebot 的 HTTP 请求的 响应作出反应。例如，如果服务器持续对一系列网址返回 HTTP 500 状态码，Googlebot 就会自动且几乎立即减慢抓取速度。同样，如果请求的响应时间显著变长，Googlebot 也会自动减慢抓取速度。如果您遇到异常繁重的抓取，而网站无法自行应对，请参阅这篇 帮助文章。

相比之下，速率限制工具的效果要慢得多；事实上，新限制可能需要一天以上才能应用于抓取。不过，幸运的是，网站所有者很少需要使用该工具；而使用过该工具的网站所有者，很多时候会将抓取速度设为最低。随着抓取限制工具弃用，我们也会将最低抓取速度设为更低的速率，与旧的抓取速率限制相当。这意味着，如果搜索需求较低，我们实际上会继续遵循部分网站所有者过去设置的限制，并避免抓取程序浪费网站带宽。

随着自动抓取速率处理功能不断改进，为了让用户使用起来更简单，我们将弃用 Search Console 中的此工具。我们会保留 Googlebot 报告表单，供用户报告异常的 Googlebot 活动和紧急情况，但请注意，降低抓取速率最快的方法是按照我们的文档所述，通过服务器响应向 Googlebot 发出指示。

如果您有问题或意见，请在我们的 Google Search Central 社区中留言。

作者：Gary Illyes 和 Nir Kalush