十二月抓取专题：Googlebot 如何抓取以及为何抓取

星期二，十二月 3 日，2024 年

你可能听说过，网页要出现在 Google 搜索结果中， Google 搜索需要先做一些工作。其中一个步骤称为抓取。Google 搜索的抓取工作 由 Googlebot 完成。这个程序运行在 Google 服务器上，会获取 URL，并处理 网络错误、重定向，以及在遍历网络的过程中可能遇到的其他 小问题。不过，有一些细节并不常被提及。本月的每一周， 我们都会探讨其中一些细节，因为它们可能会显著影响 你的网站被抓取的方式。

先回顾一下：什么是抓取？

抓取是这样一个过程： 发现新网页，重新访问已更新的网页，并下载这些网页。简而言之，Googlebot 获取 一个 URL，向托管该 URL 的服务器发送 HTTP 请求，然后处理该 服务器的响应，其中可能包括跟随重定向、处理错误，以及将网页内容传递给 Google 的索引系统。

但现代网页并不只是纯 HTML，那么构成网页的其他资源又如何呢？ 抓取这些资源会如何影响“抓取预算”？Google 能否 缓存这些资源？此前从未抓取过的 URL 与那些 已编入索引的 URL 之间是否存在区别？在这篇文章中，我们将回答这些问题，以及更多问题！

Googlebot 与网页资源抓取

除了 HTML，现代网站还结合使用 JavaScript 和 CSS 等不同技术，为用户提供生动的体验和实用的功能。使用 浏览器访问此类页面时，浏览器首先下载父级 URL 中托管的、用于开始 为用户构建页面所需的数据，也就是页面的 HTML。这些初始数据可能包含 对 JavaScript 和 CSS 等资源的引用，也可能包含对图片和视频的引用，浏览器会 再次下载这些资源，最终构建出呈现给用户的完整页面。

Google 的做法完全相同， 不过略有差异：

1. Googlebot 从父级 URL 下载初始数据，也就是页面的 HTML。
2. Googlebot 将获取的数据传递给网页渲染服务（Web Rendering Service，WRS）。
3. WRS 使用 Googlebot 下载原始数据中引用的资源。
4. WRS 使用所有已下载的资源构建页面，就像用户的浏览器一样。

与浏览器相比，由于调度方面的 限制，例如系统感知到的、托管页面渲染所需资源的服务器负载，各步骤之间的间隔可能会明显更长。 而这时， 抓取预算 就进入了讨论范围。

抓取渲染页面所需的资源，会消耗 托管该资源的主机名的抓取预算。为缓解这一问题，WRS 会尝试缓存其渲染的页面中引用的每项资源 （JavaScript 和 CSS）。WRS 缓存的存留时间 不受 HTTP 缓存指令的影响；相反，WRS 会将所有资源缓存最多 30 天，这 有助于为其他抓取任务保留网站的抓取预算。

从网站所有者的角度来看，管理资源的抓取方式和抓取范围会影响 网站的抓取预算；我们建议：

1. 在可行的情况下，尽可能少地使用资源，为用户提供出色的体验；渲染页面所需的 资源越少，渲染过程中消耗的抓取预算就越少。
2. 谨慎使用缓存破坏参数：如果资源的 URL 发生变化， 即使内容没有改变，Google 也可能需要重新抓取这些资源。当然， 这会消耗抓取预算。
3. 将资源托管在不同的主机名下，与主站分开，例如 使用 CDN，或者直接将资源托管在不同的子网域下。这会将抓取 预算方面的问题转移到提供这些资源的主机上。

以上各点也适用于媒体资源。如果 Googlebot（更具体地说， Googlebot-Image 和 Googlebot-Video，分别负责相应资源）抓取这些资源，就会 消耗该网站的抓取预算。

人们很容易想把 robots.txt 也加入 这个列表，但从渲染的角度来看，禁止抓取资源通常会导致 问题。如果 WRS 无法获取对渲染至关重要的资源，Google 搜索可能难以 提取页面内容，也难以让该页面在搜索中获得排名。

Googlebot 正在抓取什么？

分析 Google 正在抓取哪些资源的最佳信息来源是网站的原始访问日志， 其中记录了浏览器和抓取工具请求的每一个 URL。为了便于在访问日志中识别 Google 的 抓取工具，我们在 开发者文档中公布了我们的 IP 地址范围。

其次，当然是 Search Console 的抓取统计信息报告， 该报告按抓取工具分别列出各类资源的明细：

最后，如果你对抓取和渲染非常感兴趣，并想与其他人聊聊这些话题， 不妨前往搜索中心社区， 也可以在 LinkedIn 上找到我们。

发布者： Martin Splitt 和 Gary Illyes

---

更新

• 更新于 2024 年十二月 6 日：注明了从不同源提供资源 对性能的影响。

---

想进一步了解抓取？查看完整的十二月抓取系列：