Robots 知识回顾：robots.txt——灵活控制机器如何探索你的网站

2025年三月7日，星期五

robots.txt 是网站所有者长期使用的一种工具，已被广泛使用超过 30 年， 并得到抓取工具运营方（例如面向网站所有者的工具、服务和搜索 引擎）的广泛支持。在本期 Robots 知识回顾系列中， 我们将更深入地了解 robots.txt，看看如何通过这种灵活的方式，告诉机器人你希望它们在你的网站上做什么 （或不做什么）。

开始使用 robots.txt

这些文件的工作方式很简单：创建一个名为 "robots.txt" 的文本文件，然后将其上传到 你的网站。如果你使用的是内容管理系统（CMS），操作可能会更简单。如果你的整个 网站都可以被抓取，你可以让 robots.txt 文件保持为空（或者完全不创建这个文件）， 也可以添加规则来管理抓取。例如，要告诉所有机器人（也称为抓取工具、网络机器人、网络蜘蛛） 不要访问你的“加入购物车”页面，你可以在 robots.txt 文件中 写入以下内容：

user-agent: *
disallow: /cart

使用 robots.txt 可以做的更具体的事情

robots.txt 就像一把瑞士军刀，可以用来表达你希望不同的机器人在你的网站上做什么或 不做什么：它可以只有几行，也可以很复杂，包含针对非常具体的 URL 模式的 更精细的规则。你可以使用 robots.txt 文件解决技术 问题（例如不必要的分页页面）， 也可以出于编辑或个人原因使用它（例如只是不希望某些内容被抓取）。例 如，你可以：

user-agent: examplebot
user-agent: otherbot
disallow: /search

user-agent: documentsbot
disallow: *.pdf

user-agent: documentsbot
allow: /blog/
disallow: /blog/drafts/

user-agent: *
allow: /

user-agent: aicorp-trainer-bot
disallow: /
allow: /$

# 我不想让机器人访问我的高中照片
user-agent: *
disallow: /photos/highschool/

想了解更多内容，你可以查看我们的实用 robots.txt 规则列表。

修改你的 robots.txt 文件（实际操作）

机器人排除协议（REP）的工作方式是 将规则（"allow" 或 "disallow"）组合起来， 并指定这些规则适用于哪些机器人。你不需要学习编程，也不需要折腾 工具；只需将这些规则放入一个文本文件中，并将其上传到你的网站即可。

对于大多数网站来说，操作甚至比这还简单！如果你使用 CMS，它通常已经内置了 帮助你修改 robots.txt 文件的功能。例如，一些 CMS 允许你 通过复选框或简单的表单自定义 robots.txt 文件，而且许多 CMS 都有插件， 可以帮助你设置 robots.txt 文件并编写规则。要了解你的 CMS 支持哪些操作， 你可以搜索你的 CMS 名称 +"编辑 robots.txt 文件"。

设置完成后，你还可以进行测试，确保文件的设置符合你的 预期。网络社区开发了许多测试工具来帮助你完成这项工作，例如 TametheBot 的 robots.txt 测试工具 和这个 robots.txt 解析器，它们 都使用了开源的 robots.txt 解析器库。

如果你对 robots.txt 有任何疑问，可以在 LinkedIn 上找到我们， 或在我们的社区论坛中与志同道合的专家交流。

由 Martin Splitt 和 John Mueller 发布， 搜索关系团队

查看 Robots Refresher 系列的其他文章：