robot.txt协议

robots.txt 是一个标准，用于网站告诉搜索引擎哪些网页可以被抓取，哪些网页不能被抓取。它通常放置在网站的根目录下，名为 robots.txt。

robots.txt 协议的作用是：

1. 告诉搜索引擎哪些页面可以抓取，哪些页面不可以抓取；
2. 控制搜索引擎抓取频率，避免对网站造成过大的负载压力；
3. 避免搜索引擎抓取到敏感信息或隐私数据。

robots.txt 的格式很简单，每个指令只有两部分：

1. User-agent：指定搜索引擎的名称，比如 Googlebot；
2. Disallow：指定不允许抓取的页面或目录，可以使用通配符 *。

例如，下面是一个简单的 robots.txt 文件：

User-agent: *
Disallow: /admin/
Disallow: /secret/

上面的代码表示，允许所有的搜索引擎抓取网站的所有页面，但是不允许抓取 /admin/ 和 /secret/ 目录下的页面。当搜索引擎抓取网站时，会首先查找 robots.txt 文件，根据其中的规则进行抓取。如果没有 robots.txt 文件，搜索引擎会默认抓取网站的所有页面。