掌握Google Robots.txt:新规范与应用指南
Google Robots.txt文档是网站管理员控制搜索引擎爬虫如何访问其网站的重要工具。该文档允许用户指定哪些页面应该被索引或排除在搜索结果之外,从而维护网站隐私、性能和搜索引擎优化策略。在2019年7月1日,Google宣布(<https://webmasters.googleblog.com/2019/07/rep-id.html>)他们正在将Robots.txt协议标准化为互联网标准(<https://tools.ietf.org/html/draft-koster-rep-00>),这影响了文档的一些关键特性。 以下是主要变化点: 1. **删除“要求语言”部分**:由于Robots.txt协议成为了互联网标准草案,原有的特定语言要求被移除,这意味着任何遵循标准的URI(统一资源标识符)协议的Robots.txt文件都将被接受。 2. **支持所有URI协议**:现在,Robots.txt不仅可以处理传统的http和https协议,还可以处理其他URI协议,如ftp、sftp等,提供了更大的灵活性。 3. **重定向处理**:Google搜索引擎会跟踪至少一个重定向层级,但仅在没有找到Robots.txt文件的情况下才会将后续重定向视为404错误。这意味着如果robots.txt文件位于重定向路径中,Google会尝试获取并遵循文件中的规则。 4. **逻辑重定向的处理**:对基于HTML内容返回2xx状态码(如frame、JavaScript或meta refresh类型的重定向)的robots.txt文件,Google不再鼓励使用这些逻辑重定向。相反,它会优先使用重定向后的第一个页面内容来确定适用的规则,这可能会影响爬虫对网站结构的理解。 5. **文件位置**:虽然没有具体提及,但通常情况下,Robots.txt文件应放在网站根目录下(例如www.example.com/robots.txt),以便搜索引擎爬虫能够轻易发现。 了解这些变化有助于确保您的网站与新的Google标准保持一致,避免潜在的抓取问题,并充分利用Robots.txt文件进行有效的网站管理和SEO管理。同时,定期检查和更新Robots.txt内容,尤其是在实施重定向或更改网站结构时,可以确保搜索引擎的行为符合您的期望。
![](https://csdnimg.cn/release/download_crawler_static/12238454/bg3.jpg)
剩余14页未读,继续阅读
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![txt](https://img-home.csdnimg.cn/images/20210720083642.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/1bf4f96cf0594fecaa187dd270f64a7f_msgsvc.jpg!1)
- 粉丝: 2
- 资源: 1
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- Vue实现iOS原生Picker组件:详细解析与实现思路
- Arduino蓝牙小车:参数调试与功能控制
- 百度Java面试精华:200页精选资源涵盖核心知识点
- Swift使用CoreData填坑指南:CoreData在Swift 3.0的变化
- 微距离无线充电器创新设计及其实验探索
- MTK Android平台开发全攻略:44步详解流程
- RecyclerView全面解析:替代ListView的新选择
- Android开发:自动适配中英文键盘解决方案
- Android调用WebService接口教程
- Android开发:BitmapUtil图片处理全解析与实例
- Android多线程断点续传实现详解
- PCA算法在人脸识别会议签到系统中的应用
- EventBus 3.0:Android事件总线详解与实战应用
- Android FileUtil:全面解析文件操作实用技巧与实例
- RecyclerView添加头部和尾部实战教程
- Android实现微博滑动固定顶部栏实战与优化
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)