Python Day04：requests模块详解与数据持久化存储实践

在本篇Python学习总结中，主要讨论了第04天的内容，重点涵盖了requests模块在数据抓取中的应用以及数据持久化存储技术。首先，针对requests模块的get()方法，我们详细介绍了其参数的使用，包括： 1. **查询参数（params）**：作为字典传递，用于动态添加URL查询字符串。 2. **代理设置（proxies）**：支持普通代理和私密代理，如： - 普通代理：`{"http": "协议://IP地址:端口号"}`。 - 私密代理：`{"http": "协议://用户名:密码@IP地址:端口号"}`。 3. **Web客户端验证（auth）**：通过元组形式设置认证信息，如`auth=("tarenacode","code_2013")`。 4. **SSL证书认证（verify）**：默认情况下为True，可以设置为False以跳过验证。 5. **超时设置（timeout）**：控制请求的等待时间。 此外，post()方法被用来发送POST请求，其中`data`参数用于携带Form表单数据。响应对象的属性包括： - **text**：返回的字符串内容。 - **encoding**：设置编码，如`res.encoding = "utf-8"`。 - **content**：原始的字节流数据。 - **status_code**：HTTP状态码，反映服务器响应状况。 对于数据持久化存储，文章提供了使用Python连接MySQL和MongoDB的示例： - **MySQL**：使用pymysql库进行连接，涉及的操作有建立连接、创建游标、执行SQL命令、提交事务和关闭连接。 - **MongoDB**：通过pymongo与MongoDB服务器交互，包括连接数据库、选择集合、插入文档等，并展示了常用的终端操作命令。 最后，讲解了如何使用urllib库中的Handler处理器，如ProxyHandler来处理代理请求，以及创建opener对象发送请求的过程。通过实例演示了如何设置代理IP、构造Request对象，并获取响应。 这篇总结提供了实用的Python网络请求技巧和数据库操作方法，适合初学者理解和实践。