Requests+lxml：实战采集B站视频排名与多页面数据到MongoDB和MySQL

本文档主要介绍了如何使用Python的requests和lxml库进行数据采集，特别关注单页面和多页面数据抓取，并将数据存储到MySQL和MongoDB数据库中。首先，我们将讨论这两个库的基础安装方法。 **安装** 1. **requests** 是一个用于发送HTTP请求的Python库，它是数据采集的基础工具。通过命令行输入`pip install requests`即可安装。 2. **lxml** 是一个Python库，提供了一个高效的XML和HTML解析器。为了使用它，同样使用`pip install lxml`命令进行安装。 **数据采集** 1. **单页面数据爬取** 以Bilibili视频推荐列表为例，通过`requests.get()`获取网页源代码，然后使用lxml库的`etree.HTML()`解析HTML。具体代码展示了如何通过XPath表达式选择特定元素（如视频标题），并将抓取的数据写入到本地文本文件`active.txt`中。 ```python url = 'https://www.bilibili.com/v/popular/rank/all' response = requests.get(url) tree = etree.HTML(response.text) # ...（后续代码处理抓取的数据） ``` 2. **多页面爬取** 示例提到的 Yingjiesheng 网站的全职推荐页面，这里需要实现翻页功能，可能涉及到递归或使用特定的分页参数。这部分没有给出具体的代码，但原理是根据网站的分页链接，重复上述过程。 **数据存储** 1. **MongoDB** 数据存储部分，首先在MongoDB中创建一个名为'dcdrj'的数据库。代码中没有直接展示如何连接和操作数据库，但可以推测会用到`pymongo`库。数据插入通常是通过`collection.insert_one()`或`collection.insert_many()`方法完成。 2. **MySQL** 存储部分涉及到创建数据库和表，以及设置自增ID。代码中提及的数据库和表字段创建需要用户手动完成，而数据插入则可能使用`mysql-connector-python`库，通过`cursor.execute()`执行SQL插入语句。 **总结** 本文档提供了使用requests和lxml库进行基础网络爬虫操作的示例，包括爬取Bilibili单页面数据并将其写入文本文件，以及抓取多页面数据的思路。数据存储环节分别介绍了如何将抓取的数据保存到MongoDB和MySQL数据库，但具体的数据库操作细节需要读者根据实际情况进一步学习和配置。对于想要学习数据抓取和数据库操作的Python初学者，这是一个很好的起点。