Python爬虫：遍历抓取网站所有页面并存储到MongoDB

"本示例展示了如何使用Python爬虫技术爬取一个网站的所有页面，并将数据存储到MongoDB数据库中。主要涉及的库包括requests、BeautifulSoup和pymongo，同时利用urljoin处理相对URL。" 在Python网络爬虫开发中，`requests`库用于发送HTTP请求，获取网页的HTML内容；`BeautifulSoup`库则用于解析这些内容，提取我们需要的数据，如页面标题、URL和正文。`pymongo`是Python官方推荐的MongoDB驱动，用于与MongoDB数据库进行交互。 首先，我们配置MongoDB客户端，连接到本地的MongoDB服务（默认端口27017），并选择一个数据库（在这个例子中是`mydb`），然后创建一个集合（相当于关系数据库中的表）来存储爬取的数据，名为`pages`。 接下来，定义两个集合`visited_urls`和`urls_to_visit`，分别用于记录已经访问过的URL和待访问的URL。从基础URL（例如`<https://www.example.com/>`）开始，我们将它添加到`urls_to_visit`集合中。进入一个循环，直到没有待访问的URL为止。 在每次循环中，我们从`urls_to_visit`中取出一个URL，用`requests.get()`发送GET请求，获取响应内容，并设置正确的字符编码（这里是UTF-8）。然后，用BeautifulSoup解析HTML，找到页面标题和正文内容。将这些信息整理成一个字典，并插入到MongoDB的`pages`集合中。 此外，我们还需要处理页面内的链接。通过找到所有的`<a>`标签，获取`href`属性，然后利用`urljoin()`函数将相对URL转换为绝对URL。如果这个URL尚未访问且不在已访问URL集合中，就将其添加到待访问集合`urls_to_visit`。 最后，当所有待访问URL都被处理完毕后，输出提示信息，表明所有页面信息已成功保存到MongoDB数据库中。 这个爬虫示例虽然简单，但它涵盖了网页爬取的基本流程，包括请求页面、解析内容、存储数据以及处理链接。在实际项目中，可能需要添加异常处理、处理JavaScript渲染的页面、设置延迟以避免频繁请求导致IP被封禁等高级功能。此外，对于大型网站，可能需要考虑分页爬取、分布式爬虫等策略来提高效率。