用python进行多页数据爬取_怎样用python的beautifulsoup抓取多页数据

使用 Python 和 Beautiful Soup 进行多页数据爬取的一般步骤如下：

1. 导入所需的库：

import requests
from bs4 import BeautifulSoup

2. 构造爬取多个页面的 URL 列表：

url_list = ['http://example.com/page1', 'http://example.com/page2', 'http://example.com/page3']

3. 循环遍历 URL 列表，逐个请求页面并解析数据：

for url in url_list:
    # 发送 GET 请求并获取响应内容
    response = requests.get(url)
    # 创建 Beautiful Soup 对象并指定解析器
    soup = BeautifulSoup(response.content, 'html.parser')
    # 解析数据
    # ...

4. 在循环中解析数据，可以使用 Beautiful Soup 提供的方法，例如 find_all() 和 select()。下面是一个示例代码：

for url in url_list:
    # 发送 GET 请求并获取响应内容
    response = requests.get(url)
    # 创建 Beautiful Soup 对象并指定解析器
    soup = BeautifulSoup(response.content, 'html.parser')
    # 解析数据
    items = soup.select('.item')
    for item in items:
        title = item.select_one('.title').text.strip()
        price = item.select_one('.price').text.strip()
        # 处理数据
        # ...

这里使用了 CSS 选择器来定位需要的元素，具体可以参考 Beautiful Soup 的文档。

5. 处理数据。在循环中处理数据的方法取决于具体情况，可以将数据保存到文件或数据库中，也可以将数据放入列表或字典中进行进一步处理。

完整的代码示例：

import requests
from bs4 import BeautifulSoup

url_list = ['http://example.com/page1', 'http://example.com/page2', 'http://example.com/page3']

for url in url_list:
    # 发送 GET 请求并获取响应内容
    response = requests.get(url)
    # 创建 Beautiful Soup 对象并指定解析器
    soup = BeautifulSoup(response.content, 'html.parser')
    # 解析数据
    items = soup.select('.item')
    for item in items:
        title = item.select_one('.title').text.strip()
        price = item.select_one('.price').text.strip()
        # 处理数据
        # ...