python 翻页爬虫

你好！关于Python翻页爬虫，你可以使用Python的requests库和BeautifulSoup库来实现。

首先，你需要使用requests库发送HTTP请求来获取网页内容。可以使用get方法来发送GET请求，并传入目标网页的URL。例如：

import requests

url = 'http://example.com/page1'
response = requests.get(url)

接下来，你可以使用BeautifulSoup库来解析HTML页面，提取所需的信息。可以使用find_all方法来查找指定的HTML元素。例如：

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
items = soup.find_all('div', class_='item')
for item in items:
    # 提取信息并进行处理
    pass

如果网页内容分布在多个页面上，你可以使用循环来翻页并爬取每个页面的内容。可以根据页面结构和URL规律构造下一页的URL，然后再次发送HTTP请求并解析页面。

page = 1
while True:
    url = f'http://example.com/page{page}'
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 爬取当前页面的内容
    
    # 判断是否还有下一页
    next_link = soup.find('a', class_='next')
    if not next_link:
        break
    
    page += 1

这样就可以实现基本的翻页爬虫了。当然，在实际应用中，你可能还需要处理反爬机制、数据存储等问题。希望对你有所帮助！如果还有其他问题，请继续提问。