beautifulsoup爬虫如何爬取页数

在使用BeautifulSoup进行网页爬虫时，如果你想要爬取分页的内容，可以采用以下几个步骤：

1. **检测分页链接**：查看页面源码，寻找表示“下一页”、“更多页”等的链接或URL模式。常见的标识符有 "page", "next", "older", "newer" 等。

2. **编写递归函数**：编写一个函数，负责抓取当前页的数据，并将获取到的下一页链接加入到待爬队列（如`requests.Session()`的`cookies`或`url`属性）。循环调用这个函数，直到找不到下一页链接为止。

def crawl_pages(url, session):
    soup = BeautifulSoup(session.get(url).content, 'html.parser')
    # 提取数据...
    
    # 查找下一页链接
    next_page_url = soup.find('a', {'rel': 'next'})
    if next_page_url:
        next_page_url = next_page_url['href']
        crawl_pages(next_page_url, session)
    else:
        # 如果没有下一页，结束递归
        return

# 初始化session和起始URL
session = requests.Session()
start_url = 'http://example.com/page1'
crawl_pages(start_url, session)

3. **设置超时和限制**：为了避免无限循环，你可以设置一个最大遍历次数、或者添加一个全局变量记录已经爬取过的页面。

4. **错误处理**：记得处理可能出现的网络异常或页面结构改变导致的链接找不到的情况。

5. **防止过度请求**：遵守网站的robots.txt规则并适当地设置间隔时间，避免因频繁请求而被封禁IP。

注意，实际的代码可能需要根据目标网站的具体情况调整。同时，许多网站都有反爬机制，确保你的爬虫行为合法且尊重网站规定是非常重要的。