python动态爬虫获得总页数

在Python中编写动态爬虫获取总页数通常涉及解析网页内容，特别是那些包含分页导航链接的部分。这里是一个常见的步骤：

1. **选择合适的库**：如`requests`用于发送HTTP请求，`BeautifulSoup`或`Scrapy`用于HTML解析。

import requests
from bs4 import BeautifulSoup

2. **发送请求并获取响应**：
使用`requests.get`函数获取指定URL的内容，然后将响应文本传递给`BeautifulSoup`进行解析。

url = 'http://example.com/page'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

3. **查找分页元素**：
寻找页面上的“下一页”、“更多页”或其他表示分页链接的元素，这通常是通过CSS或XPath选择器完成的。

next_page_link = soup.select_one('.next-page-link')  # 假设`.next-page-link`是分页链接的选择器

4. **判断是否还有下一页**：
如果找到分页链接，则说明还有下一页。如果找不到，或者链接地址与当前URL相同（有些网站会返回自身作为已到最后一页的标志），则认为已经到达了最后一页。

if next_page_link and next_page_link['href'] != url:
    total_pages_url = next_page_link['href']
    # ...处理并计算总页数
else:
    total_pages = 1

5. **递归获取总页数（如果需要）**：
对于包含大量页面的情况，可以使用递归或循环来依次抓取每一页，并累加计数。

def get_total_pages(start_url):
    total_pages = 1
    while True:
        response = requests.get(start_url)
        soup = BeautifulSoup(response.text, 'html.parser')
        if has_next_page(soup):  # 自定义的判断函数
            start_url = find_next_page_link(soup)  # 找到下一页链接
            total_pages += 1
        else:
            break
    return total_pages

# 初始化、调用并打印总页数
start_url = url
total_pages = get_total_pages(start_url)
print(f"总共有 {total_pages} 页")