python爬虫静态多条数据采集

在Python中，爬取静态网页的数据通常涉及HTTP请求库如requests，以及解析HTML内容的库如BeautifulSoup或PyQuery。以下是基本步骤：

1. **安装必要的库**：
首先需要安装`requests`库来发送网络请求获取网页内容，可以使用`pip install requests`命令。

2. **发送GET请求**：
使用`requests.get()`函数向目标URL发送GET请求，并保存返回的响应结果，通常是文本形式的HTML。

import requests

url = "https://example.com/data"  # 需要抓取的数据页面
response = requests.get(url)

3. **解析HTML内容**：
使用BeautifulSoup对响应内容进行解析，提取你需要的数据。例如，如果数据在`<div>`标签内，你可以这样做：

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
data_divs = soup.find_all('div', class_='your-data-class')  # 根据实际情况替换class名

4. **存储数据**：
从解析的结果中提取出每个数据项，将其放入列表或其他数据结构中，然后保存到文件或数据库中。

data_list = [div.text for div in data_divs]
# 保存到文件
with open('output.txt', 'w', encoding='utf-8') as f:
    for item in data_list:
        f.write(item + '\n')

# 或者保存到数据库（如有必要）

5. **处理并遍历多条数据**：
如果有多页数据，可以在循环中递增URL，或者分析HTML结构查找分页链接，重复上述过程。

next_page_link = soup.find('a', rel='next')
while next_page_link:
    response = requests.get(next_page_link['href'])
    soup = BeautifulSoup(response.text, 'html.parser')
    ...  # 提取、解析、保存数据
    next_page_link = soup.find('a', rel='next')

记得遵守网站的robots.txt规则，并尊重版权和隐私政策。