python爬虫抓取网页table

Python爬虫抓取网页表格（Table）通常涉及到HTML解析，最常用的是BeautifulSoup库，它能方便地解析HTML结构。以下是基本步骤：

1. **导入必要的库**：首先需要导入`requests`用于发送HTTP请求获取网页内容，以及`BeautifulSoup`和`pandas`（如果处理的数据量大，可以考虑用它来生成DataFrame）。

import requests
from bs4 import BeautifulSoup
import pandas as pd

2. **发送请求**：通过`requests.get()`获取网页源码。

url = 'http://example.com/table-url'
response = requests.get(url)

3. **解析HTML**：创建`BeautifulSoup`对象，并指定解析器。

soup = BeautifulSoup(response.text, 'html.parser')

4. **定位表格元素**：使用`find_all()`或`select()`方法查找表格元素，例如`tbody`（表格体）。

table = soup.find('table', {'class': 'table-class'})
tbody = table.find('tbody')

5. **遍历表格数据**：通常每个表格行会被解析成一个列表或元组。你可以循环遍历每一行，并提取需要的信息。

rows = tbody.find_all('tr')
for row in rows:
    cols = row.find_all('td') or row.find_all('th')  # 处理th（表头）和td（单元格）
    data = [col.text.strip() for col in cols]
    # 打印或保存数据
    print(data)

6. **数据清洗和存储**：如果需要将数据转换为更易处理的形式，如`pandas.DataFrame`，可以这样做。

data_list = [...]  # 从上面循环中收集所有数据
df = pd.DataFrame(data_list, columns=['Column1', 'Column2', ...])
# 写入CSV或数据库
df.to_csv('output.csv', index=False)