python爬虫成表格案例源码
时间: 2024-12-28 10:31:52 浏览: 3
Python爬虫生成表格案例通常涉及到使用一些库,比如BeautifulSoup、requests用于抓取网页数据,pandas用于数据处理和创建数据帧,最后可能会使用openpyxl、xlsxwriter等库将数据保存为Excel文件。下面是一个简单的例子,我们假设目标是从一个HTML页面抓取并整理成表格数据:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 定义请求URL
url = 'http://example.com'
# 发送GET请求获取网页内容
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 找到需要的数据部分(这里假设是一个table)
data_table = soup.find('table') # 根据实际结构修改这里的标签选择器
# 提取表格数据
rows = data_table.find_all('tr')
data_list = []
for row in rows:
cols = row.find_all('td')
cols_data = [col.text.strip() for col in cols]
data_list.append(cols_data)
# 创建pandas DataFrame
df = pd.DataFrame(data_list, columns=[col.text for col in data_table.find_all('th')])
# 将DataFrame保存为Excel文件
df.to_excel('output.xlsx', index=False)
# 示例代码结束,你可以在这里查看output.xlsx文件,这就是从指定网页抓取并转换成表格的数据。
阅读全文