用Python爬取网页中的表格案例
时间: 2024-01-14 11:04:02 浏览: 148
python3 爬取网页表格实例
5星 · 资源好评率100%
好的,以下是一个简单的 Python 爬虫实现,可以用来爬取网页中的表格数据:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 发送请求
url = 'http://www.example.com/table.html'
r = requests.get(url)
# 解析HTML
soup = BeautifulSoup(r.text, 'html.parser')
# 找到表格
table = soup.find('table')
# 遍历表格中的行和列,并将数据写入CSV文件
with open('table.csv', 'w', newline='') as csvfile:
writer = csv.writer(csvfile)
for row in table.find_all('tr'):
columns = row.find_all('td')
writer.writerow([column.get_text() for column in columns])
```
这段代码利用 requests 库发送请求获取网页源代码,然后使用 BeautifulSoup 库解析 HTML,找到表格标签,并遍历表格中的行和列,将数据写入 CSV 文件中。当然,在实际应用中,还需要处理一些异常情况和数据清洗等问题。
阅读全文