python爬取并生成csv文件
时间: 2023-08-09 14:09:57 浏览: 108
Python读取csv文件数据
好的,下面是 Python 爬取并生成 CSV 文件的示例代码:
```python
import csv
import requests
from bs4 import BeautifulSoup
# 发送 HTTP 请求
url = 'http://example.com'
response = requests.get(url)
# 解析 HTML 文档
soup = BeautifulSoup(response.text, 'html.parser')
data = []
# 获取需要爬取的数据
for item in soup.select('div.item'):
title = item.select('h2')[0].text.strip()
price = item.select('span.price')[0].text.strip()
data.append([title, price])
# 将数据写入 CSV 文件
with open('data.csv', 'w', newline='') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['Title', 'Price'])
for row in data:
writer.writerow(row)
```
以上代码会从指定的网址爬取数据,并将数据写入 `data.csv` 文件中。你可以根据自己的需求修改代码中的 `url` 和 `select` 条件。
阅读全文