将爬取的结果保存到csv文件
时间: 2023-12-20 14:03:31 浏览: 145
自己开发的一个python网页爬虫,模拟网页操作,爬取的内容可直接保存为为csv格式
好的,您可以使用Python的csv模块将爬取的结果保存到csv文件中。以下是更新后的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 构造请求头部信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送请求并获取响应内容
url = 'http://www.ricedata.cn/variety/variety_list'
response = requests.get(url, headers=headers)
# 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
table = soup.find('table', class_='table table-bordered table-hover')
# 提取所需信息
data = []
for tr in table.find_all('tr')[1:]:
tds = tr.find_all('td')
index = tds[0].text.strip()
name = tds[1].text.strip()
parent = tds[2].text.strip()
variety_type = tds[3].text.strip()
origin = tds[4].text.strip()
approval_number = tds[5].text.strip()
# 存储提取结果到data中
data.append([index, name, parent, variety_type, origin, approval_number])
# 将数据存储到csv文件中
with open('rice_variety.csv', 'w', newline='', encoding='utf-8-sig') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['序号', '品种名称', '亲本来源', '类型', '原产地/选育单位', '审定编号'])
for row in data:
writer.writerow(row)
```
运行上述代码后,会在当前文件夹下生成名为`rice_variety.csv`的csv文件,其中包含爬取的信息。如果需要修改文件名或存储路径,可以在`open()`函数中指定相应的参数。
阅读全文