爬取国家政策的代码复杂版并保存成csv文件
时间: 2024-01-20 11:04:35 浏览: 68
Python模拟登录豆瓣并爬取影评.zip
好的,以下是一个稍微复杂一些的爬取国家政策并保存成csv文件的Python代码,供您参考:
```python
import requests
from bs4 import BeautifulSoup
import csv
url = 'http://www.gov.cn/zhengce/zuixin.htm' # 国家政策网站的最新政策页面
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
news_list = soup.select('.news_box li') # 获取新闻列表
with open('gov_policy.csv', 'w', encoding='utf-8', newline='') as file:
writer = csv.writer(file)
writer.writerow(['标题', '链接', '发布日期']) # 写入csv文件的表头
for news in news_list:
title = news.select_one('a').text # 获取新闻标题
link = news.select_one('a')['href'] # 获取新闻链接
date = news.select_one('.time').text # 获取新闻发布日期
writer.writerow([title, link, date]) # 写入一行新闻数据
print('数据已保存到gov_policy.csv文件中')
```
这个代码会将爬取到的新闻数据保存到名为`gov_policy.csv`的csv文件中,每行数据包含三个字段:标题、链接、发布日期。需要注意的是,csv文件的编码应该使用`utf-8`,否则可能会出现乱码。
阅读全文