python爬取水利部

Python爬取水利部的过程可以通过以下步骤实现：
1. 引用requests、re、BeautifulSoup和pandas等库。
2. 设定要爬取的网址和用户代理。
3. 使用requests库发送HTTP请求获取网页内容，并将编码设置为UTF-8。
4. 使用BeautifulSoup库解析网页内容，根据特定的标签和属性提取目标数据。
5. 根据需要的数据结构，将提取到的数据存储在DataFrame中。
6. 将DataFrame中的数据保存到CSV文件中。

具体代码如下所示：

import requests
import re
from bs4 import BeautifulSoup
from pandas import DataFrame

url = 'http://www.gov.cn/zhengce/zuixin.htm'
UA = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
headers = {'User_Agent': UA}

# 发送HTTP请求获取网页内容
r = requests.get(url, headers=headers)
r.encoding = 'utf-8'

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(r.text, 'lxml')

# 提取标题和链接
links = soup.find_all(href=re.compile('content'))
titles = [str(link.string) for link in links]
urls = [str(link.get('href')) for link in links]

# 提取日期
attrs = {'class': 'date'}
dates = soup.find_all(name='span', attrs=attrs)
pattern = re.compile('(\d{4})-(\d{2})-(\d{2})')
days = [re.search(pattern, date.string).group() for date in dates]

# 存储数据到DataFrame
data = {'date': days, 'title': titles, 'url': urls}
frame = DataFrame(data)

# 将数据保存到CSV文件
frame.to_csv('test.csv', index=False)

这段代码使用requests库发送HTTP请求获取水利部网页的内容，然后使用BeautifulSoup库解析网页内容，提取出标题、链接和日期等关键信息。最后，将提取到的数据存储在一个DataFrame中，并将DataFrame中的数据保存为CSV文件。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *3* [python 写hello world 之深入爬虫爬取水文信息（四）](https://blog.csdn.net/chen249191508/article/details/100562817)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* [小小学习成果：Python爬虫爬取国务院最新政策](https://blog.csdn.net/INTEGRATOR_37/article/details/113386649)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]