python爬取统计局数据
时间: 2023-10-10 12:10:11 浏览: 206
python 数据爬取统计局zip
使用Python编写政府数据爬虫可以帮助我们从政府网站上获取统计数据和公共服务信息。下面是一个简单的示例代码,以中国国家统计局网站为例,展示了如何通过爬虫获取网页内容:
```python
import requests
def fetch_webpage(url):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
else:
print("Failed to fetch the page.")
return None
url = "http://www.stats.gov.cn/"
html_content = fetch_webpage(url)
if html_content:
# 进一步处理网页内容
pass
```
上述代码中,我们使用了requests库发送GET请求,并通过URL获取了网页内容。你可以根据具体的需求进一步处理网页内容,例如解析HTML、提取数据等。
阅读全文