用python写一个爬取一个国家近七年的GDP总值
时间: 2024-05-03 13:21:33 浏览: 9
这是一个涉及到数据获取和处理的问题,需要用到Python中的网络请求、HTML解析和数据存储等知识。
以下是一个基本的爬取国家GDP数据的Python代码:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送请求并获取网页内容
url = 'https://data.worldbank.org/indicator/NY.GDP.MKTP.CD?locations=CN'
res = requests.get(url, headers=headers)
html = res.text
# 解析网页内容,获取GDP数据
soup = BeautifulSoup(html, "html.parser")
table = soup.find('table', {'class': 'indicators-table'})
rows = table.find_all('tr')
data = []
for row in rows:
cells = row.find_all('td')
if len(cells) > 1:
year = cells[0].get_text().strip()
gdp = cells[1].get_text().strip()
data.append([year, gdp])
# 存储GDP数据到CSV文件
with open('gdp.csv', 'w', newline='') as file:
writer = csv.writer(file)
writer.writerow(['Year', 'GDP'])
for row in data:
writer.writerow(row)
```
以上代码将爬取中国近七年的GDP数据并保存到CSV文件中。要爬取其他国家的GDP数据,只需要修改URL参数即可。