爬虫爬取国家统计局各行业gdp
时间: 2024-03-07 12:44:04 浏览: 189
以下是爬取国家统计局各行业GDP的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
}
# 发送请求获取网页内容
url = 'https://data.stats.gov.cn/easyquery.htm?cn=C01'
response = requests.get(url, headers=headers)
html = response.text
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 找到GDP数据所在的表格
table = soup.find('table', class_='table table-bordered table-hover')
# 遍历表格中的每一行
for row in table.find_all('tr'):
# 获取每一行的列数据
columns = row.find_all('td')
if len(columns) > 0:
# 提取行业名称和GDP数据
industry = columns[0].text.strip()
gdp = columns[1].text.strip()
print(f"行业:{industry},GDP:{gdp}")
```
阅读全文