Python爬取国家统计局

以下是使用Python爬取国家统计局数据的步骤：

1. 导入所需的库：

import requests
from bs4 import BeautifulSoup

2. 发送HTTP请求获取网页内容：

url = "http://data.stats.gov.cn/easyquery.htm?cn=A01"
response = requests.get(url)

3. 使用BeautifulSoup解析网页内容：

soup = BeautifulSoup(response.text, 'html.parser')

4. 查找所需数据的位置并提取：

data = soup.find('div', class_='center_list_contlist').text

5. 对数据进行处理和清洗：

data = data.strip().replace('\n', '')

6. 打印提取到的数据：

print(data)

相关问题

python爬取国家统计局人口数据

Python爬取国家统计局的人口数据通常涉及网络爬虫技术，可以使用requests库获取网页内容，然后使用BeautifulSoup或lxml等解析库来解析HTML，提取需要的数据。以下是一个简化的步骤：

1. **安装必要的库**:
首先确保已安装`requests`, `beautifulsoup4`, 可能还需要`lxml`，如果还未安装，可以运行：

   pip install requests beautifulsoup4 lxml

2. **确定目标网址**:
国家统计局的官网可能会有API接口提供数据，如果没有，你需要找到包含人口数据的网页链接。

3. **发送HTTP请求**:
使用requests.get()函数发送GET请求，获取网页源代码：

   url = "https://example.gov/statistics"  # 替换为你找到的URL
   response = requests.get(url)

4. **解析HTML**:
使用BeautifulSoup解析响应的内容：

   soup = BeautifulSoup(response.text, 'lxml')
   population_data = soup.find_all('div', class_='population-data')  # 示例，查找特定CSS类

5. **提取数据**:
根据网页结构，提取关键信息如数字、表格或JSON数据：

   data_elements = [element.text for element in population_data]
   total_population = data_elements[0]  # 假设总人口数据在第一个元素

6. **保存数据**:
将提取到的数据存储到文件或数据库中。

请注意，实际操作时需要检查网站的robots.txt文件以及是否允许爬取，遵守相关规定。另外，频繁抓取可能会被封IP，所以通常推荐设置延迟或使用代理IP。

Python爬取国家统计局的省市区

可以使用Python中的requests和BeautifulSoup库来实现爬取国家统计局的省市区信息。以下是示例代码：

import requests
from bs4 import BeautifulSoup

url = 'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/index.html'
response = requests.get(url)
response.encoding = 'gbk'
soup = BeautifulSoup(response.text, 'html.parser')

province_list = soup.select('.provincetr a')
for province in province_list:
    province_name = province.text.strip()
    province_code = province['href'][:2]
    print(province_code, province_name)

    city_url = f'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/{province_code}.html'
    city_response = requests.get(city_url)
    city_response.encoding = 'gbk'
    city_soup = BeautifulSoup(city_response.text, 'html.parser')

    city_list = city_soup.select('.citytr a')
    for city in city_list:
        city_name = city.text.strip()
        city_code = city['href'][3:5]
        print('\t', city_code, city_name)

        county_url = f'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/{province_code}/{city_code}.html'
        county_response = requests.get(county_url)
        county_response.encoding = 'gbk'
        county_soup = BeautifulSoup(county_response.text, 'html.parser')

        county_list = county_soup.select('.countytr a') if len(county_soup.select('.countytr a')) > 0 else county_soup.select('.towntr a')
        for county in county_list:
            county_name = county.text.strip()
            county_code = county['href'][5:9]
            print('\t\t', county_code, county_name)

以上代码可以输出各个省市区的名称和代码。注意需要指定网页编码为`gbk`。