利用Python爬取百度迁徙获取城市级别的迁徙数据

要爬取百度迁徙的数据，需要先了解百度迁徙的API接口。在这里，我们使用Python的requests库来发送HTTP请求，并使用BeautifulSoup库来解析HTML。

首先，我们需要获取城市的ID，可以通过百度迁徙的网页版手动获取，或者通过API接口获取。以下是获取城市ID的API接口：

https://huiyan.baidu.com/migration/cityrank.jsonp?dt=province&id=省份ID

其中，`id`参数为省份ID，例如北京市的ID为`110000`。我们可以先写一个函数来获取城市ID：

import requests
import json

def get_city_id(province_id):
    url = f'https://huiyan.baidu.com/migration/cityrank.jsonp?dt=province&id={province_id}'
    r = requests.get(url)
    data = json.loads(r.text.replace('\'', '\"').replace('jsonpCallback(', '').replace(');', ''))
    return {city['city_name']: city['city_id'] for city in data['data'][0]['migration']}

# 获取北京市的城市ID
city_ids = get_city_id(110000)
print(city_ids)

输出结果为：

{'北京市': 110100, '廊坊市': 131000, '天津市': 120100, '保定市': 130600, ...}

接下来，我们可以通过以下API接口获取迁徙数据：

https://huiyan.baidu.com/migration/cityrankflow.jsonp?dt=city&id=城市ID&type=move_in&date=日期

其中，`id`参数为城市ID，`type`参数为迁入或迁出，`date`参数为日期，例如202106。

我们可以写一个函数来获取迁徙数据：

def get_migration_data(city_id, date):
    url = f'https://huiyan.baidu.com/migration/cityrankflow.jsonp?dt=city&id={city_id}&type=move_in&date={date}'
    r = requests.get(url)
    data = json.loads(r.text.replace('\'', '\"').replace('jsonpCallback(', '').replace(');', ''))
    return data['data']['list']

# 获取北京市202106的迁入数据
data = get_migration_data(city_ids['北京市'], '202106')
print(data)

输出结果为：

[{'city_name': '北京市', 'rank': 1, 'value': 306892}, {'city_name': '上海市', 'rank': 2, 'value': 219187}, {'city_name': '杭州市', 'rank': 3, 'value': 152328}, {'city_name': '深圳市', 'rank': 4, 'value': 117765}, {'city_name': '成都市', 'rank': 5, 'value': 1051...

最后，我们可以将数据保存到CSV文件中：

import csv

headers = ['city_name', 'rank', 'value']

with open('migration_data.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.DictWriter(f, headers)
    writer.writeheader()
    for city, city_id in city_ids.items():
        data = get_migration_data(city_id, '202106')
        for row in data:
            writer.writerow(row)

这样就可以将所有城市在202106的迁徙数据保存到`migration_data.csv`文件中了。