用python爬取百度迁徙各个城市的数据

首先，我们需要分析一下百度迁徙的网页结构，确定我们需要爬取哪些数据。在百度迁徙的网页中，每个城市都有一个独特的URL，例如：https://qianxi.baidu.com/city/beijing，表示北京市的迁徙数据。我们可以打开这个页面，查看一下源代码，找到我们需要爬取的数据。

在这个页面中，我们需要爬取的数据主要包括：

1. 迁入城市排名
2. 迁出城市排名
3. 迁入人数和比例
4. 迁出人数和比例

接下来，我们就可以开始编写爬虫程序了。我们可以使用Python的requests库来请求网页，使用BeautifulSoup库来解析网页源代码。

import requests
from bs4 import BeautifulSoup

# 构造URL
city = 'beijing'
url = f'https://qianxi.baidu.com/city/{city}'

# 请求网页
response = requests.get(url)

# 解析网页源代码
soup = BeautifulSoup(response.text, 'html.parser')

# 获取迁入城市排名
incoming_rank = soup.select('.inRank .rankList li')
for rank in incoming_rank:
    print(rank.select('.cityName')[0].text, rank.select('.proportion')[0].text)

# 获取迁出城市排名
outgoing_rank = soup.select('.outRank .rankList li')
for rank in outgoing_rank:
    print(rank.select('.cityName')[0].text, rank.select('.proportion')[0].text)

# 获取迁入人数和比例
incoming_num = soup.select('.inNum .numList li')
for num in incoming_num:
    print(num.select('.cityName')[0].text, num.select('.proportion')[0].text)

# 获取迁出人数和比例
outgoing_num = soup.select('.outNum .numList li')
for num in outgoing_num:
    print(num.select('.cityName')[0].text, num.select('.proportion')[0].text)

在上面的代码中，我们首先构造了一个URL，这里以北京市为例。然后使用requests库发送请求，获取网页的源代码。接着使用BeautifulSoup库解析源代码，通过CSS选择器获取我们需要的数据。最后，我们将数据打印出来。

需要注意的是，如果我们要爬取多个城市的数据，可以将城市名称存储在一个列表中，然后遍历列表，对每个城市都发送一次请求，获取数据。另外，我们还可以使用pandas库将数据保存到CSV文件中，方便后续的数据分析。