python爬取poi数据

要爬取POI数据，你可以使用Python中的requests和BeautifulSoup库。以下是一个简单的步骤：

1. 选择一个POI数据源，例如高德地图或百度地图，并确定你要爬取的城市和分类。

2. 使用requests库向该数据源发送请求，并传递城市和分类参数。例如，你可以使用以下代码向高德地图发送请求：

import requests

city = '北京市'
category = '餐饮服务'

url = f'https://restapi.amap.com/v3/place/text?key=你的高德地图API密钥&keywords={category}&city={city}&offset=25&page=1&extensions=all'

response = requests.get(url)

在这个例子中，你需要将`你的高德地图API密钥`替换为你自己的API密钥。

3. 解析响应数据。如果响应是JSON格式的，你可以使用Python的json库将其转换为Python对象。如果响应是HTML格式的，你可以使用BeautifulSoup库解析它。例如，如果你要爬取百度地图的POI数据，你可以使用以下代码：

from bs4 import BeautifulSoup

city = '北京市'
category = '餐饮'

url = f'https://map.baidu.com/?qt=s&wd={category}&c={city}&rn=10&pn=0&ie=utf-8&oue=1&from=webmap&da_par=direct'

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')

items = soup.select('div[class="search-item"]')

在这个例子中，`select`方法用于选择HTML中具有`class`属性为`search-item`的元素。

4. 提取所需的数据。一旦你解析了响应数据，你需要从中提取所需的POI数据。这通常涉及到使用一些字符串操作，例如查找特定的HTML标记或分离特定的JSON键。例如，如果你要从高德地图的响应中提取POI的名称和坐标，你可以使用以下代码：

import json

data = json.loads(response.text)

pois = data['pois']

for poi in pois:
    name = poi['name']
    location = poi['location']
    print(name, location)

在这个例子中，我们首先将响应数据转换为Python对象，然后从中提取`pois`键的值，并遍历每个POI，提取其名称和坐标。

希望这能帮到你开始爬取POI数据！