python爬取百度地图
时间: 2023-07-12 08:59:24 浏览: 153
Python可以使用第三方库`requests`和`BeautifulSoup`来爬取百度地图。
首先,需要在百度地图上搜索需要的地点,然后复制浏览器中的URL地址。例如,我们搜索“北京大学”,复制浏览器地址栏中的URL为:https://map.baidu.com/search?query=%E5%8C%97%E4%BA%AC%E5%A4%A7%E5%AD%A6®ion=%E5%8C%97%E4%BA%AC&output=html。
接下来,我们就可以使用Python代码来爬取该页面的信息了:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://map.baidu.com/search?query=%E5%8C%97%E4%BA%AC%E5%A4%A7%E5%AD%A6®ion=%E5%8C%97%E4%BA%AC&output=html'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
print(soup.prettify())
```
上述代码使用`requests`库发送GET请求,获取页面HTML文本,然后使用`BeautifulSoup`解析HTML文本,最后输出整个HTML文本内容。你可以根据需要,使用`BeautifulSoup`提取页面中的信息,如地点名称、坐标等。
需要注意的是,百度地图在页面加载后,会使用JavaScript动态生成地图和其他元素。如果需要爬取这些动态生成的内容,需要使用Selenium等工具模拟浏览器操作。
阅读全文