python 美团民宿爬虫
时间: 2023-12-08 17:39:43 浏览: 270
python 爬虫
以下是一个简单的Python美团民宿爬虫的例子:
```python
import requests
from bs4 import BeautifulSoup
import re
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 设置请求参数
params = {
'cityId': '1',
'start': '0',
'end': '20'
}
# 发送请求
response = requests.get('https://www.meituan.com/jiudian/changsha/', headers=headers, params=params)
# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 获取民宿详情链接
links = soup.findAll("a", attrs={"class": re.compile("link.*?detail-more.*?")})
for link in links:
print(link['href'])
# 获取城市信息
spans = soup.findAll("span", attrs={"class": "cities"})
for span in spans:
print(span.text)
```
该爬虫使用requests库发送HTTP请求,使用BeautifulSoup库解析HTML。它从美团网站上获取长沙市的前20个民宿的详情链接和城市信息。
--相关问题--:
1. 如何使用Python爬取其他城市的民宿信息?
2. 如何将爬取到的数据保存到本地文件中?
3.
阅读全文