python爬虫爬取去哪儿网站景点
时间: 2023-12-02 08:05:39 浏览: 149
以下是使用Python爬虫爬取去哪儿网站景点的步骤:
1. 导入必要的库,包括requests和BeautifulSoup。
2. 构造URL,其中包括搜索地点和页数等参数。
3. 发送HTTP请求,获取响应内容。
4. 使用BeautifulSoup解析HTML内容,提取景点信息。
5. 将景点信息保存到本地文件或数据库中。
下面是一个简单的示例代码,可以爬取去哪儿网站上北京市的景点信息:
```python
import requests
from bs4 import BeautifulSoup
# 构造URL
url = 'http://piao.qunar.com/ticket/list.htm?keyword=北京®ion=&from=mpl_search_suggest&page={}'
# 发送HTTP请求,获取响应内容
for i in range(1, 3): # 爬取前两页的数据
response = requests.get(url.format(i))
soup = BeautifulSoup(response.text, 'html.parser')
# 解析HTML内容,提取景点信息
for li in soup.select('.sight_item'):
name = li.find('a', class_='name').text.strip()
address = li.find('span', class_='address').text.strip()
score = li.find('span', class_='score').text.strip()
sold = li.find('span', class_='hot_num').text.strip()
# 输出景点信息
print(name, address, score, sold)
# 将景点信息保存到本地文件或数据库中
# ...
```
阅读全文