python爬取去哪儿网景点
时间: 2023-11-09 20:59:35 浏览: 98
python爬取去哪网全国景区数据
要爬取去哪儿网的景点信息,你可以使用Python中的requests来模拟浏览器发起请求,然后用BeautifulSoup或者xpath等库来解析网页内容,获取需要的数据。具体步骤如下:
1. 导入requests和BeautifulSoup库
```
import requests
from bs4 import BeautifulSoup
```
2. 设置请求头,模拟浏览器进行请求
```
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
url = "https://travel.qunar.com/p-cs299878-shanghai-jingdian"
response = requests.get(url, headers=headers)
```
3. 解析网页内容,获取需要的数据
```
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.find_all('div', class_='list_item')
for item in items:
name = item.find('span', class_='cn_tit').text.strip()
location = item.find('span', class_='area').text.strip()
score = item.find('span', class_='total_star').text.strip()
comment_num = item.find('a', class_='comment_sum').text.strip()
print(name, location, score, comment_num)
```
以上代码可以爬取去哪儿网上上海的景点信息,包括景点名称、所在地区、评分和评论数。
阅读全文