python爬取去哪儿网景点数据
时间: 2023-10-02 12:05:07 浏览: 171
可以使用 Python 的 requests 和 Beautiful Soup 库来爬取去哪儿网的景点数据。以下是一个示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = "https://sight.qunar.com/"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
sight_list = soup.find_all("div", class_="list_item")
for sight in sight_list:
name = sight.find("a", class_="name").text.strip()
address = sight.find("span", class_="address").text.strip()
score = sight.find("span", class_="score").text.strip()
print(name, address, score)
```
这个代码会从去哪儿网首页爬取景点列表,并输出每个景点的名称、地址和评分。你可以根据需要修改代码,获取更多的景点信息。注意,网站有反爬措施,需要做好反反爬虫处理。
相关问题
python爬取去哪儿网景点
要爬取去哪儿网的景点信息,你可以使用Python中的requests来模拟浏览器发起请求,然后用BeautifulSoup或者xpath等库来解析网页内容,获取需要的数据。具体步骤如下:
1. 导入requests和BeautifulSoup库
```
import requests
from bs4 import BeautifulSoup
```
2. 设置请求头,模拟浏览器进行请求
```
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
url = "https://travel.qunar.com/p-cs299878-shanghai-jingdian"
response = requests.get(url, headers=headers)
```
3. 解析网页内容,获取需要的数据
```
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.find_all('div', class_='list_item')
for item in items:
name = item.find('span', class_='cn_tit').text.strip()
location = item.find('span', class_='area').text.strip()
score = item.find('span', class_='total_star').text.strip()
comment_num = item.find('a', class_='comment_sum').text.strip()
print(name, location, score, comment_num)
```
以上代码可以爬取去哪儿网上上海的景点信息,包括景点名称、所在地区、评分和评论数。
python爬取去哪儿网
你可以使用 Python 中的 requests 和 BeautifulSoup 库来爬取去哪儿网上的数据。下面是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = "https://hotel.qunar.com/city/xian/"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
# 查找所有酒店名称和价格
hotels = soup.find_all("div", class_="item_hotel_info")
for hotel in hotels:
name = hotel.find("a", class_="hotel-name-link").text.strip()
price = hotel.find("span", class_="item_price").text.strip()
print(name, price)
```
这段代码可以爬取去哪儿网上的西安酒店列表,并输出每个酒店的名称和价格。你可以根据自己的需求修改代码以爬取其他页面或获取其他信息。需要注意的是,爬取网站数据时一定要遵守网站的爬虫协议,不要过于频繁地请求同一个页面,以免被网站封禁 IP。
阅读全文