用python爬取去哪了 旅游景点攻略
时间: 2023-06-12 08:07:29 浏览: 255
毕业设计:基于python的热门旅游景点爬取与展示系统.zip
5星 · 资源好评率100%
可以使用Python中的requests和BeautifulSoup库来爬取去哪网站的旅游景点攻略。
首先,需要使用requests库来发送HTTP请求并获取HTML响应。例如,使用以下代码获取去哪网站上某个城市的景点攻略页面的HTML代码:
```python
import requests
url = 'https://travel.qunar.com/p-cs299878-%s-jingdian-1-2/' % city_code
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
html = response.text
```
其中,city_code是城市的编码,可以在去哪网站上找到。headers是HTTP请求头,用于模拟浏览器访问。使用requests.get方法发送GET请求,并将返回的响应文本保存在html变量中。
接下来,需要使用BeautifulSoup库来解析HTML代码,提取所需的信息。例如,使用以下代码提取景点名称和评分:
```python
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
spots = soup.find_all('div', class_='tit')
for spot in spots:
name = spot.find('a').text
score = spot.find('span', class_='score').text
print(name, score)
```
其中,使用BeautifulSoup将HTML代码解析成BeautifulSoup对象,并使用find_all方法查找所有class属性为tit的div元素。然后,遍历每个景点元素,使用find方法查找名称和评分元素,并将其文本内容打印出来。
综上所述,使用Python爬取去哪网站的旅游景点攻略,需要先发送HTTP请求获取HTML响应,然后使用BeautifulSoup解析HTML代码提取所需信息。
阅读全文