python爬取携程酒店评论
时间: 2023-10-04 16:10:21 浏览: 336
你好,爬取携程酒店评论需要一些技术知识,以下是一个简单的爬虫示例,供参考:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://hotels.ctrip.com/hotel/dianping/422384_p1t0.html' # 酒店评论页面的 URL
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299' # 请求头
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
reviews = soup.find_all('div', class_='J_commentDetail')
for review in reviews:
print(review.get_text().strip())
```
以上代码使用了 requests 库来发送 GET 请求,并使用 BeautifulSoup 库解析 HTML。在解析后的 HTML 中,我们通过 `find_all` 方法找到了所有评论的 div 元素,并逐个输出了评论的文本。
需要注意的是,爬取网站数据可能会违反网站的服务条款,建议在合法合规的前提下进行。
阅读全文