请使用python语言帮我写一个大众点评上关于大理的景点评论的爬虫代码
时间: 2023-12-06 16:42:01 浏览: 94
好的,以下是使用Python3编写的爬虫代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.dianping.com/dali/ch10/g110'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
comments = soup.find_all('div', class_='comment')
for comment in comments:
print(comment.find('div', class_='review-words').text.strip())
```
解释一下代码:
1. 首先,我们需要导入requests和BeautifulSoup库,这两个库可以方便我们发送HTTP请求和解析HTML文档。
2. 然后,我们设置要爬取的网页URL和请求头的User-Agent。
3. 接着,我们发送GET请求并获取响应。
4. 使用BeautifulSoup库解析HTML文档,并搜索所有class为“comment”的div元素。
5. 遍历所有评论,找到class为“review-words”的div元素,打印评论内容。
这段代码可以爬取大众点评上大理的景点评论。你可以根据需要修改代码来获取其他城市或者不同类型的评论。
阅读全文