python爬虫抓取猫眼电影评论
时间: 2023-06-21 15:20:57 浏览: 112
好,我可以为你提供一些关于Python爬虫抓取猫眼电影评论的指导。
首先,你需要使用Python的requests和BeautifulSoup库来发送HTTP请求并解析HTML页面。你可以使用requests库来获取猫眼电影页面的HTML代码,然后使用BeautifulSoup库来解析HTML代码中的评论数据。
以下是一些基本的代码示例:
```python
import requests
from bs4 import BeautifulSoup
movie_url = 'https://maoyan.com/films/1299826'
# 发送HTTP GET请求,获取页面HTML代码
response = requests.get(movie_url)
html = response.text
# 使用BeautifulSoup库解析HTML代码
soup = BeautifulSoup(html, 'html.parser')
comment_list = soup.find_all('div', {'class': 'comment-item'})
# 遍历评论列表并提取评论内容
for comment in comment_list:
content = comment.find('div', {'class': 'comment-content'}).text.strip()
print(content)
```
上述代码将获取猫眼电影《误杀》的评论数据,并输出每条评论的内容。
请注意,爬取网站数据需要遵循相关法律法规和网站的使用协议,务必遵守相关规定。
阅读全文