python爬取猫眼电影网站的(我和我的家乡)这部电影的评论数据
时间: 2023-09-19 11:05:58 浏览: 200
Python爬取猫眼电影数据及可视化
5星 · 资源好评率100%
好的,您可以使用 Python 中的 requests 和 Beautiful Soup 库来爬取猫眼电影网站的电影评论数据。以下是一个简单的爬取示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://maoyan.com/films/1299372/comments?status=PUBLISH&offset=0'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
comments = soup.find_all('div', {'class': 'comment-content'})
for comment in comments:
print(comment.text.strip())
```
在这个例子中,我们首先指定了要爬取的电影评论页面的 URL,并使用 requests 库发送 GET 请求。接下来,我们使用 Beautiful Soup 解析 HTML,找到所有评论的 div 元素,然后打印每个评论的文本。
请注意,我们在 URL 中指定了要爬取的电影 ID(1299372),以及要筛选的评论状态(PUBLISH)。如果您要爬取更多评论,可以更改 URL 中的偏移量(offset)。另外,为了避免被服务器拒绝访问,我们在请求中添加了一个 User-Agent 头。
阅读全文