https://movie.douban.com/subject/30391186/comments?sort=new_score&status=P,爬取该网站的评论内容
时间: 2023-11-25 13:06:14 浏览: 69
爬取豆瓣热门电影信息及评分
好的,需要用到Python的requests和BeautifulSoup库。以下是代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = "https://movie.douban.com/subject/30391186/comments?sort=new_score&status=P"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
comments = []
for comment in soup.select(".comment-item .comment-content"):
comments.append(comment.get_text().strip())
print(comments)
```
这段代码会输出该网站所有评论的内容。你可以将其保存到文件中,或者以其他方式进行处理。需要注意的是,网站的反爬虫机制可能会阻止你的爬虫程序,所以需要适当设置请求头或使用代理等方式绕过限制。
阅读全文