python爬取豆瓣评论_python+requests爬取豆瓣歌曲评论

好的，以下是爬取豆瓣歌曲评论的Python代码示例：

首先，我们需要导入需要的库：requests、BeautifulSoup和re。

import requests
from bs4 import BeautifulSoup
import re

然后，我们需要定义一个函数来获取评论。这个函数将获取豆瓣歌曲页面上的所有评论，并返回一个评论列表。

def get_comments():
    url = 'https://music.douban.com/subject/34926236/comments'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    comments = []
    pattern = re.compile('<p class="">(.*?)</p>', re.S)
    results = re.findall(pattern, str(soup))
    for result in results:
        comment = result.strip()
        comments.append(comment)
    return comments

接下来，我们可以调用这个函数，并打印出所有的评论。

comments = get_comments()
for comment in comments:
    print(comment)

这样就可以爬取豆瓣歌曲评论了。需要注意的是，豆瓣有反爬虫机制，如果请求过于频繁，可能会被封禁IP。因此，在实际应用中，我们需要控制爬取频率，建议使用代理IP。