用pycharm爬取音乐评论
时间: 2023-10-13 07:01:31 浏览: 102
浅谈pycharm使用及设置方法
好的,以下是一个简单的使用Pycharm爬取音乐评论的示例代码:
``` python
import requests
from bs4 import BeautifulSoup
# 音乐链接
url = "https://music.163.com/#/song?id=xxxxxx"
# 获取评论的API链接
api_url = "https://music.163.com/api/v1/resource/comments/R_SO_4_{song_id}?limit={limit}&offset={offset}"
# 请求头
headers = {
"Referer": "https://music.163.com/",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}
# 获取歌曲ID
soup = BeautifulSoup(requests.get(url, headers=headers).text, "html.parser")
song_id = soup.find("meta", property="og:url")["content"].split("=")[-1]
# 获取评论
limit = 20 # 一次获取的评论数量
offset = 0
while True:
api = api_url.format(song_id=song_id, limit=limit, offset=offset)
response = requests.get(api, headers=headers)
data = response.json()["comments"]
for comment in data:
print(comment["content"]) # 打印评论内容
if len(data) < limit:
break
offset += limit
```
在代码中,我们首先定义了要爬取的音乐链接和获取评论的API链接。然后,我们通过BeautifulSoup库获取歌曲ID。接下来,我们通过API链接和请求头获取评论,并循环遍历打印出每个评论的内容,直到所有评论都被获取。
阅读全文