python编写网易云爬虫
时间: 2023-11-13 11:05:35 浏览: 91
下面是一个简单的 Python 爬虫程序,用于爬取网易云音乐中某一首歌曲的评论:
```python
import requests
import json
# 请求头部信息
headers = {
'Referer': 'http://music.163.com',
'Host': 'music.163.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 爬取歌曲评论
def get_comments(song_id):
url = 'http://music.163.com/api/v1/resource/comments/R_SO_4_{}?limit=20'.format(song_id)
response = requests.get(url, headers=headers)
data = json.loads(response.text)
comments = data['comments']
for comment in comments:
print(comment['content'])
song_id = '1436709404' # 歌曲id
get_comments(song_id)
```
需要注意的是,爬虫可能会被网站服务器识别为恶意行为,因此应该遵守网站的爬虫规则,不要频繁地请求同一网址。可以通过设置请求头部信息、加入适当的延时等方式来规避这些问题。
阅读全文