python爬虫 爬取酷狗音乐
时间: 2023-11-07 19:58:39 浏览: 415
以下是使用Python爬虫爬取酷狗音乐的步骤:
1. 分析酷狗音乐的网页结构,找到需要爬取的数据所在的标签和类名。
2. 使用requests库发送HTTP请求,获取酷狗音乐网页的HTML源代码。
3. 使用BeautifulSoup库解析HTML源代码,提取出需要爬取的数据。
4. 将数据保存到本地文件或数据库中。
下面是一个简单的示例代码,演示如何爬取酷狗音乐的排行榜:
```
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送HTTP请求,获取HTML源代码
url = 'http://www.kugou.com/yy/rank/home/1-8888.html?from=rank'
response = requests.get(url, headers=headers)
html = response.text
# 解析HTML源代码,提取数据
soup = BeautifulSoup(html, 'html.parser')
songs = soup.select('.pc_temp_songlist > ul > li')
# 遍历歌曲列表,输出歌曲信息
for song in songs:
rank = song.select('span.pc_temp_num')[0].text.strip()
name = song.select('a')[0].text.strip()
singer = song.select('a')[1].text.strip()
album = song.select('a')[2].text.strip()
print(rank, name, singer, album)
```
上述代码中,我们使用了requests库发送HTTP请求,获取酷狗音乐网页的HTML源代码。然后使用BeautifulSoup库解析HTML源代码,提取出排行榜中每首歌曲的排名、歌曲名、歌手名和专辑名,并输出到控制台。
你可以将这些数据保存到本地文件或数据库中,以便后续分析和使用。
阅读全文