python爬取音乐排行榜代码

Python编写爬虫抓取音乐排行榜通常涉及以下几个步骤：

1. **导入库**：使用`requests`库发送HTTP请求获取网页内容，`BeautifulSoup`库进行HTML解析，`re`库用于正则表达式匹配，`os`库处理文件和目录，`pandas`或`xlwt/xlrd`用于数据的读写。

import requests
from bs4 import BeautifulSoup
import re
import os

2. **设置基础信息**：包括目标网站地址、请求头等，例如使用豆瓣音乐榜为例：

url = "https://music.douban.com/top250"
headers = {
    "User-Agent": "Mozilla/5.0..."
}

3. **发送请求**：使用`requests.get(url, headers=headers)`获取网页源代码。

4. **解析HTML**：使用BeautifulSoup解析HTML，找到包含所需信息的元素，例如歌名、歌手、评分等。可以先找特定的标签，如`<div class="item">`。

soup = BeautifulSoup(response.content, "html.parser")
songs = soup.find_all("div", class_="item")

5. **提取数据**：遍历每个歌单条目，根据HTML结构提取出关键信息，如歌名、歌手、评分等，并存放在字典或列表中。

6. **存储数据**：可以将数据存储在内存中，如果数据量大，可以用`pandas`库生成DataFrame，然后写入CSV或Excel文件，也可以直接写入JSON格式。

data = []
for song in songs:
    name = song.find("span", class_="title").text
    artist = song.find("span", class_="artist").text
    rating = song.find("span", class_="rating_num").text

    data.append({"name": name, "artist": artist, "rating": rating})

# 写入CSV或Excel
df = pd.DataFrame(data)
df.to_csv("music_ranking.csv", index=False)