python爬虫豆瓣歌曲评分代码
时间: 2024-05-13 13:12:46 浏览: 30
你可以使用Python的Requests库来获取网页内容,使用BeautifulSoup库来解析网页内容,并使用pandas库来处理数据。下面是一个简单的示例代码,它可以爬取豆瓣音乐中"周杰伦"的所有歌曲评分:
``` python
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://music.douban.com/subject_search?search_text=%E5%91%A8%E6%9D%B0%E4%BC%A6&cat=1003'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
song_list = soup.select('.song-item')
data_list = []
for song in song_list:
title = song.select('.song-name-short > a').text.strip()
rating = song.select('.rating > span').text.strip()
data_list.append({'title': title, 'rating': rating})
df = pd.DataFrame(data_list)
print(df)
```
上述代码中,我们首先使用requests库获取豆瓣音乐中"周杰伦"的搜索结果页面,然后使用BeautifulSoup库解析页面内容,获取每首歌曲的标题和评分信息。最后使用pandas库将数据转换成DataFrame格式并输出。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![py](https://img-home.csdnimg.cn/images/20210720083646.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)