python爬虫爬取网易云用户网页信息代码

可以使用Python中的requests库和BeautifulSoup库实现爬取网易云用户网页信息。

以下是简单的代码实现：

import requests
from bs4 import BeautifulSoup

# 网易云用户主页的URL
url = 'https://music.163.com/user/home?id=xxx'

# 请求头，伪装成浏览器发送请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 发送请求，获取网页内容
response = requests.get(url, headers=headers)
html = response.text

# 解析网页内容
soup = BeautifulSoup(html, 'html.parser')
user_info = soup.select('.m-profilenav > .itm')

# 输出用户信息
for info in user_info:
    print(info.get_text().strip())

这段代码通过requests库发送请求获取网页内容，再通过BeautifulSoup库解析网页内容，最后获取用户信息并输出。其中，需要将URL中的xxx替换为具体的网易云用户ID。

相关问题

python爬虫爬取网易云

### 编写Python爬虫抓取网易云音乐数据

#### 准备工作
为了成功抓取网易云音乐的数据，需要先安装必要的库。可以利用`requests`库发送HTTP请求并接收响应；使用`BeautifulSoup`或`lxml`解析HTML文档；对于JSON格式的内容可以直接用内置的`json`模块处理。

pip install requests beautifulsoup4 lxml pyquery

#### 发送请求与获取网页内容
构建一个基本框架用于向目标网站发起GET/POST请求，并捕获返回的结果。由于网易云音乐采用了较为复杂的反扒机制，直接访问API接口可能不是最佳选择，而应该模拟浏览器行为加载页面再提取所需部分[^2]。

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
}

def get_page(url):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        else:
            print(f"Failed to load page {url}")
            return None
    except Exception as e:
        print(e)
        return None

#### 解析网页结构
当获得了完整的HTML字符串之后，就可以运用BSoup或其他工具分析DOM树形结构，定位至包含有用信息的位置。例如，在此场景下可能是歌曲列表、专辑封面链接或是用户评价等内容[^3]。

def parse_html(html_content):
    soup = BeautifulSoup(html_content,'html.parser')
    
    items = []
    # 假设每首歌都在<li>标签内
    for item in soup.find_all('li'):
        title = item.select_one('.title').get_text(strip=True) or ''
        artist = item.select_one('.artist').get_text(strip=True) or ''
        
        song_info = {'title': title,
                     'artist': artist}
                     
        items.append(song_info)

    return items

#### 处理加密参数
针对某些特定功能如评论区留言读取，则需破解其内部使用的加密算法。这通常涉及到JavaScript逆向工程，识别出负责编码过程的关键函数，并尝试重现相同的逻辑流程于Python环境中执行[^4]。

// JavaScript code snippet from browser console
var bVi6c = window.asrsea(JSON.stringify(i0x), bse6Y(["流泪", "强"]), bse6Y(Qu1x.md), bse6Y(["爱心", "女孩", "惊恐", "大笑"]));
e0x.data = j0x.cr1x({
    params: bVi6c.encText,
    encSecKey: bVi6c.encSecKey
});

转换成对应的Python实现：

# Python equivalent of the JS encryption function
class EncryptedRequest():
    @staticmethod
    def create_encrypted_request(data_dict):
        text = json.dumps(data_dict)
        sec_key = ''.join(random.sample(string.ascii_letters + string.digits, 16))
        enc_text = aes_encrypt(aes_encrypt(text, nonce), sec_key)
        enc_sec_key = rsa_encrypt(sec_key[::-1], pub_key, modulus)
        payload = {"params":enc_text,"encSecKey":enc_secKey}
        return payload
    
def aes_encrypt(text, key):
    iv = bytes([random.randint(0, 0xFF) for _ in range(16)])
    pad = lambda s :s+(16-len(s)%16)*chr(16-len(s)%16).encode()
    cipher = AES.new(key.encode(),AES.MODE_CBC,iv=iv)
    encrypted_bytes = cipher.encrypt(pad(text))
    base64_str = base64.b64encode(iv+encrypted_bytes).decode('utf8')
    return base64_str

def rsa_encrypt(text,pubkey,modulus):
    text=text[::-1]
    rs=int(codecs.encode(text.encode(),'hex'),16)**int(pubkey,16)%int(modulus,16)
    return format(rs,'x').zfill(256)

请注意以上代码片段仅为示意性质，实际应用时还需根据最新版Web API调整细节之处。

Python爬虫爬取网易云音乐歌曲评论的代码

Python爬虫使用`requests`库获取网页内容，然后通过解析HTML（如BeautifulSoup或lxml）提取数据，特别是在网易云音乐这类网站上。以下是一个基本的示例，展示如何爬取歌曲评论：

import requests
from bs4 import BeautifulSoup

# 网易云音乐API地址
base_url = "https://music.163.com/#/song?id=YOUR_SONG_ID"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

def get_song_comments(song_id):
    response = requests.get(base_url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')

    # 查找评论区域
    comments_area = soup.find('div', {'class': 'comment-list'})

    # 如果找到评论区，遍历每个评论
    if comments_area:
        comments = comments_area.find_all('li')
        for comment in comments:
            username = comment.find('span', {'class': 'author'}).text.strip()
            content = comment.find('p', {'class': 'content'}).text.strip()
            print(f"用户名: {username}\n评论内容: {content}\n")
    else:
        print("未找到评论区或网络请求失败.")

# 替换 `YOUR_SONG_ID` 为你要爬取的具体歌曲ID
get_song_comments(YOUR_SONG_ID)