利用selenium获取bilibili搜索蔡徐坤的内容,并将第一页的数据按格式写入一个csv文件中
时间: 2024-06-10 13:05:18 浏览: 20
好的,我可以帮您完成这个任务。首先,您需要安装selenium和pandas库,如果还没有安装的话,请在终端输入以下命令来安装:
```
pip install selenium pandas
```
接下来,您可以使用以下Python代码来获取B站搜索蔡徐坤的内容,并将结果写入csv文件中:
``` python
from selenium import webdriver
import pandas as pd
# 启动Chrome浏览器(请确保已安装Chrome浏览器和对应版本的驱动程序)
options = webdriver.ChromeOptions()
options.add_argument('--headless') # 设置Chrome为无头模式,即不打开浏览器窗口
driver = webdriver.Chrome(options=options)
# 访问B站
driver.get('https://www.bilibili.com/')
# 输入搜索关键词"蔡徐坤"并搜索
search_box = driver.find_element_by_xpath('//input[@class="nav-search-keyword"]')
search_box.send_keys('蔡徐坤')
search_box.submit()
# 获取搜索结果(第一页)
results = driver.find_elements_by_xpath('//li[@class="video-item matrix"]')
# 将结果写入csv文件
data = {'标题': [], '链接': [], 'UP主': []}
for r in results:
title = r.find_element_by_xpath('.//a[@title]').get_attribute('title')
link = r.find_element_by_xpath('.//a[@title]').get_attribute('href')
author = r.find_element_by_xpath('.//span[@class="data-box up-name"]/a[@class="up-name"]').\
get_attribute('title').split(' ')[0]
data['标题'].append(title)
data['链接'].append(link)
data['UP主'].append(author)
df = pd.DataFrame(data)
df.to_csv('search_results.csv', index=False)
# 关闭浏览器
driver.quit()
```
此代码将搜索结果写入了一个名为"search_results.csv"的csv文件中,其中包含三列:标题、链接和UP主。您可以根据自己的需要进行修改和扩展。