用python编程,抓取网站“起点中文网”月票榜Top20的数据,包括月票数,并将获取数据保存到csv文件
时间: 2024-06-09 09:12:34 浏览: 126
好的,您可以使用Python的requests和BeautifulSoup库来实现这个功能。首先,您需要安装这两个库。可以使用以下命令来安装:
```
pip install requests
pip install beautifulsoup4
```
然后,您可以使用以下代码来抓取“起点中文网”月票榜Top20的数据,并将数据保存到csv文件中:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 发送GET请求并获取HTML内容
url = 'https://www.qidian.com/rank/yuepiao?style=1&page=1'
response = requests.get(url)
html = response.content.decode('utf-8')
# 解析HTML内容
soup = BeautifulSoup(html, 'html.parser')
novel_list = soup.find_all('div', class_='book-mid-info')
# 保存数据到csv文件
with open('novel_rank.csv', 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['排名', '书名', '作者', '分类', '月票数'])
for i, novel in enumerate(novel_list):
title = novel.find('a').text
author = novel.find('a', class_='name').text
category = novel.find('a', class_='go-sub-type').text
month_ticket = novel.find('p', class_='month-ticket').find('span').text
writer.writerow([i+1, title, author, category, month_ticket])
```
这段代码会抓取起点中文网月票榜Top20的数据,并将排名、书名、作者、分类和月票数保存到csv文件“novel_rank.csv”中。您可以根据需要修改代码来抓取其他网站的数据。
阅读全文