刚刚的代码如何利用循环爬取到起点中文网月票榜前100的数据
时间: 2023-09-15 08:24:30 浏览: 53
以下是一个利用循环爬取起点中文网月票榜前100数据的代码示例(仅供参考):
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.qidian.com/rank/yuepiao'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
for i in range(1, 6): # 爬取前5页的月票榜数据
params = {
'page': i
}
response = requests.get(url, params=params, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
book_list = soup.find_all('div', class_='book-mid-info')
for book in book_list:
book_name = book.find('a').text # 书名
book_author = book.find('a', class_='name').text # 作者
book_intro = book.find('p', class_='intro').text # 简介
book_rank = book.find('span', class_='num').text # 月票数
print(f'书名:{book_name}\n作者:{book_author}\n月票数:{book_rank}\n简介:{book_intro}\n')
```
该代码利用循环爬取了起点中文网月票榜前5页(即前100本)数据,其中每一页的数据通过修改请求参数 `params` 中的 `page` 值来实现。在循环内部,通过 `find_all` 方法找到每一本书的信息,并依次打印出书名、作者、月票数和简介。你可以根据自己的需求进行修改。