抓取解析豆瓣读书Top250网页,要求过程中使用两次列表
时间: 2024-01-29 11:02:23 浏览: 67
爬取豆瓣图书TOP250信息并简单分析展示
好的,以下是抓取并解析豆瓣读书Top250网页,过程中使用两次列表的Python代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://book.douban.com/top250?start='
titles = []
links = []
for i in range(0, 250, 25):
r = requests.get(url + str(i))
soup = BeautifulSoup(r.text, 'html.parser')
items = soup.find_all(class_='pl2')
for item in items:
title = item.find('a')['title']
link = item.find('a')['href']
titles.append(title)
links.append(link)
books = [{'title': titles[i], 'link': links[i]} for i in range(len(titles))]
print(books)
```
这段代码会抓取豆瓣读书Top250的书籍名称和链接,并将结果分别存储在两个列表中。然后,利用列表解析式将两个列表中的信息合并成字典形式存储在一个新的列表中。每本书籍都是以字典的形式存储,包含了书名和链接信息。需要注意的是,这段代码使用了两个列表来存储书名和链接,可能会导致两个列表中的数据顺序不对应,因此在列表解析式中需要使用索引来保证书名和链接的对应关系。
阅读全文