用python爬取豆瓣读书网中的评分和评论人数存储到mongodb中的数据怎么查看
时间: 2024-01-24 16:20:40 浏览: 141
首先,你需要确保已经安装了Python的MongoDB驱动程序——pymongo。
接下来,你可以使用以下代码将豆瓣读书网中的评分和评论人数存储到MongoDB中:
```python
import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient
# 连接到MongoDB
client = MongoClient()
db = client['douban']
collection = db['books']
# 爬取数据并存储到MongoDB中
url = 'https://book.douban.com/top250'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
books = soup.find_all('tr', class_='item')
for book in books:
rating = book.find('span', class_='rating_nums').text.strip()
comments = book.find('span', class_='pl').text.strip()
data = {'rating': rating, 'comments': comments}
collection.insert_one(data)
```
上述代码将豆瓣读书网中的评分和评论人数爬取下来,并将其存储到名为“douban”的数据库中的名为“books”的集合中。
要查看MongoDB中的数据,你可以使用以下代码:
```python
# 查询所有数据
for data in collection.find():
print(data)
# 查询评分大于等于9.0的书籍
for data in collection.find({'rating': {'$gte': '9.0'}}):
print(data)
```
上述代码将打印出MongoDB中的所有数据,并查询评分大于等于9.0的书籍。
阅读全文