爬取蔚蓝书店上的数据 采集的内容有图书封面、书名、ISBN、作者、价格、出版日期、出版社等,要求有数据爬取、存储、展示过程 数据爬取、存储、展示过程的在flask web程序中控制 数据存储在MongoDB中 程序代码分包、

为了完成这个任务，我们需要进行以下几个步骤：

1. 确定要爬取的网站和页面，分析页面结构，确定需要爬取的数据字段。
2. 使用 Python 的 requests 库和 BeautifulSoup 库进行网页爬取和解析。
3. 将爬取的数据存储到 MongoDB 数据库中。
4. 编写 Flask web 程序，通过路由控制数据的展示。

下面我们逐步实现这些步骤。

## 确定要爬取的网站和页面

本次任务要爬取的网站是蔚蓝书店（https://www.bluebook.net.cn/）。我们要爬取的页面是“新书上架”页面（https://www.bluebook.net.cn/book/newbook.html）。

在该页面中，我们需要爬取的数据字段有：

- 图书封面
- 书名
- ISBN
- 作者
- 价格
- 出版日期
- 出版社

## 使用 Python 的 requests 库和 BeautifulSoup 库进行网页爬取和解析

我们使用 requests 库进行网页的爬取，使用 BeautifulSoup 库进行网页的解析。具体实现代码如下：

import requests
from bs4 import BeautifulSoup

url = "https://www.bluebook.net.cn/book/newbook.html"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299"
}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.content, "html.parser")

在上面的代码中，我们首先定义了要爬取的页面的 URL 和请求头部信息。然后使用 requests 库发送 GET 请求，获取网页的 HTML 内容。接着使用 BeautifulSoup 库对 HTML 内容进行解析，得到一个 BeautifulSoup 对象，我们将用它来获取需要的数据。

下面我们来分析一下页面的结构，确定我们需要爬取的数据字段和对应的 HTML 标签。

我们可以看到，每个图书信息都包含在一个 class 为 “bookinfo” 的 div 标签中。在这个 div 标签中，我们可以找到需要的所有数据字段。

<div class="bookinfo">
    <div class="pic">
        <a target="_blank" href="/book/2021/978-7-121-40752-4.html">
            <img src="https://www.bluebook.net.cn/BookPic/9787121407524.jpg" alt="Python数据分析入门到实践" width="120" height="160">
        </a>
    </div>
    <div class="info">
        <div class="title">
            <a target="_blank" href="/book/2021/978-7-121-40752-4.html">Python数据分析入门到实践</a>
        </div>
        <div class="author">王斌</div>
        <div class="publisher">电子工业出版社</div>
        <div class="price">￥79.00</div>
        <div class="pubdate">2021-09-01</div>
        <div class="isbn">ISBN：978-7-121-40752-4</div>
    </div>
</div>

在上面的代码中，我们可以看到，书名信息包含在一个 class 为 “title” 的 div 标签中，作者信息包含在一个 class 为 “author” 的 div 标签中，ISBN 信息包含在一个 class 为 “isbn” 的 div 标签中，价格信息包含在一个 class 为 “price” 的 div 标签中，出版日期信息包含在一个 class 为 “pubdate” 的 div 标签中，出版社信息包含在一个 class 为 “publisher” 的 div 标签中。

图书封面信息包含在一个 class 为 “pic” 的 div 标签中，我们需要获取它的子标签 img 的 src 属性，即可得到图书封面的 URL。

下面我们来编写代码，将需要的数据字段爬取下来，并存储到一个列表中。

books = []

for book in soup.select(".bookinfo"):
    title = book.select_one(".title a").text.strip()  # 书名
    author = book.select_one(".author").text.strip()  # 作者
    publisher = book.select_one(".publisher").text.strip()  # 出版社
    price = book.select_one(".price").text.strip()  # 价格
    pubdate = book.select_one(".pubdate").text.strip()  # 出版日期
    isbn = book.select_one(".isbn").text.strip()  # ISBN

    pic_url = book.select_one(".pic img").get("src")  # 图书封面 URL

    book_dict = {
        "title": title,
        "author": author,
        "publisher": publisher,
        "price": price,
        "pubdate": pubdate,
        "isbn": isbn,
        "pic_url": pic_url
    }

    books.append(book_dict)

在上面的代码中，我们首先定义了一个列表 books 来存储所有的图书信息。然后使用 select 方法选择 class 为 “bookinfo” 的 div 标签，对每一个标签进行解析，获取需要的数据字段，并将它们存储到一个字典中。最后将这个字典添加到列表 books 中。

## 将爬取的数据存储到 MongoDB 中

为了将爬取的数据存储到 MongoDB 中，我们需要安装 pymongo 库，该库提供了 Python 对 MongoDB 数据库的操作方法。

安装 pymongo 库的命令如下：

pip install pymongo

下面我们来编写代码，将爬取的数据存储到 MongoDB 中。

import pymongo

client = pymongo.MongoClient("mongodb://localhost:27017/")
db = client["bluebook"]
collection = db["books"]

for book in books:
    collection.insert_one(book)

在上面的代码中，我们首先使用 pymongo 库创建了一个 MongoDB 客户端对象，并连接到本地的 MongoDB 数据库。然后选择数据库和集合，将爬取的数据插入到集合中。

## 编写 Flask web 程序，通过路由控制数据的展示

下面我们来编写 Flask web 程序，实现数据的展示。我们将数据展示在一个 HTML 页面中，通过路由控制页面的访问。

首先，我们需要安装 Flask 和 Flask-PyMongo 库，这两个库分别用于开发 web 程序和连接 MongoDB 数据库。

安装命令如下：

pip install Flask Flask-PyMongo

然后，我们编写一个名为 app.py 的文件，包含以下代码：

from flask import Flask, render_template, request
from flask_pymongo import PyMongo

app = Flask(__name__)
app.config["MONGO_URI"] = "mongodb://localhost:27017/bluebook"
mongo = PyMongo(app)


@app.route("/")
def index():
    books = mongo.db.books.find()
    return render_template("index.html", books=books)


if __name__ == "__main__":
    app.run(debug=True)

在上面的代码中，我们首先导入 Flask、render_template 和 PyMongo 模块。然后创建 Flask 应用程序对象 app 和 PyMongo 对象 mongo。通过设置 app 配置项 MONGO_URI，我们连接到 MongoDB 数据库，选择名为 “bluebook” 的数据库。

接着，我们定义了一个路由 “/”，该路由用于展示图书信息。在该路由中，我们使用 mongo.db.books.find() 方法查询数据库中所有的图书信息，并将它们存储到变量 books 中。最后，我们使用 render_template 方法渲染 HTML 模板，并将变量 books 传递给模板。

下面我们来编写 HTML 模板，用于展示图书信息。在 templates 目录下创建一个名为 index.html 的文件，包含以下代码：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>蔚蓝书店新书上架</title>
</head>
<body>
    <h1>蔚蓝书店新书上架</h1>
    <table>
        <thead>
            <tr>
                <th>图书封面</th>
                <th>书名</th>
                <th>ISBN</th>
                <th>作者</th>
                <th>价格</th>
                <th>出版日期</th>
                <th>出版社</th>
            </tr>
        </thead>
        <tbody>
            {% for book in books %}
            <tr>
                <td><img src="{{ book.pic_url }}" width="60" height="80"></td>
                <td>{{ book.title }}</td>
                <td>{{ book.isbn }}</td>
                <td>{{ book.author }}</td>
                <td>{{ book.price }}</td>
                <td>{{ book.pubdate }}</td>
                <td>{{ book.publisher }}</td>
            </tr>
            {% endfor %}
        </tbody>
    </table>
</body>
</html>

在上面的代码中，我们使用 HTML 和 Flask 的模板语言，展示图书信息。通过使用 for 循环，我们将所有的图书信息依次渲染到表格中。

最后，我们在命令行中执行以下命令，启动 Flask 应用程序：

python app.py

然后在浏览器中访问 http://127.0.0.1:5000/，即可看到爬取的图书信息。

至此，我们已经完成了本次任务的所有步骤，实现了数据的爬取、存储、展示。