网页抓取广东省湛江市近15天天气高低温度，将数据处理结果保存进入mysql，然后用pyecharts处理结果可视化，最后用flask联通前后端，额外添加首页界面(bootstrap)，登录界面
时间: 2023-09-27 11:05:32 浏览: 112
这是一个比较复杂的项目，需要分几个步骤来完成。
1. 网页抓取
首先，我们需要找到一个可以获取湛江市近15天天气数据的网站。这里以天气网为例，使用 requests 库进行网页抓取。
```python
import requests
from bs4 import BeautifulSoup
url = 'http://www.tianqi.com/zhanjiang/15/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
```
2. 数据处理
接下来，我们需要将抓取到的数据进行处理，提取出需要的信息，并将其存入 MySQL 数据库中。这里使用 pymysql 库连接数据库，并使用 pandas 库对数据进行处理。
```python
import pymysql
import pandas as pd
# 建立数据库连接
conn = pymysql.connect(
host='localhost',
user='root',
password='password',
db='weather',
charset='utf8'
)
# 将抓取到的数据转换成 DataFrame 格式
table = soup.find_all('table')[0]
df = pd.read_html(str(table))[0]
# 将 DataFrame 写入 MySQL 数据库
df.to_sql('zhanjiang_weather', conn, if_exists='replace', index=False)
# 关闭数据库连接
conn.close()
```
3. 可视化处理结果
使用 pyecharts 库将处理后的数据可视化。这里以折线图为例，绘制最高温度和最低温度的变化趋势。
```python
from pyecharts.charts import Line
from pyecharts import options as opts
# 建立数据库连接
conn = pymysql.connect(
host='localhost',
user='root',
password='password',
db='weather',
charset='utf8'
)
# 从数据库中读取处理后的数据
sql = 'SELECT * FROM zhanjiang_weather'
df = pd.read_sql(sql, conn)
# 绘制折线图
line = Line()
line.add_xaxis(list(df['日期']))
line.add_yaxis('最高温度', list(df['最高温度']))
line.add_yaxis('最低温度', list(df['最低温度']))
line.set_global_opts(title_opts=opts.TitleOpts(title='湛江市近15天天气变化趋势'))
line.render('zhanjiang_weather.html')
# 关闭数据库连接
conn.close()
```
4. Flask 前后端联通
使用 Flask 框架将前端页面和后端代码连接起来。这里以一个简单的例子为例，假设前端页面是 index.html，后端代码是 app.py。
```python
from flask import Flask, render_template
app = Flask(__name__)
@app.route('/')
def index():
return render_template('index.html')
if __name__ == '__main__':
app.run()
```
在 index.html 中，可以通过 Ajax 请求后端接口获取数据，并使用 pyecharts 渲染出图表。
5. 额外添加首页界面和登录界面
使用 Bootstrap 框架制作首页界面和登录界面，可以让网站看起来更加美观和实用。这里以一个简单的例子为例，假设首页界面是 home.html，登录界面是 login.html。
```html
<!-- home.html -->
<!DOCTYPE html>
<html>
<head>
<title>湛江市近15天天气变化趋势</title>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="stylesheet" href="https://cdn.staticfile.org/twitter-bootstrap/4.3.1/css/bootstrap.min.css">
</head>
<body>
<nav class="navbar navbar-expand-sm bg-dark navbar-dark">
<a class="navbar-brand" href="#">天气网</a>
<ul class="navbar-nav">
<li class="nav-item">
<a class="nav-link" href="#">天气预报</a>
</li>
<li class="nav-item">
<a class="nav-link" href="#">城市列表</a>
</li>
<li class="nav-item">
<a class="nav-link" href="#">关于我们</a>
</li>
</ul>
<form class="form-inline ml-auto">
<input class="form-control mr-sm-2" type="text" placeholder="搜索">
<button class="btn btn-success" type="submit">搜索</button>
</form>
</nav>
<div class="container-fluid">
<br>
<div class="row">
<div class="col-sm-12">
<div id="chart" style="width:100%;height:500px;"></div>
</div>
</div>
</div>
<script src="https://cdn.staticfile.org/jquery/3.2.1/jquery.min.js"></script>
<script src="https://cdn.staticfile.org/popper.js/1.12.5/umd/popper.min.js"></script>
<script src="https://cdn.staticfile.org/twitter-bootstrap/4.3.1/js/bootstrap.min.js"></script>
<script src="https://cdn.jsdelivr.net/npm/echarts/dist/echarts.min.js"></script>
<script src="https://cdn.jsdelivr.net/npm/pyecharts@1.9.0/dist/pyecharts.min.js"></script>
<script>
$(function () {
$.ajax({
url: '/data',
type: 'GET',
dataType: 'json',
success: function (data) {
var chart = echarts.init(document.getElementById('chart'));
var option = {
title: {text: '湛江市近15天天气变化趋势'},
tooltip: {},
legend: {data: ['最高温度', '最低温度']},
xAxis: {data: data.date_list},
yAxis: {},
series: [
{name: '最高温度', type: 'line', data: data.high_temp_list},
{name: '最低温度', type: 'line', data: data.low_temp_list},
]
};
chart.setOption(option);
}
});
});
</script>
</body>
</html>
```
```html
<!-- login.html -->
<!DOCTYPE html>
<html>
<head>
<title>登录</title>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="stylesheet" href="https://cdn.staticfile.org/twitter-bootstrap/4.3.1/css/bootstrap.min.css">
</head>
<body>
<div class="container-fluid">
<br>
<div class="row justify-content-center">
<div class="col-sm-6">
<div class="card">
<div class="card-header">登录</div>
<div class="card-body">
<form>
<div class="form-group">
<label for="username">用户名:</label>
<input type="text" class="form-control" id="username" placeholder="请输入用户名">
</div>
<div class="form-group">
<label for="password">密码:</label>
<input type="password" class="form-control" id="password" placeholder="请输入密码">
</div>
<button type="submit" class="btn btn-primary">登录</button>
</form>
</div>
</div>
</div>
</div>
</div>
<script src="https://cdn.staticfile.org/jquery/3.2.1/jquery.min.js"></script>
<script src="https://cdn.staticfile.org/popper.js/1.12.5/umd/popper.min.js"></script>
<script src="https://cdn.staticfile.org/twitter-bootstrap/4.3.1/js/bootstrap.min.js"></script>
</body>
</html>
```
在 app.py 中添加路由，将首页界面和登录界面与代码连接起来。
```python
@app.route('/')
def home():
return render_template('home.html')
@app.route('/login')
def login():
return render_template('login.html')
```
至此，一个简单的网页抓取、数据处理、可视化、前后端联通、首页界面和登录界面的项目就完成了。
阅读全文
相关推荐
最新推荐
利用pyecharts读取csv并进行数据统计可视化的实现
在Python编程中，数据可视化是将复杂数据转化为易理解图形的重要工具。Pyecharts是一个用于生成交互式图表的Python库，特别适合生成HTML格式的可视化结果。本篇内容将详细介绍如何利用Pyecharts读取CSV文件，并进行...
Python实现抓取HTML网页并以PDF文件形式保存的方法
在Python编程中，有时我们需要将网页内容抓取下来并保存为PDF格式，以便于离线阅读或者方便打印。本篇将详细介绍如何使用Python来实现这一功能，主要涉及的库包括`requests`、`beautifulsoup4`、`pdfkit`以及`PyPDF2...
python制作爬虫并将抓取结果保存到excel中
在本篇【Python制作爬虫并将抓取结果保存到Excel中】的文章中，作者通过实践展示了如何使用Python来抓取拉勾网上的招聘信息并存储到Excel文件中。首先，我们需要理解爬虫的基本工作原理，即分析网站的请求过程。通过...
Python3使用requests包抓取并保存网页源码的方法
本篇将详细介绍如何使用requests包抓取并保存网页源码。 首先，确保已经安装了requests库。如果没有，可以通过Python的包管理器pip进行安装，命令如下： ```bash pip install requests ``` 一旦安装完成，我们就...
java抓取网页数据获取网页中所有的链接实例分享
在Java编程中，抓取网页数据是一项常见的任务，尤其在数据分析、信息爬取或者网站自动化测试等场景中。本实例分享了一个简单的Java程序，用于从指定网页中获取所有链接。通过创建一个名为`HtmlParser`的类，该程序...
Windows平台下的Fastboot工具使用指南
资源摘要信息:"Windows Fastboot.zip是一个包含了Windows环境下使用的Fastboot工具的压缩文件。Fastboot是一种在Android设备上使用的诊断和工程工具，它允许用户通过USB连接在设备的bootloader模式下与设备通信，从而可以对设备进行刷机、解锁bootloader、安装恢复模式等多种操作。该工具是Android开发者和高级用户在进行Android设备维护或开发时不可或缺的工具之一。"
知识点详细说明:
1. Fastboot工具定义：
Fastboot是一种与Android设备进行交互的命令行工具，通常在设备的bootloader模式下使用，这个模式允许用户直接通过USB向设备传输镜像文件以及其他重要的设备分区信息。它支持多种操作，如刷写分区、读取设备信息、擦除分区等。
2. 使用环境：
Fastboot工具原本是Google为Android Open Source Project（AOSP）提供的一个组成部分，因此它通常在Linux或Mac环境下更为原生。但由于Windows系统的普及性，许多开发者和用户需要在Windows环境下操作，因此存在专门为Windows系统定制的Fastboot版本。
3. Fastboot工具的获取与安装：
用户可以通过下载Android SDK平台工具（Platform-Tools）的方式获取Fastboot工具，这是Google官方提供的一个包含了Fastboot、ADB（Android Debug Bridge）等多种工具的集合包。安装时只需要解压到任意目录下，然后将该目录添加到系统环境变量Path中，便可以在任何位置使用Fastboot命令。
4. Fastboot的使用：
要使用Fastboot工具，用户首先需要确保设备已经进入bootloader模式。进入该模式的方法因设备而异，通常是通过组合特定的按键或者使用特定的命令来实现。之后，用户通过运行命令提示符或PowerShell来输入Fastboot命令与设备进行交互。常见的命令包括：
- fastboot devices：列出连接的设备。
- fastboot flash [partition] [filename]：将文件刷写到指定分区。
- fastboot getvar [variable]：获取指定变量的值。
- fastboot reboot：重启设备。
- fastboot unlock：解锁bootloader，使得设备能够刷写非官方ROM。
5. Fastboot工具的应用场景：
- 设备的系统更新或刷机。
- 刷入自定义恢复（如TWRP）。
- 在开发阶段对设备进行调试。
- 解锁设备的bootloader，以获取更多的自定义权限。
- 修复设备，例如清除用户数据分区或刷写新的boot分区。
- 加入特定的内核或修改系统分区。
6. 注意事项：
在使用Fastboot工具时需要格外小心，错误的操作可能会导致设备变砖或丢失重要数据。务必保证操作前已备份重要数据，并确保下载和刷入的固件是针对相应设备的正确版本。此外，不同的设备可能需要特定的驱动程序支持，因此在使用Fastboot之前还需要安装相应的USB驱动。
7. 压缩包文件说明：
资源中提到的"windows-fastboot.zip"是一个压缩文件，解压后应当包含一个或多个可执行文件、库文件等，这些文件合起来组成了Fastboot工具的Windows版本。解压后，用户应当参考解压后的文档或说明文件来进行安装和配置，以便能够正确地使用该工具。
总结而言，Fastboot作为一个功能强大的工具，它为Android设备的开发者和高级用户提供了一个界面简洁但功能全面的操作平台，以实现对设备深层次的控制。然而，它的使用要求用户具备一定的技术知识和经验，否则不当操作可能导致设备损坏。因此，使用Fastboot时应当谨慎并确保自己了解每个命令的具体含义和后果。
管理建模和仿真的文件
管理Boualem Benatallah引用此版本：布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学，1996年。法语。NNT：电话：00345357HAL ID：电话：00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
DLMS规约深度剖析：从基础到电力通信标准的全面掌握
# 摘要
DLMS/COSEM是一种广泛应用于智能电网和电力计量领域的通信协议。本文首先介绍了DLMS规约的基础概念、起源以及核心技术原理，包括协议架构、数据模型、通信过程、数据封装与传输机制。随后，文章探讨了DLMS规约在电力通信中的实际应用，如智能电表和电网自动化系统的数据通信，并分析了DLMS规约的测试与验证方法。文
修改代码，使其正确运行
要使提供的代码能够正确运行，需要解决以下几个关键点：
1. **输入处理**：确保从控制台读取的文法规则和待解析字符串格式正确。
2. **FIRST集和FOLLOW集计算**：确保FIRST集和FOLLOW集的计算逻辑正确无误。
3. **预测分析表构建**：确保预测分析表的构建逻辑正确，并且能够处理所有可能的情况。
4. **LL(1)分析器**：确保LL(1)分析器能够正确解析输入字符串并输出解析过程。
以下是经过修改后的完整代码：
```java
package com.example.demo10;
import java.util.*;
public class Main
Python机器学习基础入门与项目实践
资源摘要信息:"机器学习概述与Python在机器学习中的应用"
机器学习是人工智能的一个分支，它让计算机能够通过大量的数据学习来自动寻找规律，并据此进行预测或决策。机器学习的核心是建立一个能够从数据中学习的模型，该模型能够在未知数据上做出准确预测。这一过程通常涉及到数据的预处理、特征选择、模型训练、验证、测试和部署。
机器学习方法主要可以分为监督学习、无监督学习、半监督学习和强化学习。
监督学习涉及标记好的训练数据，其目的是让模型学会从输入到输出的映射。在这个过程中，模型学习根据输入数据推断出正确的输出值。常见的监督学习算法包括线性回归、逻辑回归、支持向量机（SVM）、决策树、随机森林和神经网络等。
无监督学习则是处理未标记的数据，其目的是探索数据中的结构。无监督学习算法试图找到数据中的隐藏模式或内在结构。常见的无监督学习算法包括聚类、主成分分析（PCA）、关联规则学习等。
半监督学习和强化学习则是介于监督学习和无监督学习之间的方法。半监督学习使用大量未标记的数据和少量标记数据进行学习，而强化学习则是通过与环境的交互来学习如何做出决策。
Python作为一门高级编程语言，在机器学习领域中扮演了非常重要的角色。Python之所以受到机器学习研究者和从业者的青睐，主要是因为其丰富的库和框架、简洁易读的语法以及强大的社区支持。
在Python的机器学习生态系统中，有几个非常重要的库：
1. NumPy：提供高性能的多维数组对象，以及处理数组的工具。
2. Pandas：一个强大的数据分析和操作工具库，提供DataFrame等数据结构，能够方便地进行数据清洗和预处理。
3. Matplotlib：一个用于创建静态、动态和交互式可视化的库，常用于生成图表和数据可视化。
4. Scikit-learn：一个简单且高效的工具，用于数据挖掘和数据分析，支持多种分类、回归、聚类算法等。
5. TensorFlow：由Google开发的开源机器学习库，适用于大规模的数值计算，尤其擅长于构建和训练深度学习模型。
6. Keras：一个高层神经网络API，能够使用TensorFlow、CNTK或Theano作为其后端进行计算。
机器学习的典型工作流程包括数据收集、数据预处理、特征工程、模型选择、训练、评估和部署。在这一流程中，Python可以贯穿始终，从数据采集到模型部署，Python都能提供强大的支持。
由于机器学习的复杂性，一个成功的机器学习项目往往需要跨学科的知识，包括统计学、数学、计算机科学、数据分析等领域。因此，掌握Python及其相关库的使用只是机器学习工作的一部分，还需要有扎实的理论基础和实践经验。
总结来说，机器学习是一个涉及数据挖掘、统计分析、算法优化等多个领域的综合性科学。Python由于其简洁的语法、丰富的库支持和强大的社区力量，成为了进行机器学习研究和应用开发的首选语言。随着技术的不断进步和算法的持续优化，机器学习的应用领域也在不断扩大，从早期的搜索引擎、推荐系统到现代的自动驾驶、医疗诊断等领域都有着广泛的应用。