网页抓取广东省湛江市近15天天气高低温度，将数据处理结果保存进入mysql，然后用pyecharts处理结果可视化，最后用flask联通前后端，额外添加首页界面(bootstrap)，登录界面
时间: 2023-09-27 21:05:32 浏览: 44
这是一个比较复杂的项目，需要分几个步骤来完成。
1. 网页抓取
首先，我们需要找到一个可以获取湛江市近15天天气数据的网站。这里以天气网为例，使用 requests 库进行网页抓取。
```python
import requests
from bs4 import BeautifulSoup
url = 'http://www.tianqi.com/zhanjiang/15/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
```
2. 数据处理
接下来，我们需要将抓取到的数据进行处理，提取出需要的信息，并将其存入 MySQL 数据库中。这里使用 pymysql 库连接数据库，并使用 pandas 库对数据进行处理。
```python
import pymysql
import pandas as pd
# 建立数据库连接
conn = pymysql.connect(
host='localhost',
user='root',
password='password',
db='weather',
charset='utf8'
)
# 将抓取到的数据转换成 DataFrame 格式
table = soup.find_all('table')[0]
df = pd.read_html(str(table))[0]
# 将 DataFrame 写入 MySQL 数据库
df.to_sql('zhanjiang_weather', conn, if_exists='replace', index=False)
# 关闭数据库连接
conn.close()
```
3. 可视化处理结果
使用 pyecharts 库将处理后的数据可视化。这里以折线图为例，绘制最高温度和最低温度的变化趋势。
```python
from pyecharts.charts import Line
from pyecharts import options as opts
# 建立数据库连接
conn = pymysql.connect(
host='localhost',
user='root',
password='password',
db='weather',
charset='utf8'
)
# 从数据库中读取处理后的数据
sql = 'SELECT * FROM zhanjiang_weather'
df = pd.read_sql(sql, conn)
# 绘制折线图
line = Line()
line.add_xaxis(list(df['日期']))
line.add_yaxis('最高温度', list(df['最高温度']))
line.add_yaxis('最低温度', list(df['最低温度']))
line.set_global_opts(title_opts=opts.TitleOpts(title='湛江市近15天天气变化趋势'))
line.render('zhanjiang_weather.html')
# 关闭数据库连接
conn.close()
```
4. Flask 前后端联通
使用 Flask 框架将前端页面和后端代码连接起来。这里以一个简单的例子为例，假设前端页面是 index.html，后端代码是 app.py。
```python
from flask import Flask, render_template
app = Flask(__name__)
@app.route('/')
def index():
return render_template('index.html')
if __name__ == '__main__':
app.run()
```
在 index.html 中，可以通过 Ajax 请求后端接口获取数据，并使用 pyecharts 渲染出图表。
5. 额外添加首页界面和登录界面
使用 Bootstrap 框架制作首页界面和登录界面，可以让网站看起来更加美观和实用。这里以一个简单的例子为例，假设首页界面是 home.html，登录界面是 login.html。
```html
<!-- home.html -->
<!DOCTYPE html>
<html>
<head>
<title>湛江市近15天天气变化趋势</title>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="stylesheet" href="https://cdn.staticfile.org/twitter-bootstrap/4.3.1/css/bootstrap.min.css">
</head>
<body>
<nav class="navbar navbar-expand-sm bg-dark navbar-dark">
<a class="navbar-brand" href="#">天气网</a>
<ul class="navbar-nav">
<li class="nav-item">
<a class="nav-link" href="#">天气预报</a>
</li>
<li class="nav-item">
<a class="nav-link" href="#">城市列表</a>
</li>
<li class="nav-item">
<a class="nav-link" href="#">关于我们</a>
</li>
</ul>
<form class="form-inline ml-auto">
<input class="form-control mr-sm-2" type="text" placeholder="搜索">
<button class="btn btn-success" type="submit">搜索</button>
</form>
</nav>
<div class="container-fluid">
<br>
<div class="row">
<div class="col-sm-12">
<div id="chart" style="width:100%;height:500px;"></div>
</div>
</div>
</div>
<script src="https://cdn.staticfile.org/jquery/3.2.1/jquery.min.js"></script>
<script src="https://cdn.staticfile.org/popper.js/1.12.5/umd/popper.min.js"></script>
<script src="https://cdn.staticfile.org/twitter-bootstrap/4.3.1/js/bootstrap.min.js"></script>
<script src="https://cdn.jsdelivr.net/npm/echarts/dist/echarts.min.js"></script>
<script src="https://cdn.jsdelivr.net/npm/pyecharts@1.9.0/dist/pyecharts.min.js"></script>
<script>
$(function () {
$.ajax({
url: '/data',
type: 'GET',
dataType: 'json',
success: function (data) {
var chart = echarts.init(document.getElementById('chart'));
var option = {
title: {text: '湛江市近15天天气变化趋势'},
tooltip: {},
legend: {data: ['最高温度', '最低温度']},
xAxis: {data: data.date_list},
yAxis: {},
series: [
{name: '最高温度', type: 'line', data: data.high_temp_list},
{name: '最低温度', type: 'line', data: data.low_temp_list},
]
};
chart.setOption(option);
}
});
});
</script>
</body>
</html>
```
```html
<!-- login.html -->
<!DOCTYPE html>
<html>
<head>
<title>登录</title>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="stylesheet" href="https://cdn.staticfile.org/twitter-bootstrap/4.3.1/css/bootstrap.min.css">
</head>
<body>
<div class="container-fluid">
<br>
<div class="row justify-content-center">
<div class="col-sm-6">
<div class="card">
<div class="card-header">登录</div>
<div class="card-body">
<form>
<div class="form-group">
<label for="username">用户名:</label>
<input type="text" class="form-control" id="username" placeholder="请输入用户名">
</div>
<div class="form-group">
<label for="password">密码:</label>
<input type="password" class="form-control" id="password" placeholder="请输入密码">
</div>
<button type="submit" class="btn btn-primary">登录</button>
</form>
</div>
</div>
</div>
</div>
</div>
<script src="https://cdn.staticfile.org/jquery/3.2.1/jquery.min.js"></script>
<script src="https://cdn.staticfile.org/popper.js/1.12.5/umd/popper.min.js"></script>
<script src="https://cdn.staticfile.org/twitter-bootstrap/4.3.1/js/bootstrap.min.js"></script>
</body>
</html>
```
在 app.py 中添加路由，将首页界面和登录界面与代码连接起来。
```python
@app.route('/')
def home():
return render_template('home.html')
@app.route('/login')
def login():
return render_template('login.html')
```
至此，一个简单的网页抓取、数据处理、可视化、前后端联通、首页界面和登录界面的项目就完成了。
相关推荐
最新推荐
利用pyecharts读取csv并进行数据统计可视化的实现
主要介绍了利用pyecharts读取csv并进行数据统计可视化的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Python实现抓取HTML网页并以PDF文件形式保存的方法
主要介绍了Python实现抓取HTML网页并以PDF文件形式保存的方法,结合实例形式分析了PyPDF2模块的安装及Python抓取HTML页面并基于PyPDF2模块生成pdf文件的相关操作技巧,需要的朋友可以参考下
python制作爬虫并将抓取结果保存到excel中
本文给大家记录的是使用Python制作爬虫爬取拉勾网信息并将结果保存到Excel中的实现思路及方法，并附上最终源码，有需要的小伙伴可以参考下
Python3使用requests包抓取并保存网页源码的方法
主要介绍了Python3使用requests包抓取并保存网页源码的方法,实例分析了Python3环境下requests模块的相关使用技巧,需要的朋友可以参考下
java抓取网页数据获取网页中所有的链接实例分享
java抓取网页数据获取网页中所有的链接实例分享，使用方法，只要实例化HtmlParser时传入网页地址就可以了
RTL8188FU-Linux-v5.7.4.2-36687.20200602.tar(20765).gz
REALTEK 8188FTV 8188eus 8188etv linux驱动程序稳定版本， 支持AP,STA 以及AP+STA 共存模式。 稳定支持linux4.0以上内核。
管理建模和仿真的文件
管理Boualem Benatallah引用此版本：布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学，1996年。法语。NNT：电话：00345357HAL ID：电话：00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
：YOLOv1目标检测算法：实时目标检测的先驱，开启计算机视觉新篇章
# 1. 目标检测算法概述
目标检测算法是一种计算机视觉技术，用于识别和定位图像或视频中的对象。它在各种应用中至关重要，例如自动驾驶、视频监控和医疗诊断。
目标检测算法通常分为两类：两阶段算法和单阶段算法。两阶段算法，如 R-CNN 和 Fast R-CNN，首先生成候选区域，然后对每个区域进行分类和边界框回归。单阶段算法，如 YOLO 和 SSD，一次性执行检
info-center source defatult
这是一个 Cisco IOS 命令，用于配置 Info Center 默认源。Info Center 是 Cisco 设备的日志记录和报告工具，可以用于收集和查看设备的事件、警报和错误信息。该命令用于配置 Info Center 默认源，即设备的默认日志记录和报告服务器。在命令行界面中输入该命令后，可以使用其他命令来配置默认源的 IP 地址、端口号和协议等参数。
c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
校园超市商品信息管理系统课程设计旨在帮助学生深入理解程序设计的基础知识，同时锻炼他们的实际操作能力。通过设计和实现一个校园超市商品信息管理系统，学生掌握了如何利用计算机科学与技术知识解决实际问题的能力。在课程设计过程中，学生需要对超市商品和销售员的关系进行有效管理，使系统功能更全面、实用，从而提高用户体验和便利性。
学生在课程设计过程中展现了积极的学习态度和纪律，没有缺勤情况，演示过程流畅且作品具有很强的使用价值。设计报告完整详细，展现了对问题的深入思考和解决能力。在答辩环节中，学生能够自信地回答问题，展示出扎实的专业知识和逻辑思维能力。教师对学生的表现予以肯定，认为学生在课程设计中表现出色，值得称赞。
整个课程设计过程包括平时成绩、报告成绩和演示与答辩成绩三个部分，其中平时表现占比20%，报告成绩占比40%，演示与答辩成绩占比40%。通过这三个部分的综合评定，最终为学生总成绩提供参考。总评分以百分制计算，全面评估学生在课程设计中的各项表现，最终为学生提供综合评价和反馈意见。
通过校园超市商品信息管理系统课程设计，学生不仅提升了对程序设计基础知识的理解与应用能力，同时也增强了团队协作和沟通能力。这一过程旨在培养学生综合运用技术解决问题的能力，为其未来的专业发展打下坚实基础。学生在进行校园超市商品信息管理系统课程设计过程中，不仅获得了理论知识的提升，同时也锻炼了实践能力和创新思维，为其未来的职业发展奠定了坚实基础。
校园超市商品信息管理系统课程设计的目的在于促进学生对程序设计基础知识的深入理解与掌握，同时培养学生解决实际问题的能力。通过对系统功能和用户需求的全面考量，学生设计了一个实用、高效的校园超市商品信息管理系统，为用户提供了更便捷、更高效的管理和使用体验。
综上所述，校园超市商品信息管理系统课程设计是一项旨在提升学生综合能力和实践技能的重要教学活动。通过此次设计，学生不仅深化了对程序设计基础知识的理解，还培养了解决实际问题的能力和团队合作精神。这一过程将为学生未来的专业发展提供坚实基础，使其在实际工作中能够胜任更多挑战。