网页抓取广东省湛江市近15天天气高低温度,将数据处理结果保存进入mysql,然后用pyecharts处理结果可视化,最后用flask联通前后端,额外添加首页界面(bootstrap),登录界面

时间: 2023-09-27 07:05:32 浏览: 42
好的,这是一个比较完整的项目,需要分步骤进行。首先需要安装一些依赖库,包括 requests、beautifulsoup4、pymysql、pyecharts、flask、bootstrap。 1. 网页抓取 利用requests库获取网页内容,再使用beautifulsoup4库进行解析,获取需要的数据。 ```python import requests from bs4 import BeautifulSoup url = 'http://www.weather.com.cn/weather15d/101281001.shtml' res = requests.get(url) res.encoding = 'utf-8' soup = BeautifulSoup(res.text, 'html.parser') data = [] for i in range(15): d = {} d['date'] = soup.select('.t15d')[0].select('li')[i].select('.day')[0].text.strip() d['week'] = soup.select('.t15d')[0].select('li')[i].select('.week')[0].text.strip() d['high'] = soup.select('.t15d')[0].select('li')[i].select('.tem')[0].select('span')[0].text.strip() d['low'] = soup.select('.t15d')[0].select('li')[i].select('.tem')[0].select('i')[0].text.strip() data.append(d) ``` 2. 数据处理与存储 将抓取到的数据进行处理,转换成需要的格式,然后使用pymysql库连接数据库并插入数据。 ```python import pymysql conn = pymysql.connect(host='localhost', user='root', password='password', database='weather') cursor = conn.cursor() for d in data: date = d['date'] week = d['week'] high = int(d['high'].replace('℃', '')) low = int(d['low'].replace('℃', '')) sql = f"INSERT INTO weather (date, week, high, low) VALUES ('{date}', '{week}', {high}, {low})" cursor.execute(sql) conn.commit() conn.close() ``` 3. 数据可视化 使用pyecharts库将数据进行可视化处理,生成一个折线图。 ```python from pyecharts.charts import Line from pyecharts import options as opts from pyecharts.globals import ThemeType conn = pymysql.connect(host='localhost', user='root', password='password', database='weather') cursor = conn.cursor() cursor.execute("SELECT * FROM weather") results = cursor.fetchall() date_list = [result[1] for result in results] high_list = [result[3] for result in results] low_list = [result[4] for result in results] line = Line(init_opts=opts.InitOpts(theme=ThemeType.LIGHT)) line.add_xaxis(date_list) line.add_yaxis('最高温度', high_list) line.add_yaxis('最低温度', low_list) line.set_global_opts(title_opts=opts.TitleOpts(title='湛江市近15天天气数据')) line.render('weather.html') ``` 4. Flask搭建 使用Flask框架搭建一个简单的web应用,将数据可视化结果作为一个页面输出。 ```python from flask import Flask, render_template app = Flask(__name__) @app.route('/') def index(): return render_template('index.html') @app.route('/weather') def weather(): return render_template('weather.html') if __name__ == '__main__': app.run() ``` 5. 额外添加首页界面和登录界面 使用bootstrap模板制作一个简单的首页界面和登录界面,可以参考bootstrap文档中的示例代码进行制作。在Flask应用中设置相应的路由,将两个页面进行输出。 ```python from flask import Flask, render_template app = Flask(__name__) @app.route('/') def index(): return render_template('index.html') @app.route('/login') def login(): return render_template('login.html') @app.route('/weather') def weather(): return render_template('weather.html') if __name__ == '__main__': app.run() ``` 以上是整个项目的基本实现流程,需要注意的是,需要在本地安装好mysql数据库,并且创建一个名为weather的数据库,在其中创建一张名为weather的表,表中包含四个字段,分别为id、date、week、high、low。另外,需要在Flask应用中设置好数据库的连接信息。

相关推荐

最新推荐

recommend-type

利用pyecharts读取csv并进行数据统计可视化的实现

主要介绍了利用pyecharts读取csv并进行数据统计可视化的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
recommend-type

Python实现抓取HTML网页并以PDF文件形式保存的方法

主要介绍了Python实现抓取HTML网页并以PDF文件形式保存的方法,结合实例形式分析了PyPDF2模块的安装及Python抓取HTML页面并基于PyPDF2模块生成pdf文件的相关操作技巧,需要的朋友可以参考下
recommend-type

python制作爬虫并将抓取结果保存到excel中

本文给大家记录的是使用Python制作爬虫爬取拉勾网信息并将结果保存到Excel中的实现思路及方法,并附上最终源码,有需要的小伙伴可以参考下
recommend-type

Python3使用requests包抓取并保存网页源码的方法

主要介绍了Python3使用requests包抓取并保存网页源码的方法,实例分析了Python3环境下requests模块的相关使用技巧,需要的朋友可以参考下
recommend-type

java抓取网页数据获取网页中所有的链接实例分享

java抓取网页数据获取网页中所有的链接实例分享,使用方法,只要实例化HtmlParser时传入网页地址就可以了
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

用 Python 画一个可以动的爱心

好的,我可以帮助您使用Python来绘制一个动态的爱心。您可以使用turtle库来实现。以下是实现代码: ```python import turtle import math # 设置画布和画笔 canvas = turtle.Screen() canvas.bgcolor("black") pencil = turtle.Turtle() pencil.speed(0) pencil.color("red", "pink") pencil.pensize(3) # 定义爱心函数 def draw_love(heart_size, x_offset=0, y_offset=0):
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。