没有合适的资源?快使用搜索试试~ 我知道了~
首页python实现网络爬虫 爬取北上广深的天气数据报告 python.docx
资源详情
资源评论
资源推荐

《Python 编程》大作业
学院 ( 系 ) : 软件学院
专 业: 软件工程
学 生:
指导教师:
完成日期 2018 年 12 月

目录
1 引言.........................................................................................................................................1
1.1 选题背景及意义..............................................................................................................1
1.2 开发目标.........................................................................................................................1
2 技术简介................................................................................................................................1
2.1 开发环境..........................................................................................................................1
2.2 Python...............................................................................................................................1
3 需求分析.................................................................................................................................1
3.1 功能性需求分析..............................................................................................................1
3.1.1 功能描述....................................................................................................................1
4 系统设计.................................................................................................................................2
5 系统实现.................................................................................................................................4
6 系统测试.................................................................................................................................8
6.1 测试目的..........................................................................................................................8
6.2 测试技术..........................................................................................................................9
6.3 测试模块..........................................................................................................................9
6.4 测试结果..........................................................................................................................9

1 引言
爬虫就是一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信
息,python 作为当前比较火热的语言
1.1 选题背景及意义
现如今空气质量已经成为了全国人民共同关注的问题,随着社会的不断进步与发展,
越来越多的人开始选择去北京、上海、广州、深圳这几个城市去发展,所以我用网络
爬虫,爬取了 2018 年截至到目前为止,北上广深这四个城市的空气质量的数据,并对
此做出了分析,全方位比较这四个城市空气质量的差异。为将要去北上广深工作的人
们,提供一些关于这些城市空气质量的参考。
1.2 开发目标
本文设计的是基于 window10 开发的,本应用的功能主要是爬取了 2018 年截至
到目前为止,北上广深这四个城市的空气质量的数据,并对此做出了分析,全方位比
较这四个城市空气质量的差异本文对应用进行了开发设计。
2 技术简介
网络爬虫(又被称为网页蜘蛛,网络机器人,在 FOAF 社区中间,更经常的称为网页
追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一
些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
2.1 开发环境
操作系统:window10;
开发语言:Python
2.2 Python
Python 是一种计算机程序设计语言。是一种动态的、面向对象的脚本语言,最初
被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越来
越多被用于独立的、大型项目的开发。
3 需求分析
3.1 功能性需求分析
3.1.1 功能描述
网络爬虫是从 web 中发现,下载以及存储内容,是搜索引擎的核心部分。传统爬
虫从一个或若干初始网页的 URL 开始,获得初始网页上的 URL,在抓取网页的过程中,
1
剩余12页未读,继续阅读


















安全验证
文档复制为VIP权益,开通VIP直接复制

评论0