没有合适的资源?快使用搜索试试~ 我知道了~
首页基于大数据的学生上网行为分析设计说明书
资源详情
资源评论
资源推荐

QQ
:
792042913
毕业设计说明书
基于大数据技术的学生上网行为
分析系统设计
学生姓名: xx 学号: xxxxx
学 院: 计算机与控制工程学院
专 业: 计算机科学与技术
指导教师: xx
2016 年 6 月

QQ
:
792042913
基于大数据技术的学生上网行为分析系统设计
摘 要
伴随着互联网的普及与发展,人们通过网络交流日益频繁,同时,互联网已经
日益成为人们获取信息的重要渠道。学生用户使用搜索引擎查询一些信息的时候,
会产生相应的查询日志。而这些查询日志中包含着用户有用的信息,可以从这些信
息中分析出用户的真实需求及隐形需求。随着 Hadoop 分布式处理框架的兴起,给
海量用户上网日志的研究带来了巨大的希望。
基于以上的技术发展与查阅大量相关期刊,本论文通过对用户搜索引擎搜索日
志进行详细的分析,利用 hadoop 框架为基础,运用 HDFS 分布式文件系统存储日志
与 MapReduce 计算框架,同时配合可视化技术,设计了一个基于大数据的学生上网
行为分析系统。该系统主要包含了三个模块,日志分析模块,日志存储模块,可视
化展示模块。其中对日志的分析从四个维度进行,即学生用户搜索次数排行,关键
词排行分析,时间分析。其中日志的存储模块分为 HDFS 存储模块与 Mysql 存储模
块。可视化展示模块是对分析得的结果进行直观的展示。最终通过测试验证了系统
的可行性。
关键词:Hadoop ,java ee ,查询日志 ,学生行为分析

QQ
:
792042913
The Design of the Student Behavior Analysis System
Based On Big Data
Abstract
With the popularization and development of the Internet, people communicate with
each other through the network for the exchange of information were frequent .
However,Internet has increasingly become a very important channel for the access to
information .Student users using a search engine query some information will produce
the corresponding query log,And these user query log Which can analyze the user's real
demand and stealth requirements contains useful information.With the rise of the
Hadoop distributed processing framework, the massive user's web log research are of
great hope.
Based on the above technology development and a large number of relevant
journals, this paper use the hadoop framework as the basis through a detailed analysis of
the user search log, and apply the hadoop distributed file system HDFS to storing log
and the graphs computing framework of MapReduce, at the same time cooperate with
visualization technology to design a student online behavior analysis system based on
big data.The system mainly includes three modules:log analysis module, the log storage
module, visual display module. the analysis of the log is from four dimensions,which
include the student number of users' search ranking, keyword ranking analysis, time
analysis.The log storage module is divided into HDFS storage module and Mysql
storage module. Visual display module intuitively display the analysis of the results .
Finally the feasibility of the system is verified by test.
Key words:hadooop , java ee , Query log , Student behavior analysis

2016 届 毕 业 设 计 说 明 书 QQ: 792042913
第 I 页 共 II 页
目 录
1 绪论................................................................1
1.1 研究背景及意义....................................................1
1.1.1 研究背景........................................................1
1.1.2 研究意义........................................................1
1.2 国内外研究现状....................................................1
1.3 论文主要工作......................................................2
1.4 论文结构..........................................................2
2 相关技术介绍........................................................4
2.1 Hadoop 概述........................................................4
2.1.1 HDFS 介绍........................................................5
2.1.2 MapReduce 介绍...................................................6
2.2 可视化技术概述....................................................7
3 学生行为分析系统总体设计............................................8
3.1 需求分析 .........................................................8
3.1.1 开发背景与目的..................................................8
3.1.2 系统功能需求分析................................................9
3.2 系统总体架构设计.................................................10
3.2.1 Hadoop 集群层...................................................11
3.2.2 HDFS 存储层.....................................................11
3.2.3 MapReduce 计算层................................................12
3.2.4 Mysql 数据库存储层..............................................12
3.2.5 用户接口层.....................................................14
4 学生行为分析系统详细设计...........................................15
4.1 日志存储模块详细设计.............................................15
4.1.1 HDFS 分布式存储模块.............................................15
4.1.2 Mysql 数据库存储模块............................................16
4.2 日志分析模块详细设计.............................................18

2016 届 毕 业 设 计 说 明 书 QQ: 792042913
第 I 页 共 II 页
4.2.1 学生搜索次数排行分析...........................................19
4.2.2 学生搜索关键词排行分析.........................................21
4.2.3 学生点击 URL 排行分析...........................................21
4.2.4 学生上网时间排行分析...........................................21
4.2.5 学生上网日期排行分析...........................................22
4.3 可视化模块详细设计...............................................23
4.3.1 可视化数据来源设计.............................................23
4.3.2 数据可视化工具.................................................24
5 学生行为分析系统实现...............................................26
5.1 实验环境介绍.....................................................26
5.2 实验环境搭建.....................................................26
5.2.1 配置 java 环境..................................................26
5.2.2 配置 SSH 无密码登陆环境.........................................27
5.2.3 配置 hadoop 集群................................................29
5.2.4 配置 eclipse 编程环境...........................................32
5.3 实验过程与结果展示...............................................33
5.3.1 数据来源.......................................................33
5.3.2 数据导入展示...................................................34
5.3.3 登陆界面.......................................................36
5.3.4 实验数据分析展示...............................................37
结论.................................................................40
参考文献.............................................................41
致谢.........................:.......................................43
剩余46页未读,继续阅读

















安全验证
文档复制为VIP权益,开通VIP直接复制

评论1