基于Hadoop的大数据学生上网行为分析系统环境搭建

这篇文档是关于基于大数据技术的学生上网行为分析系统的毕业设计说明书。作者通过搭建一个伪分布式Hadoop集群，利用Hadoop进行日志分析，从而实现对学生上网行为的洞察。系统包括日志分析、日志存储和可视化展示三个模块，并且对日志数据进行多维度的分析。 在实验环境部分，作者搭建了一个由一台Linux主机构成的Hadoop集群，该主机同时作为NameNode、JobTracker、DataNode和TaskTracker。硬件配置包括1GB内存、20GB硬盘和4个处理器，操作系统为CentOS-6.2 64位，JDK版本为1.8.0_77，Hadoop版本为1.2.1。此外，Windows 10环境下使用Eclipse-jee-mars-2作为开发工具，Tomcat服务器版本为7.0.68，数据库为Mysql 5.7.12.0。 在实验环境搭建过程中，首先需要配置Linux主机的Java环境，确保能够运行Hadoop。这涉及到在/etc/profile文件中设置JAVA_HOME和JRE_HOME环境变量，指向JDK的安装路径。然后，为了便于操作，需要配置SSH免密码登录。接着，进行Hadoop的安装和配置，以及远程Windows上的Eclipse编程环境的配置，以便进行程序开发和调试。 论文的核心是基于Hadoop进行大数据分析。通过对搜索引擎的查询日志进行详细分析，利用Hadoop的HDFS分布式文件系统存储日志，以及MapReduce进行大规模数据处理，结合可视化技术，实现对学生的搜索行为进行多维度的统计和分析，如搜索次数排行、关键词排行分析和时间分析。日志存储不仅包括HDFS，还涉及MySQL数据库，以便进一步处理和查询分析结果。 最后，通过系统测试，验证了该系统在分析学生上网行为方面的可行性和有效性，能够从海量数据中提取有价值的信息，对于了解和指导学生健康、安全的网络使用具有重要意义。 关键词：Hadoop、大数据、上网行为分析、查询日志、JavaEE。