WiFi探针大数据分析系统技术规格详解

"该文档是关于基于WIFI探针的商业大数据分析系统的软件参数说明，由南京大学软件学院的codingfairy编写。该系统利用Java和JavaScript开发，采用Hadoop、SpringBoot等开源框架，以及DVA前端框架，用于处理和分析WiFi探针收集的数据。" 本文档详细介绍了构建一个商业大数据分析系统的关键组件和技术栈，主要包括以下几个方面： 1. **系统整体架构**： - 系统架构包含Receiver、Hadoop平台和Web系统三部分。 - Receiver负责接收WiFi探针发送的JSON数据，使用负载均衡服务器，确保数据的稳定接收。数据会被异步缓存并定期合并，然后发送至HDFS文件系统。 - Hadoop平台执行数据分析任务，对全局数据进行周期性统计。 - Web系统定时读取Hadoop的分析结果，存储到MySQL数据库中，以供界面查询。 2. **主要开发语言**： - **Java**：要求版本号不低于1.8，主要用于后端开发。 - **JavaScript**：支持ES6语法，用于前端交互和逻辑处理。 3. **开源框架**： - **Hadoop 2.7.1**：作为分布式系统的基础，处理大规模数据存储和计算。 - **SpringBoot 1.5.2.RELEASE**：提供微服务框架，简化Spring应用的搭建和配置。 - **Junit 4.12**：用于单元测试，保证代码质量。 - **SpringDataJPA 1.5.2**：支持基于JPA的数据操作，简化数据库访问。 - **Guava 19.0**：提供一系列Java实用工具类，增强功能。 - **SpringSecurity 4.2.1.RELEASE**：实现REST请求的权限控制。 - **Swagger 2.0**：用于展示和测试RESTful API接口，方便开发者理解和使用。 4. **其他环境**： - **数据库**：选择MySQL作为关系型数据库，存储分析结果。 - **前端框架**：采用基于Redux、redux-saga和react-router@2.x的轻量级前端框架DVA。 - DVA的数据流管理清晰，遵循开源社区的最佳实践，通过dispatch发起action，通过Reducers或Effects处理同步和异步行为，改变State。 选择DVA的原因： - DVA结合了React和Redux的最佳实践，提供了一种简洁的开发模式。 - 它简化了数据管理和状态更新，使得前端开发更加高效和规范。 这个商业大数据分析系统是一个综合性的解决方案，涵盖了数据接收、存储、处理、分析和展示的全过程，使用了当前主流的技术栈，确保了系统的可扩展性和可靠性。