WiFi探针数据分析系统体系结构

"体系结构文档1" 这篇文档是关于一个基于WIFI探针的数据分析系统的体系结构描述，由南京大学软件学院的CodingFairy编写，日期为2017年6月24日。该系统的主要目标是收集、处理和展示WIFI探针数据，以进行深入的数据分析。 1. 需求： - 需求定义：文档首先明确了系统的需求，包括数据收集的准确性和实时性，以及数据分析的深度和广度。 - 用例图：描述了不同用户或系统组件如何与系统交互，例如探针数据的发送、接收、处理和展示等场景。 2. 架构功能简述： - 主要模块：系统分为statDisplay前端展示页面、web服务器、WIFI探针接收服务器和Hadoop MapReduce计算与存储平台四个主要部分。 - statDisplay：负责数据的可视化展示。 - Server：作为web服务器，处理用户的请求和数据交互。 - Receiver：接收来自WIFI探针的数据，可能涉及负载均衡以优化数据处理。 - MapReduce：使用Hadoop的MapReduce框架进行大规模数据处理和存储。 3. 模块交互： - 描述了模块间的交互流程，包括探针数据接收和用户请求分析数据的流程。 4. 主要功能执行流程： - wifiprob数据接收流程：探针发送数据到接收服务器，负载均衡器分配工作，接收服务器接收到数据后进行处理。 - 用户请求分析数据流程：用户通过web界面发起请求，系统响应并执行数据分析任务。 5. Hadoop MapReduce任务： - 描述了在Hadoop平台上执行的MapReduce任务，用于处理和分析收集到的WIFI探针数据。 6. 模块接口描述： - 提到了Hadoop（HDFS）提供的接口，用于数据读写和MapReduce任务的调度。 7. 详细设计： - MapReduce部分详细阐述了MapReduce算法的运行前提、执行过程，并展示了具体的包设计，包括各种辅助类和工具。 - Web部分介绍了处理用户请求的实现，以及相关的业务逻辑、数据访问、异常处理和工具类封装。 - Receiver部分涵盖了负载均衡策略、Session一致性保证以及数据处理的部分。 整个系统设计旨在提供高效、稳定的数据接收、处理和分析能力，以满足大数据环境下WIFI探针数据的分析需求。通过合理的模块划分和接口设计，确保了系统的可扩展性和维护性。同时，利用Hadoop的MapReduce技术，能够处理大规模数据，实现数据的快速分析和存储。