大数据架构与关键技术.docx
《大数据架构与关键技术》 大数据作为一种创新的技术手段,尚未形成统一的技术标准体系。本文结合NIST和JTC1/SC32的研究成果,提出了一种大数据参考架构,旨在为大数据技术提供一个通用的模型,帮助理解和解决由大数据特性引发的各种挑战。 大数据参考架构可以概括为“一个概念体系,二个价值链维度”。概念体系由“角色-活动-功能组件”构成,清晰描绘了架构中的逻辑构件及其关系。价值链维度则分为“IT价值链”和“信息价值链”,前者关注大数据对IT技术的新需求,后者关注数据到知识的信息流程价值。 该架构是一个通用的大数据系统模型,独立于具体技术,包含了大数据系统的逻辑功能构件和它们之间的交互接口。它的目标是建立一个开放的技术框架,让不同角色如系统工程师、数据科学家等能在互操作的大数据生态系统中找到解决方案,处理多样化的问题。 大数据参考架构以层次结构呈现,由角色、活动和功能组件三层组成。角色层包括系统协调者、数据提供者、大数据应用提供者等,活动层描述各角色的行为,功能组件层则实现这些行为的具体功能。信息价值链和IT价值链的交叉点——大数据应用提供者,体现了大数据分析对两价值链的贡献。 系统协调者在架构中起着核心作用,负责整体需求的设定、监控和审计,包括政策、治理、架构等多个方面。系统协调者可以是人或软件,他们配置和管理其他组件,确保工作负载达到服务质量要求,并能灵活应对变化。 此外,安全和隐私以及管理是两个关键的辅助组件,为整个系统提供安全保障和服务支持。参考架构不仅适用于单一系统,也能适应复杂的大数据环境,如堆叠式或链式系统。 通过数据、软件和服务使用的三类关系,参考架构描述了数据流、软件工具和接口的交互。虽然主要关注运行环境,但在系统配置阶段也有指导意义。然而,人工协议和交互不在这个架构范围内。 大数据架构与关键技术涉及到了系统设计、价值链分析、角色分配、数据处理流程等多个层面,为大数据应用提供了理论基础和实践指导。理解并运用这一架构,有助于构建高效、安全且适应性强的大数据解决方案。