Sangfor AF产品v8.0.7r2：强化数据处理与流计算集成

"应支持流计算产品无缝集成-sangfor_af产品_v8.0.7r2版本发布文档" 本文档详细介绍了工业互联网平台在数据处理层的要求，特别是针对sangfor_af产品v8.0.7r2版本的升级内容。在数据处理层，平台需具备强大的数据管理和处理能力，以满足工业互联网数据的复杂需求。 9.3.1 数据准备功能方面，平台应支持数据预处理，包括检查数据一致性，识别和处理异常、缺失数据，清理冗余和无用数据，确保数据质量。此外，平台还需提供数据质量自动化监控，允许用户定制个性化的数据质量规则。数据转换功能也至关重要，它涉及数据格式转换、数据重组、拆分和映射，以适应不同场景的建模分析需求。 9.3.2 数据存储功能要求则更为广泛。平台应支持多种数据库类型，如关系型、离线大数据处理、分析型、NoSQL以及缓存数据库。同时，它需要具备处理批量计算、流计算、实时计算和查询计算的能力。数据存储不仅限于结构化数据，还包括非结构化数据，支持集中式和分布式存储模式。平台应支持DAG（有向无环图）并行作业，标准SQL和MapReduce框架，以及图计算编程。流计算产品的无缝集成使得实时数据处理成为可能，同时要求平台能够处理高并发和低延迟的数据。高速的写入和读取能力、动态扩展的存储空间、数据过滤机制（用于区分不同数据库或表）以及数据字典功能（用于处理非规则数据）也是必不可少的。 工业互联网平台通用要求（AII/001-2017）由工业互联网产业联盟发布，旨在规范和指导平台的建设。该标准涵盖范围广泛，包括平台的位置、参考架构、边缘连接、云基础设施、基础平台能力、数据共享、数据分析、应用使能、基础应用能力、安全可信和运维管理等方面。这些要求确保了平台能够有效地连接、处理和分析工业互联网中的海量数据，同时保证了数据的安全性和系统的可靠性。 在安全方面，平台需要有安全管理视角下的安全计划，以及部署、基础设施和数据的安全可信要求。运维管理则强调一般要求和云服务运维管理流程，确保平台的稳定运行和高效服务。 sangfor_af产品v8.0.7r2版本的发布，尤其是在数据处理层的增强，表明了对工业互联网数据处理的高度关注，这将进一步提升平台在数据管理和分析上的效能，为用户提供更强大、更灵活的服务。