INFINIDATA：基于Spark的大数据管理和探索平台

“藏经阁-基于Spark的统一数据管理与数据探索平台.pdf” 这篇文档主要介绍了阿里云的INFINIDATA平台，这是一个基于Apache Spark构建的统一数据管理和探索解决方案。文档首先阐述了设计INFINIDATA的背景，随着数据应用的发展，企业面临查询复杂度、负载混合度、数据量、数据模型复杂度、数据历史深度以及用户需求的不断提升，传统的数据管理方式已经无法满足这些需求。为此，INFINIDATA应运而生，旨在提供一个能够适应这种演进模型的平台。 INFINIDATA大数据平台致力于解决企业在数据应用的五个发展阶段中的问题，从批处理、即席查询到分析、主动触发和预测。它强调了工作负载的多样性，包括全表扫描、数据加载、复杂查询和即席查询，以及对数据分析建模的支持。 文档指出，现有的解决方案如MPP数据仓库（如TeraData、Greenplum、SAPHANA）和大数据平台（如HDP、CDH、星环）各有优缺点。MPP数据仓库在BI生态上成熟但价格昂贵，而大数据平台虽然技术先进且开源，但运维复杂，学习曲线陡峭。用户期望有一个既简单易用又能充分利用大数据计算技术的平台。 INFINIDATA平台正是针对这些需求设计的，它提供一体化的数据管理，能够自动导入全量数据和表结构，实时同步增量数据，并支持原始表和衍生表。此外，平台还允许用户自定义存储引擎和分区策略，以及追踪数据变化的历史轨迹。在计算流程管理方面，INFINIDATA借鉴了关系数据库的理念，简化了计算任务的创建和管理，使用户无需深入理解底层组件就能执行复杂的计算任务。 此外，INFINIDATA还兼容已有的数据库存储过程，实现了统一的任务管理，确保系统的稳定性和可靠性。通过这些特性，INFINIDATA旨在降低大数据管理的复杂性，提高工作效率，使得用户可以更加专注于数据分析和业务洞察，而不是基础设施的维护。 INFINIDATA是阿里云推出的一个高度集成的、基于Spark的大数据管理与探索平台，它融合了数据管理、计算效率、易用性和扩展性，为企业提供了适应数据应用演进需求的先进工具。