EMC的Hadoop统一数据平台：Greenplum Chorus与分析协作

"本文主要介绍了基于Hadoop构建的统一数据存储和分析平台，该平台由EMC公司提供，包括Greenplum Chorus、Greenplum数据库、Greenplum Hadoop等组件，旨在为企业提供全面的大数据分析解决方案。文章还提到了Chorus的主要功能以及在电信行业数据分析中的实际应用案例。" 在大数据领域，Hadoop作为一种开源框架，已经成为处理和存储大规模非结构化数据的核心工具。基于Hadoop的统一数据存储和分析平台充分利用了Hadoop的分布式文件系统（HDFS）和MapReduce计算模型，为海量数据的存储和分析提供了高效、可扩展的解决方案。 EMC大数据分析平台的核心组件之一是Greenplum Chorus，这是一个企业级的数据分析协作平台。它允许用户以自我服务的方式创建分析沙箱，方便地处理和分析数据。Chorus提供了数据服务，支持用户获取、预览和理解数据，并通过开放的REST API与其他系统集成，促进团队间的协作。 Greenplum数据库是一个高性能的并行数据库系统，专为结构化数据设计，能够处理大规模数据仓库工作负载。企业版和社区版都提供了优秀的扩展性，适合大型企业进行复杂的数据分析。而Greenplum Hadoop版则进一步增强了对非结构化数据的支持，使得企业能够在同一平台上处理结构化和非结构化数据。 Chorus与Hadoop的集成是这一平台的一大亮点。用户可以直接在Chorus中浏览HDFS目录，预览文件，并将其添加到分析环境中。通过将HDFS文件作为外部表处理，可以结合结构化数据进行深入的分析，实现数据的统一视图。 在电信行业的案例中，Hadoop用于存储大量的通话详细记录（CDR）数据，而Greenplum数据库则存储客户详细信息。分析人员可以在Chorus中浏览CDR文件，将其导入分析沙箱，执行复杂的查询，如连接HDFS外部表和Greenplum数据库表来计算社交网络变量。最后，分析结果和见解可以被分享和发布，提高整个组织的数据驱动决策能力。 总结来说，基于Hadoop的统一数据存储和分析平台是EMC针对大数据挑战提供的综合解决方案，它通过整合不同的数据处理工具和协作平台，实现了从数据获取到洞察发现的全面流程，尤其在处理大规模非结构化数据时展现出强大效能。这种平台不仅提高了数据处理效率，也促进了企业内部的数据共享和协作，推动了企业的数据分析能力。