雅虎专家韩轶平解析持续增量大数据处理平台

“韩轶平在2012年云计算大会上分享了他在雅虎北京研发中心的实践经验，主题为‘持续增量海量数据管理和处理平台’。他深入讲解了如何处理和管理不断增长的大量数据，包括数据的存储、更新，以及增量大数据问题的解决方案。此平台基于Hadoop、Oozie、Pig和Zebra等技术构建，旨在实现连续数据流处理、增量计算支持和跨应用优化。” 在当今大数据时代，韩轶平先生强调了几个关键知识点： 1. **持续数据流处理**：数据流处理涉及到对搜索日志、点击日志等实时数据的摄取和分析。这需要高效的数据摄入系统，能够实时或近乎实时地处理不断流入的数据。 2. **增量数据管理**：在面对海量数据时，一次性处理所有数据是不现实的，因此增量数据管理成为必需。这包括增量索引构建，即只对新数据或变化数据进行处理，而非重新处理整个数据集。 3. **数据处理的现实挑战**：数据流可以是完整的数据集，也可以是连续的增量追加或变更。这些数据处理逻辑常常混合在一起，以临时和个案的方式处理，导致跨应用协调变得困难。 4. **项目NOVA的实施**：雅虎内部开发的项目NOVA是一个专门用于媒体内容处理的中央处理平台，它部署在一个拥有600-700节点的专用集群上，构建在Hadoop、Oozie、Pig和Zebra等工具之上。 5. **设计目标**：该平台旨在支持连续数据流处理，提供增量计算的支持，优化跨应用性能，并管理数据与计算过程。还包括数据压缩、垃圾收集、数据来源追踪等功能。 6. **数据组织成“频道”**：数据被组织成“频道”，存储在HDFS文件中，确保数据不可变性，允许并发读取。通过确定性执行、显式版本控制和模式演进来管理数据，同时跟踪元数据，如段（Segments）和基（Base&B）。 7. **Hadoop生态系统**：Hadoop作为基础，提供了分布式存储和计算的能力。Oozie用于工作流调度，Pig和Zebra则分别用于数据处理和数据模型，共同构建了一个强大的数据处理环境。 8. **应对挑战**：面对半结构化数据（如推特、博客等），需要灵活的数据处理机制。通过NOVA这样的平台，企业可以更有效地管理和处理各种类型和规模的数据，提高数据的价值提取效率。 总结来说，韩轶平的演讲揭示了大数据环境下，尤其是互联网公司如何利用开源工具构建一个强大的数据管理和处理平台，以适应快速变化的数据需求和复杂的数据处理场景。这个平台不仅解决了数据的增量处理问题，还考虑到了数据的扩展性和跨应用的协同，为大数据时代的数据分析提供了有益的实践经验和理论指导。