Facebook如何使用Hadoop实现实时处理

"Apache Hadoop在Facebook实现实时化" 在2011年，Facebook发布了一篇技术论文，详细介绍了他们如何将Apache Hadoop和HBase应用于实时系统，以支持其新推出的Facebook Messages服务。这篇论文由Dhruba Borthakur、Kannan Muthukkaruppan、Karthik Ranganathan等Facebook工程师共同撰写，揭示了选择Hadoop和HBase而不是其他如Apache Cassandra和Voldemort的原因，并深入讨论了应用在一致性、可用性、分区容忍性、数据模型和可扩展性等方面的需求。 Facebook Messages是Facebook首次基于Apache Hadoop平台构建的面向用户的应用。HBase作为Hadoop之上的数据库层，设计目标是支持每天处理数十亿条消息。选择Hadoop和HBase的关键因素在于它们在大数据处理和实时响应能力上的优势。 首先，论文探讨了Facebook对一致性的需求。在分布式系统中，一致性涉及到数据更新后的可见性，Facebook选择HBase是因为它提供了强一致性模型，确保用户能立即看到消息的更新，这是像Facebook Messages这样的实时通信应用所必需的。 其次，论文讨论了可用性和分区容忍性。Facebook的全球用户基础要求系统即使在网络分区的情况下也能保持运行。Hadoop和HBase的架构允许数据复制和故障切换，从而提高了系统的可用性。相比之下，Cassandra和Voldemort虽然也具有高可用性，但在某些特定场景下可能无法满足Facebook的实时需求。 此外，论文还分析了数据模型的设计。HBase提供了一个列族式数据模型，适合存储大规模稀疏数据，这与Facebook Messages的数据结构非常匹配。而Cassandra和Voldemort的数据模型则可能不那么灵活。 在可扩展性方面，Hadoop和HBase通过水平扩展的能力，能够轻松地添加更多硬件来处理增长的数据量。Facebook通过优化Hadoop，使其更适合实时操作，包括改进的调度策略和更快的数据检索机制，以适应Facebook Messages的实时需求。 最后，论文还详细介绍了在配置系统时所做的权衡，以及如何通过这种方式改善了性能，并对比了Hadoop和HBase解决方案与Facebook其他应用中使用的分片MySQL数据库方案的优势。分片MySQL在处理大量数据和实时请求时可能存在性能瓶颈，而Hadoop和HBase的分布式特性使得Facebook能够更有效地处理海量消息数据。 这篇论文展示了Facebook如何利用开源技术解决其业务挑战，以及在选择和优化大数据基础设施时的深思熟虑，对于理解大型互联网公司在实时数据处理方面的实践有着重要的参考价值。