Hadoop云中大象：无限弹性与架构考量

"The Elephant in the Clouds" 是Sanjay Radia在Hadoop Summit 2016上发表的主题演讲，他作为Hortonworks的首席架构师和创始人，深入探讨了为什么选择在云端部署Hadoop，以及在云端实施Hadoop的关键架构考虑。 ### 为什么选择Hadoop在云中？ 1. **无限弹性扩展** - 云环境提供了按需伸缩的能力，可以根据业务需求快速扩展或收缩Hadoop集群，避免了传统硬件带来的限制。 2. **瞬态与长期运行的工作负载** - 云使得Hadoop能够处理短暂的任务（如数据分析）以及需要长时间运行的应用（如持续的数据处理）。 3. **IT和业务敏捷性** - 云服务允许快速部署和实验新的Hadoop项目，从而提高IT响应速度，促进业务创新。 4. **零前期硬件成本** - 无需预先投资硬件，企业可以利用云服务商的基础设施，以零初始成本启动Hadoop项目。 5. **按使用付费** - 与传统的资本支出相比，云服务通常采用运营支出模式，只需支付实际使用的资源费用。 ### 当前的Hadoop云解决方案 Forrester Wave Q2 2016报告列出了当时市场上的主要Hadoop云提供商，包括Rackspace、Oracle、Altiscale、Qubole、Google、IBM、Amazon Web Services和Microsoft。这些供应商被分为领导者、强力表现者、竞争者和挑战者四类，反映了他们在提供Hadoop云解决方案方面的市场地位和能力。 ### 关键架构考虑：Hadoop在云中的实施 1. **共享数据和存储** - 在云中，Hadoop集群需要支持跨计算节点的共享数据访问，确保高效的数据读写和一致性。 2. **按需的瞬态工作负载管理** - 为了充分利用云的弹性，必须有机制自动管理和调度瞬态工作负载，以应对不断变化的需求。 3. **元数据、安全和治理的共享** - 云环境中的Hadoop需要一个集中化的元数据管理系统，同时保证数据的安全性和合规性，确保数据治理策略得以实施。 ### 预设的按需瞬态工作负载 Sanjay Radia还提到了预设的按需瞬态工作负载的概念，它强调了如何在云环境中优化数据科学、读写表、计算基础设施（如ETL）等任务的执行。这种架构设计旨在提高工作效率，通过灵活的计算资源分配来满足不同工作负载的需求。 "The Elephant in the Clouds" 主题演讲探讨了Hadoop在云中的优势，当前的市场格局，以及实现有效云部署所需的关键技术考量。这些内容对于理解如何在云环境中成功实施Hadoop项目具有重要的指导意义。