优化MapReduce：存储策略与任务粒度设计

在本文档中，主要讨论了Google大数据处理框架Hadoop MapReduce中的关键概念和技术细节，特别是与Google File System (GFS) 相关的部分。首先，关于存储位置，作者强调了在处理大量数据时，如何通过本地磁盘存储输入数据以减少网络带宽的消耗。GFS将文件分割成64MB的Block，并在多个节点上冗余存储，Master节点在调度Map任务时会优先考虑数据本地性，如果无法满足，会选择离数据副本较近的机器。 其次，文章着重讨论了任务粒度的概念，即Map和Reduce任务被拆分为多个片段，这有助于实现动态负载均衡和快速故障恢复。理想的粒度设置应远大于集群中worker机器的数量，但实践中受到Master调度复杂度和内存限制的影响。通常，M值（Map任务片段数）会设得较大，R值（Reduce任务片段数）则是worker机器数量的小倍数，例如M=200000，R=5000，用于2000台worker机器。 然后，"备用任务"的概念被引入，以应对可能存在的“落伍者”问题，即某一台机器因各种原因（如硬件故障、软件错误等）导致执行速度慢，从而拖慢整个MapReduce作业的进度。为减少这种情况，系统设计了一个机制，在作业接近尾声时，Master会监控并重新调度任务，确保整体效率。 此外，文档还提到了Bigtable，这是一个专为Google内部设计的分布式结构化数据存储系统，用于处理海量数据，如Web索引、Google Earth等。Bigtable具有广泛适用性、可扩展性、高性能和高可用性，它的设计允许用户灵活地控制数据分布和格式，虽然不支持完整的SQL关系模型，但提供了不同于传统数据库的接口。 总结来说，这篇文档深入探讨了Hadoop MapReduce在实际应用中的优化策略和Google的Bigtable在海量数据存储中的关键特性和架构，展示了如何通过合理设计和实施来提升大数据处理的效率和可靠性。