MapReduce特性：副作用控制、损坏记录跳过与本地执行

本文档主要讨论了计数器在SPC (Statistical Process Control) 文档中的应用，特别是在Google MapReduce框架中的质量统计控制。MapReduce是一个分布式计算模型，用于处理大规模数据集，由Google开发。以下是文档中涉及的关键知识点： 1. **副作用处理**： 在某些MapReduce任务中，用户可能会在Map和Reduce操作中产生额外的输出文件，作为"副作用"。为了保持原子性和幂等性，程序会首先将数据暂存到临时文件，然后在所有数据处理完毕后使用系统级原子操作重命名文件。 2. **多输出文件管理**： MapReduce不支持类似两阶段提交的原子操作处理多输出文件场景，这意味着对跨文件一致性有要求的任务必须是确定性的。虽然实践中尚未遇到明显问题，但开发者需确保任务设计符合这一约束。 3. **错误处理与恢复**： 提供了一种模式，用于跳过由于程序错误导致crash的记录，这样即使出现故障也能保证大部分处理继续进行。通过捕获系统信号和记录序列号，可以检测和跳过问题记录。 4. **本地执行模式**： 为了简化调试、性能分析和小规模测试，开发了本地MapReduce库，允许用户在本地计算机上顺序执行任务，并且可以控制任务范围和使用本地调试工具。 5. **状态信息与监控**： Master通过嵌入式HTTP服务器展示实时状态信息，包括任务进度、数据量、执行百分比等，便于用户评估执行时间和资源需求，同时帮助诊断潜在问题。 6. **计数器功能**： 计数器在MapReduce中扮演重要角色，它们用于跟踪任务执行过程中的关键指标，如记录处理数量，有助于开发者理解和优化性能。 此外，文档提到了Bigtable，一个Google设计的分布式结构化数据存储系统，专为处理PB级别的数据而创建，被多个Google产品和服务依赖。Bigtable强调了灵活性、可扩展性、高性能和高可用性，但其设计与传统关系型数据库不同，不支持完整的SQL查询，而是采用更为简单且适合大数据处理的数据模型。