mapreduce2和mapreduce1的差别

MapReduce 1（MR1）是Hadoop最初的分布式计算模型，而MapReduce 2（MR2）则是其后续版本，也称为YARN（Yet Another Resource Negotiator）下的MapReduce。主要区别包括：

1. **资源管理**:
- MR1中，MapReduce任务运行在单一的JobTracker节点上，这限制了系统的可扩展性和容错能力。
- MR2引入了YARN，将资源管理与任务调度分离，由ResourceManager统一管理集群资源，NodeManager负责节点上的任务执行，提高了系统的灵活性和可靠性。

2. **模块化**:
- MR1的JobTracker既是调度器也是资源管理者，职责重叠可能导致性能瓶颈。
- MR2采用模块化设计，将调度和资源管理功能分开，使得它们可以独立扩展和优化。

3. **任务调度**:
- MR1的JobTracker使用轮询的方式分配任务，可能导致某些任务队列过长。
- MR2的YARN引入了更复杂的调度算法，如公平调度、容量调度等，可以更好地平衡任务分配。

4. **容错性**:
- MR1中的JobTracker对单点故障敏感，如果JobTracker失效，整个系统会暂停。
- MR2的YARN通过备份和心跳机制提高了系统的容错性。

5. **性能优化**:
- MR2允许用户选择不同的计算框架（如Tez、Spark），提供了更多的性能优化选项。

6. **易用性**:
- MR2通过增加新的API和工具，如Hive、Pig等，使得数据处理更简单，用户界面更友好。