简述写时复制与写时分配的区别

写时复制和写时分配都是内存管理技术。写时复制是指在需要修改一个对象时，先将该对象复制一份，然后再修改副本，而原对象不变。写时分配是指在需要创建一个对象时，先分配一块内存，然后再将该内存分配给对象使用。

它们的区别在于，写时复制是在需要修改对象时才进行复制，而写时分配是在需要创建对象时就进行内存分配。写时复制可以减少内存的使用，但是会增加复制的开销；写时分配可以减少复制的开销，但是会增加内存的使用。

相关问题

简述HDFS Block与MapReduce split之间的联系。

HDFS中的数据被分成固定大小的块（Block），默认情况下块大小为128MB，每个块都会被复制多个副本以实现数据冗余和容错。而MapReduce作业将数据分成逻辑上的切片（Split）并分配给不同的Map任务进行处理。Split的大小通常与块的大小相同，因为MapReduce任务的输入数据来自HDFS中的文件，因此Split是由HDFS中的Block组成。

MapReduce的InputFormat是一个用于读取HDFS中输入数据的抽象类，它定义了如何将输入数据分割成Split、如何读取Split中的数据等方法。默认情况下，InputFormat的实现类是FileInputFormat，它会将每个文件划分为多个Split。如果一个文件大小小于一个块的大小，则该文件只会产生一个Split，但如果文件大小大于一个块的大小，则该文件会被分割成多个Split，每个Split大小为一个块的大小。

因此，HDFS中的Block和MapReduce中的Split是密切相关的，它们都是为了更好地管理和处理大规模数据而设计的。在MapReduce作业中，InputFormat会将Split分配给不同的Map任务进行处理，每个Map任务会读取一个或多个Split中的数据进行计算。在处理完毕后，MapReduce框架会将Map任务的输出结果进行Shuffle操作，最终由Reduce任务进行结果汇总和处理。

简述spark的容错机制

Spark的容错机制主要包括两个方面：任务级别和作业级别。

任务级别容错机制：Spark在集群中分配任务时，会把任务复制多份，分发到不同的节点上，让它们并行运行。如果某个节点上的任务失败了，Spark会自动重新分配该任务到另一个节点上，确保任务顺利完成。

作业级别容错机制：Spark支持把一个作业分成多个阶段，每个阶段都有多个任务。如果某个阶段失败了，Spark会自动重新计算该阶段，保证整个作业能够正确完成。同时，Spark还可以利用RDD的特性，对中间结果进行持久化，以防节点故障或机器宕机等意外情况并发生。

总的来说，Spark通过任务复制、阶段重新计算和结果持久化等方法，实现了高效可靠的容错机制，确保大规模数据处理任务能够在分布式集群上高效完成。