spark中编写代码实验两个文本文件去重合并

假设我们有两个文本文件`file1.txt`和`file2.txt`，我们要将它们合并并去重后输出到一个新文件`output.txt`中。下面是在Spark中实现这个操作的代码：

from pyspark import SparkContext, SparkConf

# 初始化SparkContext
conf = SparkConf().setAppName("Duplicate Removal and Merge").setMaster("local")
sc = SparkContext.getOrCreate(conf)

# 读取文件内容并去重
file1 = sc.textFile("file1.txt")
file2 = sc.textFile("file2.txt")
merged_file = file1.union(file2).distinct()

# 将结果保存到文件中
merged_file.saveAsTextFile("output.txt")

上面的代码中，我们首先初始化了一个`SparkContext`实例，然后读取了两个文件`file1.txt`和`file2.txt`的内容，并利用`union`函数将它们合并到一个RDD中。接着使用`distinct`函数去重，最后将结果保存到一个新的文件`output.txt`中。