spark中编写代码实现对两个文件进行合并，若是有重复的内容，只输出其中一个，得到一个新文件

假设我们要合并的两个文件 `file1.txt` 和 `file2.txt` 存储在 HDFS 上，可以使用以下代码实现：

from pyspark import SparkConf, SparkContext
import os

conf = SparkConf().setAppName("FileMerge")
sc = SparkContext.getOrCreate(conf)

# 读入文件1和文件2的数据
rdd1 = sc.textFile("hdfs://localhost:9000/path/to/file1.txt")
rdd2 = sc.textFile("hdfs://localhost:9000/path/to/file2.txt")

# 合并两个RDD并去重
merged_rdd = rdd1.union(rdd2).distinct()

# 将合并后的结果保存为新文件
if os.path.exists("hdfs://localhost:9000/path/to/merged_file.txt"):
    os.system("hdfs dfs -rm -r /path/to/merged_file.txt")
merged_rdd.saveAsTextFile("hdfs://localhost:9000/path/to/merged_file.txt")

sc.stop()

在上述代码中，首先创建了一个 SparkContext，然后使用 `textFile` 方法读入了两个文件的数据，并使用 `union` 方法将两个 RDD 合并起来，再使用 `distinct` 方法去重，得到最终的结果。最后，使用 `saveAsTextFile` 方法将结果保存为新文件。如果新文件已经存在，则先删除旧文件。

需要注意的是，这里使用了 `os.system` 函数调用了命令行命令 `hdfs dfs -rm -r` 来删除旧文件，需要确保本地系统已经正确配置了 Hadoop 环境变量。如果你使用的是其他的分布式文件系统，则需要根据具体情况修改相关代码。