对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C

好的，这是一个比较典型的Spark应用程序。我们可以使用Spark的RDD（Resilient Distributed Datasets）来处理这个任务。

首先，我们需要在Spark中读取输入文件A和B，将它们转换为RDD对象。假设文件A和B中的每一行都是一个字符串，我们可以使用以下代码读取它们：

val sparkConf = new SparkConf().setAppName("MergeFiles")
val sc = new SparkContext(sparkConf)

val fileA = sc.textFile("path/to/fileA")
val fileB = sc.textFile("path/to/fileB")

接下来，我们将两个RDD对象合并成一个RDD对象：

val mergedFile = fileA.union(fileB)

现在，我们需要对新的RDD对象进行去重操作。我们可以使用`distinct()`函数来实现去重：

val uniqueLines = mergedFile.distinct()

最后，我们需要将处理后的结果保存到一个新文件C中。我们可以使用以下代码将RDD对象保存到文件中：

uniqueLines.saveAsTextFile("path/to/fileC")

完整的Spark应用程序代码如下：

import org.apache.spark.{SparkConf, SparkContext}

object MergeFiles {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setAppName("MergeFiles")
    val sc = new SparkContext(sparkConf)

    val fileA = sc.textFile("path/to/fileA")
    val fileB = sc.textFile("path/to/fileB")
    
    val mergedFile = fileA.union(fileB)
    val uniqueLines = mergedFile.distinct()
    
    uniqueLines.saveAsTextFile("path/to/fileC")
  }
}

在实际使用中，你需要将`path/to/fileA`，`path/to/fileB`和`path/to/fileC`替换成你实际的文件路径。