databricks对于两个输入文件A和B,编写Spark独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。

可以使用Spark的API来实现这个任务，具体步骤如下：

1. 读取文件A和文件B中的内容，将它们分别转换成Spark RDD。

val fileA = sc.textFile("path/to/fileA")
val fileB = sc.textFile("path/to/fileB")

2. 将文件A和文件B的内容合并成一个RDD。

val mergedFile = fileA.union(fileB)

3. 对合并后的RDD进行去重处理。

val distinctRDD = mergedFile.distinct()

4. 将去重后的RDD保存到新文件C中。

distinctRDD.saveAsTextFile("path/to/fileC")

完整的Spark应用程序示例代码如下：

import org.apache.spark.{SparkConf, SparkContext}

object MergeAndDistinctFiles {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("MergeAndDistinctFiles")
    val sc = new SparkContext(conf)

    val fileA = sc.textFile("path/to/fileA")
    val fileB = sc.textFile("path/to/fileB")

    val mergedFile = fileA.union(fileB)
    val distinctRDD = mergedFile.distinct()

    distinctRDD.saveAsTextFile("path/to/fileC")

    sc.stop()
  }
}

注意，需要将`path/to/fileA`、`path/to/fileB`和`path/to/fileC`替换成实际的文件路径。