saprk如何将txt文件转换为csv文件

Spark可以使用DataFrame API或者Spark SQL来将txt文件转换为csv文件。

下面是一个示例代码，假设我们有一个名为“input.txt”的文本文件，它包含以下内容：

1,John,Doe
2,Jane,Smith
3,Bob,Johnson

我们想要将它转换为一个名为“output.csv”的csv文件，代码如下：

from pyspark.sql import SparkSession

# 创建一个SparkSession对象
spark = SparkSession.builder.appName("TxtToCsv").getOrCreate()

# 读取文本文件
df = spark.read.format("csv").option("header", "false").option("inferSchema", "true").load("input.txt")

# 将DataFrame保存为csv文件
df.write.format("csv").option("header", "false").mode("overwrite").save("output.csv")

# 关闭SparkSession对象
spark.stop()

在上面的代码中，我们使用`spark.read`方法读取了文本文件，并将其解析为DataFrame。然后，我们使用`df.write`方法将DataFrame保存为csv文件。最后，我们关闭了`SparkSession`对象。

请注意，在读取文本文件时，我们使用了`format("csv")`方法并设置了`header`和`inferSchema`选项，这是因为Spark默认使用逗号分隔符读取csv文件。如果您的文本文件使用不同的分隔符，您需要相应地更改这些选项。