spark-shell怎么保存为txt文件

你可以使用以下命令将Spark Shell中的结果保存到一个txt文件中：

<your-rdd>.saveAsTextFile("<file-path>.txt")

其中，`<your-rdd>`是你想要保存的RDD，`<file-path>`是你想要保存到的文件路径，需要在文件路径末尾加上`.txt`扩展名，这个命令将会把结果保存成文本文件。

需要注意的是，这个命令会将RDD的每一行保存成一个文本文件的一行，因此，如果你想要保存的RDD的每一行数据中有多个字段，你需要在保存之前将它们拼接成一个字符串。

相关问题

运行spark-shell读入一个文件

可以使用以下命令运行spark-shell并读入一个文件：

spark-shell --master local[*] --name myApp < input_file.txt

其中，`input_file.txt`是要读入的文件名。这个命令会启动一个本地的Spark集群，并将文件内容作为输入传递给Spark应用程序。你可以在Spark应用程序中使用`sc.textFile("input_file.txt")`来读取文件内容。

1.在 spark-shell 中读取 Linux 系统本地文件 /data/bigfiles/test.txt，然后统计出文件的行数，将统计结果保存到 /root/result.txt 文件中。 2.在 spark-shell 中读取 HDFS 系统文件 /user/hadoop/test.txt，然后统计出文件的行数，将统计结果保存到 /root/result2

.txt 文件中。

好的，让我逐步为您解答这两个问题。

1. 读取本地文件并统计行数

您可以在 Spark Shell 中使用以下代码来读取本地文件并统计行数：

val textFile = sc.textFile("file:///data/bigfiles/test.txt")
val count = textFile.count()
sc.parallelize(Seq(count)).saveAsTextFile("file:///root/result.txt")

这里，我们使用 `sc.textFile` 方法读取本地文件，并使用 `count` 方法统计文件的行数。然后，我们将行数保存到一个 `RDD` 中，并使用 `saveAsTextFile` 方法将其保存到本地文件系统中。

2. 读取 HDFS 文件并统计行数

您可以在 Spark Shell 中使用以下代码来读取 HDFS 文件并统计行数：

val textFile = sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")
val count = textFile.count()
sc.parallelize(Seq(count)).saveAsTextFile("file:///root/result2.txt")

这里，我们使用 `sc.textFile` 方法读取 HDFS 文件，并使用 `count` 方法统计文件的行数。然后，我们将行数保存到一个 `RDD` 中，并使用 `saveAsTextFile` 方法将其保存到本地文件系统中。

请注意，这里我们将结果保存到本地文件系统中，而不是 HDFS 中。如果您希望将结果保存到 HDFS 中，可以将 `saveAsTextFile` 方法的参数修改为 HDFS 路径。