怎么让spark-shell 显示中文

可以在启动 spark-shell 时设置编码格式为 UTF-8，即在命令行中输入：

spark-shell --conf spark.driver.extraJavaOptions=-Dfile.encoding=UTF-8

这样就可以在 spark-shell 中显示中文了。如果在 PySpark 中需要显示中文，可以使用以下命令启动：

pyspark --conf spark.driver.extraJavaOptions=-Dfile.encoding=UTF-8

同样设置编码格式为 UTF-8。

相关问题

spark-shell 怎么能显示中文

要在 `spark-shell` 中显示中文，您可以执行以下步骤：

1. 在启动 `spark-shell` 时，添加以下参数：

   spark-shell --driver-java-options "-Dfile.encoding=UTF-8" --conf "spark.executor.extraJavaOptions=-Dfile.encoding=UTF-8"

2. 在 `spark-shell` 中，设置以下参数：

   scala> sc.getConf.set("spark.driver.extraJavaOptions", "-Dfile.encoding=UTF-8")
   
   scala> sc.getConf.set("spark.executor.extraJavaOptions", "-Dfile.encoding=UTF-8")

3. 在您的代码中，使用 `UTF-8` 编码来读取和写入文件：

   val df = spark.read.format("csv").option("header", true).option("encoding", "UTF-8").load("path/to/file.csv")
   
   df.write.format("csv").option("header", true).option("encoding", "UTF-8").save("path/to/output")

这样，您就可以在 `spark-shell` 中正确地显示中文了。请注意，如果您的数据源使用其他编码方式，请相应地更改 `option("encoding", "编码方式")` 中的编码方式。