java使用sparksession读写parquet文件的示例及详解

首先，需要导入相关的依赖：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.4.0</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.4.0</version>
</dependency>

然后，可以使用以下代码来读取 parquet 文件：

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class ReadParquetFile {
    public static void main(String[] args) {
        // 创建 SparkSession
        SparkSession spark = SparkSession.builder()
                .appName("Read Parquet File")
                .master("local")
                .getOrCreate();

        // 读取 parquet 文件
        Dataset<Row> df = spark.read().parquet("path/to/parquet/file");

        // 显示数据
        df.show();

        // 停止 SparkSession
        spark.stop();
    }
}

其中，`spark.read().parquet("path/to/parquet/file")` 表示读取指定路径下的 parquet 文件。

接下来，可以使用以下代码将数据写入 parquet 文件：

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class WriteParquetFile {
    public static void main(String[] args) {
        // 创建 SparkSession
        SparkSession spark = SparkSession.builder()
                .appName("Write Parquet File")
                .master("local")
                .getOrCreate();

        // 创建数据
        Dataset<Row> df = spark.read().csv("path/to/csv/file");
        
        // 写入 parquet 文件
        df.write().parquet("path/to/parquet/file");

        // 停止 SparkSession
        spark.stop();
    }
}

其中，`df.write().parquet("path/to/parquet/file")` 表示将 DataFrame 写入指定路径下的 parquet 文件。

需要注意的是，parquet 文件是二进制格式的，不能直接使用文本编辑器进行查看和修改。如果需要查看文件内容，可以使用 Spark 或者其他支持 parquet 格式的工具。