JAVA SPARK2.0 初始化dataset

在 Java Spark 2.0 中初始化 Dataset 可以通过以下步骤：

1. 创建一个 SparkSession 对象。例如：

SparkSession spark = SparkSession.builder()
        .appName("Java Spark SQL basic example")
        .config("spark.some.config.option", "some-value")
        .getOrCreate();

2. 从外部数据源中读取数据，并将数据转换为 Dataset。例如，从 CSV 文件中读取数据并将其转换为 Dataset：

Dataset<Row> df = spark.read().format("csv")
        .option("header", "true")
        .option("inferSchema", "true")
        .load("path/to/file.csv");

3. 如果需要，可以通过编程方式创建一个 Dataset。例如，创建一个包含字符串的 Dataset：

List<String> data = Arrays.asList("Hello", "World", "Goodbye");
Dataset<String> ds = spark.createDataset(data, Encoders.STRING());

4. 对 Dataset 进行操作。例如，对包含字符串的 Dataset 进行过滤操作：

Dataset<String> filteredDs = ds.filter(s -> s.contains("o"));

以上是 Java Spark 2.0 初始化 Dataset 的基本步骤。需要注意的是，SparkSession 是初始化 Dataset 的关键对象，而 Dataset 是 Spark 2.0 中新添加的数据类型，是对 RDD 的一种更高级别的抽象。