RDD的创建 -Java

在Apache Spark中，RDD（Resilient Distributed Dataset，弹性分布式数据集）是Spark的核心抽象之一，它是处理大规模数据的一种分布式计算模型。在Java中创建RDD通常通过SparkContext对象来进行。以下是创建RDD的基本步骤：

1. **创建SparkConf和SparkContext**：

   SparkConf conf = new SparkConf().setAppName("MyApp");
   JavaSparkContext sc = new JavaSparkContext(conf);

这里设置了应用名称，并初始化了一个Spark上下文。

2. **从文件系统读取数据**：

   JavaPairRDD<String, Integer> textFile = sc.textFile("path/to/input/file.txt");

`textFile`是一个键值对类型的RDD，每个元素由一对字符串和整数组成，通常是通过对文本文件行进行解析得到的。

3. **从集合创建RDD**：

   List<String> words = Arrays.asList("word1", "word2", ...);
   JavaRDD<String> wordRdd = sc.parallelize(words);

使用`parallelize()`函数将列表转换成并行的RDD。

4. **从其他源创建RDD**：

   JavaRDD<Integer> range = sc.parallelize(0, 10, 2); // 创建一个包含0到9，步长为2的序列

5. **转换操作**：
可以对RDD执行各种转换操作，如filter(), map(), reduce()等。