给我一个java 使用远程spark的例子
时间: 2024-03-21 11:43:49 浏览: 148
以下是一个使用Java远程连接Spark的示例代码:
```java
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
public class SparkRemoteExample {
public static void main(String[] args) {
SparkConf conf = new SparkConf()
.setAppName("Spark Remote Example")
.setMaster("spark://<remote-master>:7077"); // 远程Spark Master节点地址
JavaSparkContext sc = new JavaSparkContext(conf);
JavaRDD<String> lines = sc.textFile("<remote-file-path>"); // 远程文件路径
long count = lines.count();
System.out.println("Total lines: " + count);
sc.stop();
}
}
```
在上面的代码中,我们使用`SparkConf`对象设置了远程Spark Master节点的地址,并使用`JavaSparkContext`对象初始化了连接。然后,我们使用`textFile`方法读取了远程文件,并通过`count`方法计算行数。最后,我们关闭了`JavaSparkContext`对象。
阅读全文