Spark Standalone模式如何通过java查询Completed Applications
时间: 2024-02-03 07:02:16 浏览: 132
可以使用Spark的REST API来查询Completed Applications。以下是一些步骤:
1. 首先,确保你的Spark集群已经开启了REST API。你可以在Spark的配置文件中设置`spark.master.rest.enabled`为`true`,并在Spark启动脚本中添加`--conf spark.master.rest.enabled=true`。
2. 然后,可以使用Java中的HttpURLConnection或者第三方库如Apache HttpClient来发送HTTP请求。以下是使用HttpURLConnection的示例代码:
```java
URL url = new URL("http://<spark-master>:8080/api/v1/applications/?status=completed");
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod("GET");
conn.setRequestProperty("Accept", "application/json");
if (conn.getResponseCode() != 200) {
throw new RuntimeException("Failed : HTTP error code : " + conn.getResponseCode());
}
BufferedReader br = new BufferedReader(new InputStreamReader((conn.getInputStream())));
String output;
while ((output = br.readLine()) != null) {
System.out.println(output);
}
conn.disconnect();
```
注意,需要将`<spark-master>`替换为你的Spark Master节点的hostname或者IP地址。
3. 最后,解析返回的JSON数据即可获取Completed Applications的相关信息。
阅读全文