Apache Livy java示例代码

以下是一个Java示例代码，演示如何使用Apache Livy在远程Spark集群上运行Spark作业：

import java.util.Arrays;
import java.util.List;

import org.apache.livy.*;

public class LivyJavaExample {

  public static void main(String[] args) throws Exception {
    String livyUrl = "http://localhost:8998"; // Livy服务器的URL
    LivyClient client = new LivyClientBuilder()
        .setURI(new URI(livyUrl))
        .build();

    try {
      // 定义Spark作业
      String file = "hdfs:///path/to/your/spark/job.jar";
      List<String> argsList = Arrays.asList("arg1", "arg2");
      SparkJob job = new JavaSparkJob(file, argsList);

      // 提交Spark作业并等待完成
      long jobId = client.submit(job).get();
      while (client.getJobStatus(jobId).getState() != JobState.SUCCEEDED) {
        Thread.sleep(1000L);
      }

      // 获取Spark作业的输出
      List<String> output = client.getJobResult(jobId).castToList(String.class);
      for (String line : output) {
        System.out.println(line);
      }

    } finally {
      client.stop(true);
    }
  }
}

在上面的示例代码中，我们首先创建了一个`LivyClient`对象，它允许我们与Livy服务器进行通信，并提交Spark作业。我们使用`LivyClientBuilder`来创建`LivyClient`对象，指定Livy服务器的URL。

然后，我们定义了一个简单的Spark作业，它将一个JAR文件和一些参数传递给`JavaSparkJob`类的构造函数。我们将此作业提交到Livy服务器，并等待它完成。一旦作业完成，我们使用`getJobResult()`方法获取作业的输出，并将其打印到控制台上。

最后，我们使用`client.stop()`方法关闭`LivyClient`对象。