首页sparkstreaming读写kerberos kafka（yarn client、yarn cluster）

sparkstreaming读写kerberos kafka（yarn client、yarn cluster）

时间: 2023-04-28 12:02:20 浏览: 131

SparkStreamingasaServicewithKafkaandYARN.pdf

在SPARK SUMMIT 2017上，Jim Dowling， KTH Royal Institute of Technology, Stockholm Senior Researcher, SICS CEO, Logical Clocks AB分享了题为《Spark Streaming-as-aService with Kafka and YARN》，就Hadoop’s Evolution介绍，YARN Spark Streaming 支持，Kafka Self-Service UI等方面的内容做了深

Spark Streaming可以通过Kerberos认证读写Kafka。在使用YARN时，可以选择使用YARN Client或YARN Cluster模式。在YARN Client模式下，Spark Streaming应用程序运行在客户端机器上，而不是YARN集群中。因此，需要在客户端机器上配置Kerberos认证，并且需要将Kafka的Kerberos认证配置文件放置在客户端机器上。然后，可以使用以下命令提交应用程序： ``` spark-submit --class <main-class> --master yarn --deploy-mode client --keytab <keytab-file> --principal <principal> --files <kafka-kerberos-config-file> <application-jar> <application-arguments> ``` 在YARN Cluster模式下，Spark Streaming应用程序运行在YARN集群中。因此，需要在YARN集群中配置Kerberos认证，并且需要将Kafka的Kerberos认证配置文件放置在YARN集群中。然后，可以使用以下命令提交应用程序： ``` spark-submit --class <main-class> --master yarn --deploy-mode cluster --keytab <keytab-file> --principal <principal> --files <kafka-kerberos-config-file> <application-jar> <application-arguments> ``` 需要注意的是，在YARN Cluster模式下，应用程序的日志将存储在YARN集群中，而不是客户端机器上。因此，需要使用YARN命令查看应用程序的日志： ``` yarn logs -applicationId <application-id> ```

阅读全文