sparkstreaming读写kerberos hdfs（yarn cluster）

Spark Streaming可以通过Kerberos认证来读写HDFS（YARN集群）。

首先，需要在Spark配置文件中设置Kerberos相关参数，包括Kerberos的keytab文件路径、principal名称等。

然后，在Spark Streaming应用程序中，可以使用Hadoop API来读写HDFS，例如使用Hadoop的FileSystem API来创建HDFS文件系统对象，并使用该对象来读写HDFS文件。

在YARN集群中，需要将Kerberos认证相关的配置文件（如krb5.conf）放置在每个节点的相同路径下，并在Spark配置文件中设置相应的路径。

最后，需要在Spark Streaming应用程序中设置Hadoop的安全认证相关参数，例如设置Hadoop的安全认证用户等。

通过以上步骤，就可以在Spark Streaming应用程序中实现对Kerberos认证的HDFS（YARN集群）的读写操作。