spark集成kudu

Spark可以与Kudu集成，以便在Spark应用程序中读取和写入Kudu表。引用指出，Spark 2.2需要Java 8来运行，而Kudu Spark 2.x与Java 7兼容。Spark 2.2是Kudu 1.5.0的默认依赖版本。引用提到，如果您使用Spark 2与Scala 2.11，请使用kudu-spark2_2.11的工件。从官方网站的示例中可以看到，官方使用的是kudu-spark版本1.9.0。关于Spark集成Kudu的最佳实践，引用中提到，避免在每个群集中使用多个Kudu客户端，因为在Kudu-Spark编码中实例化额外的KuduClient对象是常见的错误。相反，使用KuduContext访问KuduClient，通过KuduContext#syncClient方法来创建、删除或写入Kudu表。为了诊断KuduClientSpark作业中的多个实例，可以查看主服务器日志中的符号，这些符号会显示来自不同客户端的GetTableLocations或GetTabletLocations请求的负载情况。特别是对于Spark Streaming代码，每个任务创建KuduClient会导致主请求周期性波动。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [Kudu与Spark 集成](https://blog.csdn.net/yu0_zhang0/article/details/89358580)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]