spark连接hbase读写数据

可以使用 Spark 的 HBase Connector 来连接 HBase 并进行数据读写操作。以下是一个示例代码：

import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.client.{Connection, ConnectionFactory, Put}
import org.apache.hadoop.hbase.spark.HBaseContext
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

val sparkConf = new SparkConf().setAppName("Spark-HBase Connector Example")
val spark = SparkSession.builder().config(sparkConf).getOrCreate()

val hbaseConf = HBaseConfiguration.create()
hbaseConf.set("hbase.zookeeper.quorum", "localhost")
hbaseConf.set("hbase.zookeeper.property.clientPort", "2181")

val hbaseContext = new HBaseContext(spark.sparkContext, hbaseConf)

val tableName = "test_table"
val columnFamily = "cf"
val rowKey = "row1"
val column = "col1"
val value = "value1"

val rdd = spark.sparkContext.parallelize(Seq((rowKey, column, value)))
val putRdd = rdd.map { case (row, col, value) =>
  val put = new Put(row.getBytes())
  put.addColumn(columnFamily.getBytes(), col.getBytes(), value.getBytes())
  (new org.apache.hadoop.hbase.client.TableIdentifier(tableName), put)
}

hbaseContext.bulkPut(putRdd)

这段代码演示了如何使用 Spark 的 HBase Connector 将数据写入 HBase。首先，我们需要创建一个 HBaseContext 对象，然后使用 bulkPut 方法将数据写入 HBase。在这个例子中，我们将一行数据写入了名为 test_table 的表中，行键为 row1，列族为 cf，列为 col1，值为 value1。

注意：在实际使用中，需要根据实际情况修改 HBase 的配置和表名、列族、列等信息。