sqoop把hbase数据传到hive

### 使用 Sqoop 将 HBase 数据导入 Hive

为了实现从 HBase 到 Hive 的数据迁移，通常会先将 HBase 中的数据导出至文件系统（如 HDFS），再通过 Sqoop 或其他工具加载这些数据进入 Hive 表格。然而，直接利用 Sqoop 进行此操作并非最直观的方式，因为 Sqoop 更常用于关系型数据库与 Hadoop 生态系统的交互。

对于特定需求——即从 HBase 导入数据到 Hive——可以采用如下方法：

#### 方法一：借助 MapReduce Job 实现转换并写入 Hive

由于 Sqoop 并不支持直接由 HBase 至 Hive 的导入功能，一种替代方案是编写自定义的 MapReduce 作业来读取 HBase 表中的数据，并将其格式化后存储于兼容 Hive 的文件中（例如 TextFile, SequenceFile）。之后创建外部表指向该位置即可完成映射[^1]。

hadoop jar hbase-mapreduce-examples.jar export -Dmapred.output.compress=false \
-Dmapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec \
tablename /user/hive/warehouse/tablename_exported_data

接着，在 Hive 中执行 DDL 创建对应结构体：

CREATE EXTERNAL TABLE IF NOT EXISTS hive_table_name (
    column1 STRING,
    ...
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION '/user/hive/warehouse/tablename_exported_data';

这种方法虽然绕过了 Sqoop 工具本身，但在某些场景下可能是更灵活的选择。

#### 方法二：使用 Apache Phoenix 和 Spark SQL 转换

另一种更为现代的方法涉及使用 Apache Phoenix 结合 Spark SQL 来桥接两者之间的差距。Phoenix 提供了一个 JDBC 驱动程序接口给 HBase，使得查询变得简单；而 Spark 可以轻松地连接这两种技术栈并将结果集保存为 Hive 表格[^2]。

import org.apache.phoenix.spark._

val df = spark.read.format("phoenix").option("table", "SOURCE_TABLE_NAME").load()
df.write.mode("overwrite").saveAsTable("default.destination_hive_table")

上述 Scala 代码片段展示了如何利用 Spark DataFrame API 加载来自 Phoenix/HBase 的数据，并最终持久化到 Hive 中作为新表格的一部分。