MetaException(message:org.apache.hadoop.hive.serde2.SerDeException Error: hbase.columns.mapping missing for this HBase table.)
时间: 2024-05-20 10:14:29 浏览: 12
这个错误通常出现在使用 Hive 查询 HBase 表时,需要在创建外部表时指定 HBase 列映射信息,具体方法如下:
1. 在创建外部表时使用 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES(...) 指定 HBase 存储处理程序和序列化属性。
2. 在表定义中指定 HBase 列映射,例如:
CREATE EXTERNAL TABLE hbase_table(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:value")
TBLPROPERTIES("hbase.table.name" = "hbase_table");
其中,hbase.columns.mapping 指定了 HBase 表中列的映射关系,格式为 “column_family:column”。如果不指定映射关系,就会出现你遇到的异常。
相关问题
hive抽取hbase
Hive可以通过HBase存储的数据表进行数据抽取,具体步骤如下:
1. 在Hive中创建外部表,指定HBase表的名称和列簇。
2. 使用Hive的HBase存储处理器(HBaseStorageHandler)将HBase表映射到Hive表。
3. 在Hive中查询HBase表的数据。
示例代码如下(假设HBase表名为hbase_table,列簇名为cf,列名为col1和col2):
```
CREATE EXTERNAL TABLE hive_table (col1 STRING, col2 INT)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:col1,cf:col2")
TBLPROPERTIES ("hbase.table.name" = "hbase_table");
SELECT * FROM hive_table;
```
hive操作hbase
Hive可以通过HBase存储Hive表数据,实现Hive表数据的实时查询和更新。以下是将Hive表数据存储到HBase的步骤:
1. 配置Hive和HBase的环境变量。
2. 在Hive中创建外部表,可以使用Hive自带的HBase存储处理插件HBaseStorageHandler:
```
CREATE EXTERNAL TABLE hbase_table(key INT, value STRING)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:col1")
TBLPROPERTIES("hbase.table.name" = "hbase_table");
```
3. 通过HQL语句将Hive表数据导入到HBase表中:
```
INSERT INTO TABLE hbase_table SELECT key, value FROM hive_table;
```
4. 在HBase中查看数据是否已经存储成功。
需要注意的是,Hive和HBase的版本要兼容,不兼容的版本可能会导致存储失败。同时,HBase表的列簇必须在Hive中指定。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)