hive中tblproperties作用

时间: 2023-11-07 16:28:38 浏览: 142

Hive+经纬度+数据导入ES

### Hive与Elasticsearch中的经纬度数据处理 #### 背景介绍在大数据处理领域，Hive（Hadoop数据库）常被用于处理结构化数据，而Elasticsearch（ES）则以其强大的全文检索功能著称。在某些应用场景中，需要将Hive中的数据导入到Elasticsearch中进行更高效的数据检索或分析。本篇主要探讨如何解决在这一过程中遇到的关于地理坐标（经纬度）数据格式不匹配的问题。 #### 问题描述在将Hive中的数据导入到Elasticsearch时，如果Hive表中存在一个表示地理坐标的字段（如`location`），且该字段的类型为`array<double>`，那么直接导入到Elasticsearch后可能会导致该坐标数据无法正常被识别和使用。具体表现为，在Elasticsearch中该坐标字段的类型为`geo_point`，但是其值却不符合`geo_point`字段的期望格式（即一个包含`lat`和`lon`属性的JSON对象），从而导致坐标数据无法正常使用。 #### 解决方案为了解决这个问题，可以通过以下步骤来转换和导入数据： ##### 步骤1：在Hive中创建映射表在Hive中创建一个新的表（映射表），该表专门用于存储将要导入到Elasticsearch中的数据。这里我们创建了一个名为`es_mapping.app_enterprise_business_tags_es1222`的外部表，其中包含了与Elasticsearch对应的字段类型。 ```sql CREATE EXTERNAL TABLE `es_mapping.app_enterprise_business_tags_es1222`( `id` string COMMENT '对应es中id', `pid` string COMMENT '主键', `location` map<string,double> COMMENT '经纬度坐标' ) ROW FORMAT SERDE 'org.elasticsearch.hadoop.hive.EsSerDe' STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' WITH SERDEPROPERTIES ( 'serialization.format'='1' ) LOCATION 'hdfs://nameservice1/user/hive/warehouse/es_mapping/app_enterprise_business_tags_es1222' TBLPROPERTIES ( 'bucketing_version'='2', 'es.batch.write.retry.count'='6', 'es.batch.write.retry.wait'='60s', 'es.index.auto.create'='TRUE', 'es.index.number_of_replicas'='0', 'es.index.refresh_interval'='-1', 'es.mapping.names'='id:id,pid:pid,location:location', 'es.mapping.id'='pid', 'es.write.operation'='upsert', 'es.nodes'='http://192.168.****:9200', 'es.nodes.wan.only'='TRUE', 'es.net.http.auth.user' = 'elastic', 'es.net.http.auth.pass' = '****', 'es.resource'='company_v5' ); ``` 此表定义了`id`、`pid`以及`location`三个字段，其中`location`字段为`map<string,double>`类型，这将用于后续的转换操作。 ##### 步骤2：转换并插入数据接下来，需要将原始Hive表中的数据进行转换，确保经纬度数据符合Elasticsearch的格式要求。具体转换逻辑如下： - 从原始表中选择需要的数据。 - 然后，通过`CASE`语句判断`location`字段是否为空。 - 如果非空，则使用`map`函数构建一个新的`location`字段，其中`lat`对应原数组中的第二个元素（索引为1），`lon`对应第一个元素（索引为0）。 - 将转换后的数据插入到之前创建的映射表中。 ```sql insert overwrite table es_mapping.app_enterprise_business_tags_es1222 select a.id, a.pid, (case when a.location is null then null else map('lat', a.location[1], 'lon', a.location[0]) end) as location from (select id, pid, location, ... -- 其他字段省略 from dw.app_enterprise_es where dt=default.maxPart('dw', 'app_enterprise_es')) a left join (select pid, booth_type, booth_area, latest_journal_sd, lates -- 其他字段省略 from some_other_table) b on a.pid = b.pid; ``` #### 总结通过以上步骤，可以有效地解决Hive与Elasticsearch之间的数据格式不匹配问题，特别是在处理地理坐标数据时。这种方式不仅能够确保数据的准确性，还能提高数据处理的效率。此外，这种方法还可以扩展应用于其他类似的数据迁移场景中，为数据的跨系统传输提供了可靠的解决方案。

在 Hive 中，tblproperties 可以用于向表添加元数据信息。它允许用户向 Hive 表添加任意键值对，这些键值对可以用于描述表的特殊属性。例如，可以使用 tblproperties 为表添加作者、创建时间、版本号等信息。同时，可以通过 tblproperties 查询特定表的元数据信息。

阅读全文

hive中tblproperties作用

相关推荐

hive中定义的复杂数据类型导入到es中问题总结.doc

hive常用命令+日常

hive中tblproperties作用，并举例说明

hive语法TBLPROPERTIES

hivesql TBLPROPERTIES

hive tblproperties

hive中如何自定义tblproperties

hive中创建表加tblproperties什么意思

hive中create table as select建表，在哪加 TBLPROPERTIES (‘hive.mapreduce.job.mode’=‘nonstrict’)

hive 中update

hive中numFiles

TBLPROPERTIES

tblproperties

hive中load hdfscsv数据到hive表

hive中INSERT ALL

hive中怎么删除字段

hive中AES_V2

hive中load文件，语法：load data LOCAL INPATH "/home/es/data/aa2.txt" INTO TABLE test.guest TBLPROPERTIES ('skip.header.line.count'='1'); 这个语法哪里错了？

最新推荐

详解hbase与hive数据同步

Hive数据导入HBase的方法.docx

hive Hcatalog streaming API使用

我的第一个C#小程序之简单音乐播放器1731655933.html

MATLAB实现小波阈值去噪：Visushrink硬软算法对比

管理建模和仿真的文件

【交互特征的影响】：分类问题中的深入探讨，如何正确应用交互特征

c语言从链式队列 中获取头部元素并返回其状态的函数怎么写

易语言实现画板图像缩放功能教程

"互动学习：行动中的多样性与论文攻读经历"

c语言从链式队列中获取头部元素并返回其状态的函数怎么写