hive的数据压缩格式
时间: 2023-07-09 22:31:26 浏览: 144
hive支持json格式的数据.pdf
Hive支持多种数据压缩格式,包括:
1. Snappy:一种快速压缩/解压缩库,适用于大多数数据类型。
2. Gzip:一种常见的无损压缩格式,适用于文本文件。
3. Bzip2:一种高度压缩的无损压缩格式,适用于文本文件。
4. Lzo:一种高性能压缩格式,适用于大型数据文件。
5. LZ4:一种快速压缩/解压缩库,适用于大多数数据类型。
您可以在创建表或加载数据时指定压缩格式。例如:
创建表时指定压缩格式:
```
CREATE TABLE my_table (
column1 string,
column2 int
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION '/my/location'
TBLPROPERTIES (
'compression.type'='SNAPPY'
);
```
加载数据时指定压缩格式:
```
LOAD DATA INPATH '/my/data' OVERWRITE INTO TABLE my_table
TBLPROPERTIES ('compression.type'='GZIP');
```
阅读全文