stored as orc是什么意思

时间: 2024-04-21 19:27:33 浏览: 345

hive从入门到放弃(六)——常用文件存储格式.doc

Hive 文件存储格式详解 Hive 文件存储格式是 Hive 中非常重要的概念，它直接影响着数据的存储和查询效率。在 Hive 中，常用的文件存储格式有 TextFile、ORC 和 Parquet 三种。下面我们将详细介绍这三种存储格式的特点和应用场景。一、TextFile TextFile 是 Hive 中默认的文件存储格式，它是行式存储的。 TextFile 的特点是： * 建表时无需指定，一般默认这种格式。 * 以这种格式存储的文件，可以直接在 HDFS 上 cat 查看数据。 * 可以用任意分隔符对列分割，建表时需要指定分隔符。 * 不会对文件进行压缩，因此加载数据的时候会比较快，因为不需要解压缩；但也因此更占用存储空间。二、ORCFile ORCFile 是列式存储的。ORCFile 的特点是： * 建表时需指定 STORED AS ORC，文件存储方式为二进制文件。 * 支持 None、Zlib、Snappy 压缩，默认支持 Zlib 压缩。 * Zlib 压缩率比 Snappy 高，Snappy 效率比 Zlib 高。 * 不支持文件分割，因此压缩后的文件在执行 Map 操作时只会被一个任务所读取。 * ORC 格式包括 stripe、index data、rows data、stripe footer、file footer 和 postscript 等部分。 * 在 Hive 中，事务表需要指定为 ORC 存储格式。三、Parquet Parquet 也是列式存储的。Parquet 的特点是： * 建表时需指定 STORED AS PARQUET，文件存储方式为二进制文件。 * 可以使用的压缩方式有 UNCOMPRESSED、SNAPPY、GZP 和 LZO，默认值为 UNCOMPRESSED。 * 行组（Row Group）是 Parquet 中的基本存储单元，每一个行组包含一定的行数。 * 列块（Column Chunk）是 Parquet 中的存储单元，在一个行组中每一列保存在一个列块中。四、三者对比通过对比，我们可以看到： * 压缩比：ORC > Parquet > TextFile * 在只有 Fetch 的情况下，由于 TextFile 不需要解压缩，因此效率较高。 * 对于需要 MapReduce 操作的查询，效率：ORC >= Parquet > TextFile 在实际生产中，选择哪种存储格式需要基于自身业务进行考量。如果数据量并不大，使用 ORC 存储 snappy 压缩的效率还是非常高的；对于需要事务的场景，还是用 ORC。但是，如果数据量很大，使用 Parquet 存储 lzo 压缩的方式可以避免由于读取不可分割的大文件引发的数据倾斜。 Hive 文件存储格式的选择需要根据实际情况进行考虑，选择合适的存储格式可以提高数据的存储和查询效率。

"stored as orc" 表示数据以 ORC 格式存储。ORC（Optimized Row Columnar）是一种优化的列存储文件格式，被广泛应用于大数据处理和分析领域。与传统的行存储相比，ORC 文件格式具有更高的压缩率和读取效率，能够提供更好的查询性能和存储利用率。因此，将数据存储为 ORC 格式可以提高数据处理的效率和性能。

阅读全文

stored as orc是什么意思

相关推荐

pyspark知识1

高级Java人才培训专家-第六章：数仓主题指标层建设

STORED AS ORC

dataworks肿 STORED AS ALIORC是什么意思

以下建表语句正确的有（ ） 2分 CREATE TABLE table_b AS SELECT * FROM table_a; CREATE TABLE table_b STORED as ORC_TRANSACTION AS SELECT * FROM table_a; CREATE TABLE table_b STORED as TEXTFILE AS SELECT * FROM table_a; CREATE TABLE table_b STORED as HOLODESK AS SELECT * FROM table_a;

STORED AS orc TBLPROPERTIES('orc.compress'='ZLIB','orc.create.index'='true');解释一下这段代码

)clustered by (EMPNO) into 3 buckets row format delimited fields terminated by ',' stored as orc tblproperties('transactional' = 'true');

orc表建表语句，是什么样的

怎么把txt改成orc

hive orc 新增字段操作

orc加载需要通过text转换吗

hive能直接存orc格式吗

textfile格式更改为orc格式

HQL 设置表存储方式为orc

最新推荐

hive Hcatalog streaming API使用

精细金属掩模板(FMM)行业研究报告 显示技术核心部件FMM材料产业分析与市场应用

WordPress作为新闻管理面板的实现指南

管理建模和仿真的文件

函数与模块化编程宝典：J750编程高效之路

用C语言求有4个圆塔，圆心分别为（2，2)，(2，-2)，(-2，2)，(-2，-2)圆半径为1， 这4个塔的高度为10m 塔以外无建筑物接输入任意点的坐标 求该点的建筑高度（塔外的高度为零)的程序

NPC_Generator：使用Ruby打造的游戏角色生成器

"互动学习：行动中的多样性与论文攻读经历"

流程控制与循环结构详解：J750编程逻辑构建指南

python实现生成一个窗口，其窗口题目为“二冷配水模型模型”，窗口中包含八个输入栏，三个按钮，每个按钮点击后会产生一个不同的页面

以下建表语句正确的有（） 2分 CREATE TABLE table_b AS SELECT * FROM table_a; CREATE TABLE table_b STORED as ORC_TRANSACTION AS SELECT * FROM table_a; CREATE TABLE table_b STORED as TEXTFILE AS SELECT * FROM table_a; CREATE TABLE table_b STORED as HOLODESK AS SELECT * FROM table_a;

精细金属掩模板(FMM)行业研究报告显示技术核心部件FMM材料产业分析与市场应用

用C语言求有4个圆塔，圆心分别为（2，2)，(2，-2)，(-2，2)，(-2，-2)圆半径为1，这4个塔的高度为10m 塔以外无建筑物接输入任意点的坐标求该点的建筑高度（塔外的高度为零)的程序