COPY_ON_WRITE和MERGE_ON_READ
时间: 2023-08-08 08:04:48 浏览: 167
Copy-on-write, 写时复制
COPY_ON_WRITE和MERGE_ON_READ是两种不同的数据存储策略,用于实现MOR(Merge on Read)的方式。
COPY_ON_WRITE是一种写时复制的策略,当进行数据更新时,会创建一个新的数据文件来存储更新后的数据,而原始的数据文件保持不变。这样做的好处是可以保留历史版本的数据,但同时也会占用更多的存储空间。
MERGE_ON_READ是一种在读取时合并的策略,当进行数据查询时,会根据需要将增量数据文件与基础数据文件进行合并,生成一个包含最新数据的视图。这样做的好处是可以减少存储空间的占用,但同时也会增加查询时的计算开销。
在实现MOR时,需要考虑增量数据文件的格式是否与基础数据文件保持一致,以及是否需要将增量数据文件拆分为插入和删除两部分。此外,还需要设计delete文件的格式规范,以兼顾数据摄取的吞吐量和查询效率。在实现MOR后,还需要设计minor compaction和major compaction的方式,以优化数据的存储和查询性能。
总之,COPY_ON_WRITE和MERGE_ON_READ是两种不同的数据存储策略,用于实现MOR。具体的实现方式需要根据具体的需求和场景进行设计。
#### 引用[.reference_title]
- *1* *2* *3* [Apache Iceberg 关于 Merge-on-Read(Row-Level Delete) 总结](https://blog.csdn.net/wuleidaren/article/details/114037442)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文