Atlas在ElasticSearch和HBase中存储的都是什么?
时间: 2024-04-26 13:20:10 浏览: 264
Apache Atlas 是一款开源的数据治理工具,它可以帮助用户收集、管理和分析数据资产,以实现数据的一致性、可追溯性和合规性。在 ElasticSearch 和 HBase 中,Atlas 存储的都是元数据信息。
在 ElasticSearch 中,Atlas 使用 ElasticSearch 的 Index 和 Type 存储元数据。具体来说,它使用一个名为 ATLAS 的索引来存储所有的 Atlas 实体(Entity)和分类(Classification)信息,另外还使用一个名为 ATLAS_AUDIT 的索引来存储所有的操作日志。在 ATLAS 索引中,每个实体和分类都对应一个文档,其中包含了该实体或分类的所有属性和关系信息。
在 HBase 中,Atlas 使用 HBase 的表存储元数据。具体来说,它使用一个名为 ATLAS_ENTITY 的表来存储所有的 Atlas 实体信息,另外还使用一个名为 ATLAS_HOOK 的表来存储所有的钩子(Hook)信息。在 ATLAS_ENTITY 表中,每个实体都对应一个行键,其中包含了该实体的所有属性和关系信息。在 ATLAS_HOOK 表中,每个钩子都对应一个行键,其中包含了该钩子的所有属性和事件信息。
总的来说,Atlas 在 ElasticSearch 和 HBase 中存储的都是元数据信息,这些信息可以用于描述数据资产的属性、关系、分类、血缘等,从而实现数据治理的目标。
阅读全文