多维海量数据仓库的NoSQL建模研究

多维海量数据仓库的NoSQL建模穆罕默德·埃尔·马尔基引用此版本：穆罕默德·埃尔·马尔基。海量多维数据仓库的NoSQL建模建模和仿真。图卢兹米拉伊大学-图卢兹二世，2016年。法语。NNT：2016年至20139年。电话：02057102HAL ID：电话：02057102https://theses.hal.science/tel-02057102提交日期：2019年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire论文为了图卢兹大学博士学位《你的夜晚》，J·EANJ·AURES著提交和支持日期：2016年12月8日由：MOHAMMED ELMALKI多维海量数据仓库的NoSQL建模博士学校：数学与计算机电信（MITT）研究单位：图卢兹计算机科学研究所（UMR 5505）陪审团奥马尔·B·奥赛德里昂第二报告员阿黛尔·B·埃拉特雷切ENSMAA-Poitiers教授检查员MAX CHEVALIER图卢兹UPS联合主任在NNEL'AURENT教授，LIRM-蒙彼利埃审查员FRancois PInetIRESTEA-Clermont-Ferrand研究总监报告员你的生命图卢兹UT2主任R·奥南·图尔尼尔图卢兹第一大学副教授框架GILLES ZURFLUH图卢兹第一卡皮托尔检查员摘要决策支持系统在公司和大型组织中占据着突出的位置，以允许专门用于决策的分析。随着大数据的出现，分析数据的数量正在达到临界大小，这对传统的数据仓库方法提出了挑战，而传统的数据仓库方法目前主要基于R-OLAP数据库。随着这些新方法为构建能够支持大量数据的多维数据仓库提供了一条有吸引力的途径。对R-OLAP方法的挑战在本文中，我们提出了使用NoSQL模型实现多维数据仓库的过程。我们在两个面向列的NoSQL模型（CFL、CNL、CHL、CSL）和面向文档的NoSQL模型（DFL、DNL、DHL、DSL）中定义了四个流程。这些过程中的每一个都有利于特定的治疗。此外，NoSQL上下文还使得通常在ROLAP（网格）上下文中实现的预聚合的有效计算更加复杂。我们扩展了我们的实施流程，由于很难选择一个单一的NoSQL实现来有效地支持所有适用的处理，我们提出了两个转换过程，第一个是模型内过程，即从同一NoSQL逻辑模型的一个实现到另一个实现的转换规则，而第二过程定义用于将一个逻辑模型的实现转换为另一个逻辑模型的实现的规则。为 了 验 证 我 们 的 方 法 ， 我 们 开 发 了 一 个 名 为 SSB+ （ 来 自 Star SchemaBenchmark）的商业智能测试平台，它我们已经进行了几次测试来验证我们的方法，并证明NoSQL系统是ROLAP仓库的可靠替代方案。此外，在这部分实验中，我们引入了这些网格允许显著改善对决策查询的响应时间。抽象决策支持系统在公司和大型组织中占据了很大的空间，以实现专门用于决策的分析。随着大数据的出现，分析的数据量达到了临界大小，对传统的数据仓库方法提出了挑战，而目前的解决方案主要基于R-OLAP数据库。随着谷歌、Facebook、Twitter、亚马逊等主要网络平台的出现......许多处理大数据的解决方案正在开发中，并被称为"不仅仅是SQL"。这些新方法是构建能够处理大量数据的多功能数据仓库的一种有趣尝试。对R-OLAP方法的质疑需要重新审视对多个数据仓库进行建模的原则。在本文中，我们提出了使用NoSQL模型实现多个数据仓库的过程。我们在两个模型中定义了四个流程：面向NoSQL列模型（CFL、CNL、CHL、CSL）和面向文档模型（DFL、DNL、DHL、DSL）。这些过程中的每一个都提供了特定的治疗。此外，NoSQL上下文增加了计算通常在ROLAP上下文（网格）中设置的有效预聚合的复杂性。我们已经扩展了我们的实现过程，以考虑在两个特定模型中的网格构造。由于很难选择一个单一的NoSQL实现来有效地支持所有适用的处理，因此我们提出了两个翻译过程。而第一个涉及模型内过程，即，将规则从一个实现传递到同一NoSQL逻辑模型中的另一个实现，第二个进程定义从一个逻辑模型实现到另一个逻辑模型上的另一个实现的转换规则。为了验证我们的方法，我们开发了一个名为SSB+的决策基准测试（源自StarSchema Benchmark），它支持NoSQL面向列和面向文档的模型。我们进行了几次实验来验证我们的方法，并证明NoSQL系统是ROLAP存储的有效替代方案。此外，在这部分实验中，我们介绍了两种利用NoSQL模型灵活性的网格，即嵌套网格和详细网格。这些网格显著缩短了决策支持查询的响应时间。谢谢你感谢所有陪伴我直到这份手稿最后几句话的人。首先，我想回答我的问题，我的一些同事经常提出这样的问题。那些说论文导师代表了一些人的父亲的人......我不得不等到我的论文开始，或者更确切地说，有奥利维尔作为导师来理解这一点。迟做总比不做好，不是吗？这我要感谢奥利维尔对我的信任，他同意监督我的论文工作，感谢他为我奉献的所有时间。我想告诉他，我非常感谢他不断努力确保我们有最好的工作条件。我将继续着迷于他的能力，积极，鼓励，并总是找到正确的条件，邀请我们坚持下去，尽管有时缺乏结果。我还想说的是，我对他倾听和理解的人性品质是多么与此同时，马克斯和罗南在整个论文过程中花了我几个小时的时间进行讨论。我还要感谢他们的可用性、建议，尤其是他们的建设性批评，这使我能够不断巩固我的想法和改进我的研究。没有他们的贡献，这项工作就不会得到我希望它得到的回应。我感谢他们为我提供了良好的氛围Arlind，我想对你说声谢谢，感谢你在这些年的论文中给我们带来了许多美好的时刻。当我向你表达这些小小的感谢时，我的情绪激动不已，这些感谢并不重要，不足以描述你将发挥的决定性作用。我想对你说声谢谢，因为和你一起工作让我成长了。我还要感谢凯捷的Cédric Cormont，他为我提供了他在大数据领域的所有知识和经验。我感谢他总是让我参加培训小组和演讲，他认为这对我的工作进展很有用。我还要感谢科学部门负责人Lydwine grosscolzy，感谢她为我提供的所有支持，感谢她为我融入科学部门以及与负责大数据项目的架构师合作提供的便利。我要感谢JoséVincent和Laurent Lapasset，他们将我感谢评审团的所有成员同意参与对这项工作的评估。感谢Omar Boussaid先生和Francois Pinet先生报告我的论文，并感谢他们给我的鼓励和建设性的评论。我还要感谢Ladjel Bellatreche先生、Anne Laurent女士和Gilles Zurfluh先生，他们我要感谢GIS团队和IRIT实验室的管理层在我完成论文期间对我的热烈欢迎。特别感谢GIS团队前负责人Josiane Mothe和Florence Sèdes女士提供的宝贵建议。还要感谢所有的博士生同事和朋友，我与他们分享了愉快的时刻，特别是在咖啡休息时间。特别感谢办公室的朋友Hamid、Lamjed和Imen，很高兴与您分享办公室。我不会忘记以前的人：比雷尔、拉菲克、伊斯梅尔、劳尔和阿里，我与他们分享了非常美好的回忆。我还想到了阿梅尼、阿明、梅里亚姆和加达，他们给了我很大的帮助，还有伊门·马内尔、托马斯、吉娅、巴蒂斯特，更不用说刚刚到来的哈姆迪和保罗了。J’associe à ces mes chers amis Jaouad et Adil avec qui j’ai partagé les moments les plusagréables et les plus difficiles depuis la première année à感谢所有来自阿维尼翁的朋友我衷心感谢Hakima Ait Al Cadi，她支持我，培养了我前进和成功的愿望，她通过她的话、她的建议、她的陪伴和她的可用性，能够指导我，总是做出正确的决定，走上最好的道路。我非常谦卑地感谢她的存在。我感谢当然，非常感谢多年来在我的职业生涯中陪伴我的Lhouari先生。我感谢他使我们能够在一起进行的所有交流和讨论。我感谢他最后，我感谢我亲爱的家人我最后但并非最不重要的感谢是我的父母：感谢我的母亲，她为我们的幸福奉献了自己的一生，感谢我的父亲，感谢他的方向感、坚定的信任和无尽的支持。爸爸，妈妈，谢谢你，所有的功劳都要归功于你。我还要感谢我的两个姐妹法蒂玛和肯扎，以及我的两个兄弟沙菲克和纳比尔，特别是纳比尔，他给了我很大的支持。我的想法去我的表弟哈立德和他的妻子纳迪亚"谁我不会忘记他的优秀薄荷茶"，我感谢他们所有的交流和建议，感动了我这么多。最后，感谢一个如此耐心和支持的人：我的妻子，对她，言语不足以表达我所有的感激之情。她知道如何在整个论文过程中支持我，但最重要的是即使我知道我已经忘记了很多人，我也要结束这个括号，一般摘要第一章：背景和工作11.1引言11.2决策支持系统1.2.1数据仓库和存储21.2.2抽象级别1.2.2.1概念级别31.2.2.2逻辑级别41.3L’OLAP et1.3.1分布式体系结构51.3.2NoSQL 6模型1.3.3论文6的问题1.4论文的组织72.第二章：最新技术水平2.1导言92.2采用HDFS 10系统2.2.1Hadoop 10环境2.2.1.1HDFS 10演示文稿2.2.1.2MapReduce范例102.2.1.3使用Hadoop 11执行2.2.2HADOOP 11下的数据仓库2.3使用NoSQL 13系统2.3.1NoSQL 13模型2.3.1.1面向信息聚合2.3.1.2面向图形的模型182.3.1.3合成182.3.2NoSQL 18中的数据仓库2.3.2.1间接翻译流程202.3.2.2直接翻译流程212.3.3报告242.4工业解决方案概述242.4.1关键价值解决方案252.4.1.1伏地魔252.4.1.2Riak 252.4.1.3Redis 252.4.1.4梅卡赫德25号2.4.1.5合成262.4.2面向色谱柱的解决方案262.4.2.1卡珊德拉262.4.2.2HBASE 272.4.2.3超能力272.4.2.4合成272.4.3面向文档的解决方案282.4.3.1MongoDB 282.4.3.2CouchDB 282.4.3.3SimpleDB 292.4.3.4Terrastore 292.4.3.5合成292.4.4面向图形的解决方案302.4.5可扩展的关系系统302.4.5.1MySQL集群302.4.5.2电压数据库312.4.5.3NuoDB 312.4.6工业解决方案概述：312.5资产负债表323.第三章：多维建模不仅仅是SQL 333.1导言333.2多维概念建模343.3非唯一逻辑建模-SQL363.3.1面向文档的多维建模363.3.1.1面向文档的NoSQL模型363.3.1.2面向文档的平面翻译流程373.3.1.3面向文档的嵌套翻译流程393.3.1.4面向文档的混合翻译过程413.3.1.5面向文档的分解翻译过程433.3.2面向多维建模的列463.3.2.1面向列的NoSQL模型463.3.2.2面向47列的平面转换过程3.3.2.3列定向嵌套转换过程493.3.2.4面向列的混合翻译过程503.3.2.552列定向中的分解转换过程3.4使用Cube olap 55进行3.4.1OLAP多维数据集的定义3.4.2面向文档的翻译流程593.4.3面向列的翻译过程603.5资产负债表604.第四章模型内和模型间转换过程644.1引言644.2模型内转换流程654.2.1面向文档的模型内部转换654.2.2面向列的模型内转换704.3模型间转换过程734.3.1面向文档和列的跨模型转换734.3.2OLAP 77多维数据集的模型间转换4.479号放款记录5.第五章实验环境5.1导言805.2决策测试台全景5.3SSB 82测试台5.4SSB+ 84测试台5.5改进的5.6数据的分布885.7请求集885.8使用DBGenk 905.9DBLoad：数据加载工具905.10实验91。5.11报告956.第六章：实验和验证966.1引言966.2实验方案966.3面向文档的数据仓库的实例化986.3.1加载时间和存储空间996.3.2更新数据1006.3.2.1MongoDB 101中的更新示例6.3.3问题1016.3.3.1MongoDB 103中的聚合管道示例6.3.4网格的计算1046.3.4.1经典长方体的计算1056.3.4.2扩展长方体的计算1066.3.5模型内转换1126.3.6讨论1136.4关系模型与文档导向模型的比较1146.4.1面向文档的模型：与关系模型的比较1156.4.2骨料网施工6.4.3讨论1186.5面向列的数据仓库的实例化1186.5.1上传数据1196.5.2骨料网格的计算6.5.3模型内转换1216.5.4讨论1226.6122号放款记录第七章结论1247.1总体结论7.2前景124125图总结图1决策支持系统的经典体系结构1图2星型模式示例4图3推文的多维R-OLAP数据仓库示例5图4新决策支持系统的体系结构11图5 [D'Orazio和Bimonte，2010] 12图6 [Yan et al 2015]方法中的键编码维度示例13图7键-值导向模型的原理15图图8面向文档的模型原理16图9面向列的模型原理17图10面向图形的模型原理17图11集成NoNo.的新决策支持系统架构SQL 19图12将多维数据仓库从概念层转换到逻辑层的过程图13Hive体系结构图14根据[Castell]的面向图形的逻辑表示@t and Laurent 2014] 23图15设计过程34图16星型概念图示例36图17平面翻译文档示例39图18嵌入式翻译文档示例41图19混合翻译的文档示例43图20分解翻译的文档示例46图21平面翻译的行示例48图22嵌套翻译的行示例@ée 50图23混合转换的行示例52图24分解转换的文档示例55图25使用立方体网格的OLAP立方体示例（或预聚合）58图26 OLAP多维数据集的部分实现示例58图27 OLAP多维数据集的部分实现示例59图28概念-逻辑转换过程68 4图29面向文档的逻辑转换过程65图30模型内到面向文档的转换示例，从嵌套模型到混合模型70图31面向列的逻辑转换过程71图32模式内转换示例面向柱的模型，从混合模型到平面模型73图33平面实现中从面向文档到面向列的模型间转换示例75图34从混合实现到嵌套实现中从面向列到面向文档的模型间转换示例77图35 NoSQL中SSB的使用过程84图36 SSB的概念星型模型84图37使用SSB+测试cancer加载数据库的方案85图38标准化数据生成的数据模式86图39分布式数据生成88图40已使用的存储空间93图41按配置划分的生成时间94图42按配置划分的加载时间图43集群体系结构97图45每个实施的平均执行时间102图46集合体网格105图47具有计算时间（秒）和大小（记录/文档）的聚合网格。维度名称缩写为（D：日期，P：零件，S：供应商，C：Customer）106图48通过立方体网格的OLAP立方体示例（或预聚合）107图49传统和嵌套长方体的执行时间比较111图50长方体的响应时间比较经典和详细的boids 112图51使用SF1的面向列的模型内转换时间113图52文档化模型之间每个位置和每个比例指示器的存储空间s和关系模型116图53每个模型的加载时间116图54每个长方体的计算时间和行数（对应于每个维度名称的字母：C =客户，S =供应商，D =日期，P =零件/产品）120图55面向列的模型内转换时间（sf = 1）121表的摘要表1 NoSQL模型的比较18表2将概念模式直接转换为NoSQL的工作的比较24表3NoSQL键-值系统的比较26表4面向列的NoSQL系统的比较28表5面向文档的NoSQL系统的比较29表6：用于将多维概念模型转换为面向文档和面向列的NoSQL逻辑模型的规则的综合。62表7面向文档的模型内转换规则汇总66表8面向列的模型内转换规则汇总71表9转换规则汇总跨模型转换74表10 OLAP多维数据集跨模型转换规则摘要78表11表87表12数据集大小指标的影响SSB行数的比例88表13请求过滤器89表14按配置列出的磁盘内存92表15按配置列出的执行时间93表16加载时间和空间每个实现的内存ACE 100表18每个请求和每个实现的执行时间103表19每个长方体的平均执行时间106表20执行时间每个长方体按尺寸使用的@tion和内存109表21按型号划分的运行时间117表22三维长方体的运行时间118到23每个植入物的数据加载时间119表24每个长方体和模型的运行时间1211第一章：C背景与作品1.1一、引言决策支持系统在企业和大型组织中发挥着重要作用，可为决策提供专门的分析[Kimball和Ross2011]。这些系统通常由三层组成[Teste 2009] [Bimonte和Pinet 2012]，如图1所示。-第一层对应于从大多数情况下，这些数据源来自组织的生产应用程序-第二层由存储空间组成，-最后，第三层专用于该数据的恢复（报告）和分析。可以使用不同的查询和可视化工具。决策者决策者图1决策随着信息技术决策系统的作用分析工具的使用数据库数据存储区分析工具的使用数据库数据存储区数据库数据的存储档案数据库来源从数据爆炸性的准备工作2定义：数据仓库是集成的、随时间变化的、非易失性数据的集合，用于支持决策过程。数字化的比例和速度与过去不同。这种被称为大数据的新环境正在挑战决策支持系统的传统方法[Stonebraker et al. 2007] [Abadi et al. 2016]。当今可用的海量数据L’objet d’étude de cette thèse concerne la modélisation des entrepôts de données avecdes systèmes 这些系统目前正在开发中，以处理数据管理系统必须处理的大容量数据。我们研究了这些新系统的决策数据建模和转换问题[Teste 2000]。1.2支持决策的系统是什么通常，决策支持系统由存储的数据组成。传统架构基于两类-它构成了有利于数据的收集和历史化管理（保存所收集数据的演变）的第一级存储-数据存储是用于分析目的的第二层存储。通常，数据存储专用于某个业务领域或某个分析类别。使用多维建模（Kimball和Ross 2011）组织数据，以有效支持在线分析处理1.2.1 数据仓库和存储数据仓库的概念最早由Bill Inmon [Inmon 1995] [Inmon 2005]提出。它是一个综合数据库，包含用于决策的非易失性历史信息。数据仓库中的信息-集成：以一致的方式集中和标准化有关业务和服务的各种数据随时间变化（或历史化）。数据仓库中的信息由时间段标识。这些数据的演变可以随着时间的推移而保留。-不挥发。稳定性状态是强制性的，以允许所做决定的可追溯性。存储在仓库中的数据通常不会被修改或删除。数据仓库中的数据数据存储是数据仓库的一个子集3和定义。数据存储是仓库的面向主题的提取，根据适合于分析和决策查询工具的（多维）模型进行组织。1.2.2 抽象的层次设计决策系统需要一个多维数据建模阶段。根据三个抽象级别提出了几种方法概念性。这种抽象级别合乎逻辑。此抽象级别-物理学此抽象级别我们详细介绍了我们的论文工作所关注的概念和逻辑抽象的两个层次1.2.2.1概念层次定义了各种概念来表示多维数据。分析主题（称为事实）由一组指标（称为指标）组成。这些指标的值可以在分析轴（称为维度）上观察到。这些维由不同级别的详细信息组成，这些详细信息本身组织在层次结构中;例如，我们可以通过金额度量来分析销售这些不同的概念使得设计多维方案成为可能，称为星座。因此，维度可以在事实之间共享。一个特殊的情况是将星座简化为一个单一的事实，这被称为星型图[Kimball和Ross 2011]。图2显示了使用我们团队[Ravat et al. 2007] [Ravat et al. 2009]开发的图形形式的星形方案示例。4图2星型1.2.2.2逻辑级别已经提出了几种逻辑模型来将模式转换为星座。-这是迄今为止最常用的方法。此模型将每个事实转换为一个名为事实表的表。每个维度都转换为一个称为维度表的表。在事实表中，我们可以找到表示活动度量的属性，以及启用与每个维度表的关系的外键属性。尺寸表由参数和主键组成（可以规范化尺寸表，从而形成薄片模式）。-超立方体中的每一条边都-聚合数据以多维形式存储，而详细数据则以关系结构存储。示例。下面是一个基于最著名的R-OLAP方法的示例。在这个例子中，我们观察到根据四个维度（时间、主题、位置和用户）描述的推文事实。推文表包含度量值和用于引用维度表的外键。5维度属性的数据通过Id- UID-U Time-C维度用户AF2015352014年3月25日AF2015342016年1月25日语言FR安时间Z名称-U巴黎大卫伦敦 保罗AF201536年2 0 1 6 年3月3日马德里阿诺德通过日日维度时间03/25/201603/23/201603/22/2016月份名称年份03/20162016年3月03/20162016年3月03/20162016年3月通过主题主题类别维度足球运动主题IDFUser.id-UTime.DaySubject.Topic位置转推-C篮球运动1AF20153403/25/2016足球伦敦15选举政治2AF20153503/25/2016选举巴黎22测量抢劫暴力3AF20153403/23/2016选举伦敦24事实上4AF20153403/23/2016篮球罗马12城市国家波普内容区域5AF20153403/22/2016抢劫伦敦11伦敦英格兰54M欧洲E-O6AF20153503/22/2016选举罗马10巴黎法国65M欧洲E-O7AF201536年03/22/2016抢劫伦敦5罗马意大利60M欧洲E-O数据来自FA它是TWEET通过城市图3关于tweet的多维R-OLAP数据仓库示例1.3L’OLAP如今，数据量的增长正达到临界点。这些海量数据正在挑战传统的数据仓库方法。事实上，当前用于构建数据仓库的解决方案基本上基于这些关系数据库管理系统（DBMS）[Codd 1970]。事实证明，这些方法很1.3.1 分布式体系结构随着大型网络平台（如Google、Facebook、Twitter、Amazon）的兴起，近年来开发了基于分散式方法的大数据管理解决方案，允许管理和存储海量数据。这种分散式方法基于可扩展性原则，即根据收集的数据量逐步和持续地调整存储和处理。在功能上，此解决方案可转化为：-存储分布：数据分布在一组称为节点的计算机上，所有节点组成一个集群。分发还必须确保服务的持续可用性机制。- 分布处理：在所有机器上分布处理，因此，基于这种存储空间可扩展性原则构建大规模数据仓库是可能的[Cuzzocreaet al. 2013] [Bellatreche et al. 2015]。自2000年代以来，存储成本的下降（每GB不到1欧元）使其成为一种能够以更低的成本吸收大量数据的解决方案。这种类型的分布式体系结构最近见证了大规模分布式文件管理系统（最著名的可能是Hadoop [Anderson et al.2010]）和大规模并行化处理的新技术（Map/Reduce [Dewitt and Stonebraker 2008]）的发展。6在这种大规模分销的背景下，近年来出现了不同的存储系统。这些系统被称为非纯SQL或NoSQL系统，它们放松了关系方法的基础，1.3.2 NoSQL模型NoSQL模型是采用能够处理大量数据的分布式体系结构的新型存储引擎。它们为多维数据存储提供了传统R-OLAP方法的新替代方案。NoSQL系统可以分为四类，对应于不同的建模范例[Morfonios等人，2001年]。2007年a）。键-值模型[Dey et al. 2013]包括使用用于标识数据的键和值以高度非结构化的方式对数据进行建模。该值的基础结构不受系统管理;它们由客户端应用程序负责其他三个模型引入了互补的元素，以更好地在数据管理系统级别构建价值，并允许建立索引。面向文档的模型[Chodorow 2013]基于水平结构化，通过嵌套数据（称为文档）。以正交方式，面向列的模型[Cattell2011] [Moniruzzaman和Hossain 2013]通过将列分组到列族中来垂直构建数据。最后，面向图的模型[Holzschuher和Peinl 2013]专门用于将数据结构化为节点和关系，形成一个图。这些系统的共同特征是原理。这一原则包括不再为同一结构中的数据集提供通用模式[Scherzinger et al. 2013] [Störl et al. 2015]。每个数据都有自己的模式，独立于其他数据。因此，这些系统不再或几乎不保证对数据结构的完整性约束的概念1.3.3 论文的问题这些新方法为构建能够支持大量数据的多维数据仓库提供了一条有吸引力的途径[Stonebraker et al. 2007] [Stonebraker 2012]。然而，对R-OLAP方法的挑战需要重新审视多维数据仓库建模的原则。1. 多维模式的NoSQL实现过程为了能够从NoSQL系统中获益，有必要定义一个使用NoSQL模型实现多维数据仓库的过程。这些系统需要新的规则来有意义地将事实、维度和层次结构转换为NoSQL模型特别是，不断增长的数据分布要求重新审视在数据仓库的集中化环境中开发的翻译规则。