论文以国立高等机械和航空技术学院(Dipl国家穹顶-2016年5月25日法令）博士学院：系统科学与工程，数学，计算机科学（SISMI）研究领域：计算机科学与应用提交人：西里尔·庞夏托********************************************************模型库的设计与开发：在数据科学中的应用********************************************************博士生导师：Ladjel BELLATRECHE共同监督人：Mickael Baron2018年10月12日提交审查委员会陪审团报告员：Djamal BENSLIMANE，里昂第一Abdelkader HAMEURLAIN教授，保罗萨巴蒂尔大学，图卢兹3评审员：米里安·哈尔费尔德·法拉利阿尔维斯奥尔良大学教授Carlos Ordonez美国休斯顿大学副教授蒂埃里·波诺普瓦捷大学教授Samira SI-SAID CHERFI教授，CNAM，巴黎Ladjel BELLATRECHE教授，ISAE-ENSMA，普瓦捷Mickael Baron普瓦捷ISAE-ENSMA研究工程师我"现在是时候用服务的理想取代成功的理想了。"爱因斯坦iii谢谢你在首先，我要感谢我的论文导师Ladjel BELLATRECHE，他是接下来，我要感谢我的论文导师Mickael Baron，感谢他在我整个工作过程中的支持和许多技术建议，感谢他的可用性，感谢我还要感谢Carlos Ordonnez对我的工作感兴趣，他花了时间我还要感谢我的评审团成员：Djamal BENSLIMANE和Abdelkader HAMEURLAIN担任报告员，Mirian HALFELD FERRARI ALVES担任主席，以及我的评审员Samira SI-SAIDCHERFI和Thierry POINOT。感谢您的认可和非常令人鼓舞的评论我还要感谢实验室副主任Emmanuel Grolleau，感谢他我还要感谢Claudine RAULT，如果没有她，感谢Laurent GUITTET、Brice CHARDIN、Stéphane JEAN和Allel HADJALI指导我的第一步教学我还要感谢我还要感谢那些与我分享日常生活中各种意外事件的人— 已经离开的人：纪尧姆、拉赫塞内、托马斯、热罗、艾夫斯、塞尔玛、纳西玛、奥克巴、奥尔加、祖希尔和纳迪尔;— 那些仍然在那里的人：Anh Toan、Ibrahim、Abdallah、Jorge和Thanh Dat;— 旅行者：费萨尔、西蒙-皮埃尔和萨那。我感谢最后，感谢我的家人，感谢他们的支持，感谢他们在我缺乏乐观的时候给了我乐观iv"每个人都有责任回报世界，至少要和他从世界上得到的一样多。 "爱因斯坦v目录首字母缩略词和首字母缩略词表xi1一般介绍11.1动机和目标。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...41.2捐款。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...61.3论文。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...71.4出版物。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...9我 最新技术水平112数据存储技术的发展趋势132.1关系数据库（BDR）。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...142.2数据仓库。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...232.3对关系标准的。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...292.4结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...363数据库世界中的数学模型和时间序列393.1需要...3.2将时间序列存储在传统数据库决策和Nosql。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ...40483.3数学模型的。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...553.4数学模型的交换格式... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...583.5结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...63II我们的建议654存储方法中数学模型的概念建模和专用数据结构。674.1微分方程：定义和描述。 . . . . . . . . . . . . . . ...684.2数据结构及其不同的表示格式。... ... ... ... ... ... ...71vi4.3结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...885数学模型的开发895.1转换过程。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...895.2理论数据的生成。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...5.3理论和实验数据的比较（系列比较-方程式）。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...971035.4模型库通用功能体系结构的定义1065.5结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...108vii6原型和实验1116.1软件体系结构和实施细节6.2实验测试1186.3结论127III结论和展望1297第131章第一次见面7.1捐款1317.2前景133IV附件135求解B XML架构文件139C Java145源代码C.1FunctionKey145类的定义C.2数字处理算法的实现146C.3树到XML转换算法的Java实现155C.4XML-Flat160转换算法的Java实现C.5实现插入和提取过程参考书目183viii图表1.1科学的工作方法。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...61.2我们论文的章节顺序。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...82.1层次树示例2.2示例图（E/A）192.3数据仓库的体系结构2.4OLAP多维数据集示例 [BHS+98]272.5星型图[BFG+06]282.6片状示意图示例BHS+98]293.1函数log60的CD示例4.1表示NPI 4.5和4.6的示例4.2树结构和示例76的描述4.3非线性树示例4.4表示微分方程78的图（E/A）4.5公式4.3的XML表示4.6示意图 XML 从 微分方程...........................................................................................874.7binary-operator87标记的XML模式4.8XML模式对属性值的限制5.1对应于式4.3的时间序列5.2使用阶数为4 102的Runge-Kutta方法生成的值5.3以图形表示的时间序列示例1035.4比较算法图5.5时间序列管理的总体流程（比较/生成）1075.6模型管理器的通用原理图1076.1服务体系结构1126.2浏览器/显示窗口预览6.3在模型库中添加6.4准备比较请求的窗口概述1166.5时间序列选择器1166.6比较操作的进度窗口概览6.7比较结果的显示6.8示例11206.9示例21216.10 示例31226.11 等式1123的结果6.12 方程2124的结果6.13 公式3124的结果6.14 100个型号的测试结果125ix6.15 100个模型的执行时间x×图片列表2.1关系模型示例172.2表R212.3表S212.4笛卡尔积：R S212.5R和S213.1时间序列关系存储[DF15]484.1模型库中的关系模型（逻辑图）804.2方程4.3的微分方程表4.3公式4.3的Node_Content表4.4等式4.3的has_node表4.5公式4.3的初始值表4.6公式4.3的变量表4.7等式4.3的has_变量表4.8公式4.3的输入表5.1变量92的描述5.2InitialValue 92的描述5.3输入92对象的描述5.4对象节点92的描述5.5平面微分方程93的描述5.6基于树4.2b的公式表十一首字母缩略词和首字母缩略词表BD数据库BDR关系数据库CD内容词典CDF功能键ED数据仓库NPI反向波兰符号PMML预测节点标记语言DBMS数据库管理系统关系数据库的DBMS管理系统SGSC时间序列管理系统1EDEDEDEDED ED EDEDC第1章一般介绍数据存储和管理技术是这些研究者是：查尔斯·威廉·巴赫曼（Charles William Bachman，1973），他的Codasyl模型，埃德加·F. Codd（1981），因为他的关系模型，Jim Gray（1998），因为他在事务处理方面的工作，Michael Stonebraker（2014），因为他对现代数据存储系统的贡献，以及他在实现关系存储系统时对"一刀切"的传统假设的挑战。该技术自问世以来不断发展，以满足制造商和用户在存储、高效管理和服务质量方面的持续需求目前，根据所使用的数据库（BD）的类型，后者的市场覆盖三个重要部门：（1）事务型BD，如OTP（在线事务处理），（2）决策型BD，如OLAP（在线分析处理）和(3)实时决策BD，如RTAP（实时分析处理）。如果我们看看涉及OLAP类型应用程序的行业，我们会发现它目前是一个非常成功的市场，每年产生数十亿美元的收入数据仓库（ ）是该部门的核心，有助于管理 任何组织/公司代表其数据的最有价值的资产之一。D’après 已经为d的概念给出了几个定义。我们使用威廉·H的定义。因蒙，被认为是他在1992年描述了一个作为一个集合 面向主题的、集成的、非易失性的、历史化的数据，组织起来支持决策支持过程[ Inm02b ]。提供从数据源收集的数据的这种感知为决策者提供了它们的大量使用对其成熟做出了积极贡献。这种成熟2EDEDEDEDEDED（f）物理建模和（g）操作。它们产生了一个涉及五个主要参与者的不断增长的生态系统：（1）消费者，（2）专用解决方案和工具的生产者，（3）培训机构（大学、学校等）。满足劳动力市场需求，（4）科学研究中心，以及(5) ED的自由软件开发者。1. 他们为几家采用这项技术的公司的成功故事做出了巨大贡献。最初的重点领域是大型零售商（如美国2. 在提供涵盖仓库设计生命周期所有阶段的解决方案和工具方面做了大量工作的生产商为数众多我们以其存储、运营和扩展解决方案加拿大航空公司，家乐福），3. 对于培训，大量的硕士和博士课程已经建立了国家和国际教育机构，以满足就业市场对ED相关问题的需求（例如，硕士和博士课程Erasmus Mundus IT4BI）。4. 在科学研究方面，在国家和国际一级设立了关于在线和分析的我们可以举一个5. 最后，在开发用于设计存储解决方案的自由软件套件方面投入了大量精力在ETL阶段，我们可以提到Talend Open Studio和Pentaho工具该技术已经能够随着数据存储和管理技术的发展，数据科学的诞生带来了新的科学数据提供者和消费者，他们正在征服分析，以提高他们的与数据科学及其分析有关的会议和期刊最近已经开始。这方面的例子包括IEEE数据科学和高级分析国际这些数据来自多个领域：实验科学[SZ96]、医学（1. 2005年创建的数据仓库和在线分析2. 数据仓库和知识发现国际会议于1999年召开。3. 数据仓库和OLAP国际研讨会，成立于1998年。4. 控制3[LMP10、Fu11]、医疗监督[EA12]、财务（每周总销售额）、股票市场[LKL03]等。我们在LIAS实验室的存在，涵盖了计算机科学和自动化作为科学研究的学科，使我们能够密切观察我们的自动化同事在设计实验，这些实验产生大量的数据，通常对其进行分析以确定其相关的数学模型为了说明这一点，让我们考虑一个场景，在这个场景中，研究人员观察到施加在电动机端子上的电压的行为电机开始转动，转速取决于上述电压。研究人员必须用数学方法描述电压和转速之间的依赖关系随后，用不同的电压测试电机，并通过传感器测量转速的变化。以固定速率进行测量，生成一系列时间序列值，称为时间序列[JPT17、SDDM95、Nam15、Cas06]。L’étape suivante consiste à analyser ses 最后， 结果，它们最终以无序的方式以不同的格式存储在许多文件中。例如，模型有时嵌入在MATLAB、R或Python脚本文件 此外，它们可以存储在文本文件、电子表格、文字处理文件等上。因此，搜索特定的模板需要在不同的文件和目录之间进行冗长乏味的搜索。在与同事的讨论中，我们确定了一个愿望，即为手动科学数据的共同点是，它们通常由时间序列来表示，其相关性早在计算机发明之前就已经知道了为了了解它们的起源和用途，有必要进行一次历史性的迂回。事实上，邓宁和弗里德曼[DF15]举了马修·方丹·莫里上尉作为历史例子后者生活在19世纪。他是一名船长，当时... ...在结束了他的船长生涯后，莫里通过分析他所掌握的信息他把他的建议寄给了杰克逊船长，杰克逊船长是第一个尝试他的路线的人。后者能够节省17天的旅行，在一条平均持续55天的路线上，而且只在去的路上。当他回来的时候，他可能会得到因此，整个航行比平均时间短了一个5. MATLAB、Octave、R等。4BD像野火一样蔓延很快，许多船长都想从莫里的建议中获益后者为他们提供了一个标准的日志，其中定义了他们分析所需的所有这份报纸是基于"众包"（用户提供数据）的大规模数据收集（当时）的一个例子从某种意义上说，这许多工作都集中在不同代（传统的、决策的和NoSQL）的时间逻辑序列的存储和这些将在第3章中讨论在回顾这些工作时，我们发现它们只关注时间序列，而忽略了与之相关的通过询问自动化专家，我们发现他们希望解决方案既能存储级数，又能存储这一观察结果是本文的主要动机1.1动机和目标数据科学已经强调了在这种现象对应于许多工程科学书籍中描述的相似性理论L’importancede cette théorie repose sur le Franz Durst在他的书Fluid Mechanisms[Dur08]中引用了作者从几何学领域中的相似性考虑，我们知道对应角的相等或对应边的比率的相等是三角形、四边形等存在相似性的概念在研究人员和科学家进行的实验中广泛存在为了示例1.1如果我们用高尔夫球挥杆，它会如果我们能用同样的球做同样的动作，把球放在同样的起始位置，那么球将有同样的轨迹，并在同样的位置落回草地上. . n’ont 如果我们修改球，例如通过改变它的大小或质量，轨迹将略有改变，但将保持与第一个球的轨迹相似，并且支配球的运动的定律允许非常精确地在自动化中，产生级数规则性的上述定律5通过微分方程感知，自动化人员在分析实验期间获得的实验结果（由一个或多个传感器或测量装置测量的一系列值）之后获得因此，所得到的级数可以用它们的数学模型来表示。L’avantage d’un modèle mathématique est la mise en让我们考虑TyJ+y=Ku（1.1）在这个方程中：（i）y是方程的未知函数(iii)T和K分别是称为时间常数和增益的实数参数（T在下面的示例中，我们将仅关注参数T所述参数T（以某种方式）指示系统对外部刺激的反应时间（例如，烤箱一旦打开将花费多长时间达到期望的温度，或者电机将花费多长时间来此参数可以从数值数据计算，但公式允许您将其直接读取到公式中。由于该模型，可以搜索具有参数T的方程，该参数T在两个已知值（a T b）之间此外，数学模型提供的抽象层次图1.1总结了实验科学中的一种一般工作方法当一个科学家试图研究一个物理系统时不同的实验使得有可能获得数据，对于我们的研究案例，这些数据获取并存储这些序列L’analyse,qui peut être un processus itératif, fait appel à divers outils d’analyse, 这使得有可能建立一个模型，在我们的例子中是一个微分方程，它描述了数据，并提供了对所研究系统的物理特性的更好理解（例如，例1.1中控制球运动的微分目前，有许多先进的技术提供了用于存储时间序列例如TokuDB [Nam15]或Vertica。
我的内容管理
展开
