https://theses.hal.science/tel-00762641Mohamed Amin Sakka0HAL编号：tel-007626410提交日期：2012年12月7日0HAL是一个多学科开放获取档案，用于存储和传播科学研究文献，无论其是否发表。这些文献可以来自法国或国外的教育和研究机构，也可以来自公共或私人研究中心。0HAL多学科开放获取档案，旨在存储和传播法国或国外教育和研究机构、公共或私人实验室发表或未发表的研究级科学文献。0对大规模来源管理系统的建模和设计的贡献0引用此版本：0Mohamed AminSakka。对大规模来源管理系统的建模和设计的贡献。建筑学，空间规划。国家电信学院，2012年。法语。�NNT：2012TELE0023�。 �tel-00762641�TELECOM SudParisUniversit´e d’´Evry Val d’EssonneMohamed Amin SAKKA0T´el´ecom SudParis博士论文，作为S&I博士学院的一部分，于0与Evry-Val d’Essonne大学联合认证专业：计算机科学0作者：0对系统建模和设计的贡献0大规模来源管理0为获得T ´ EL ´ ECOMSudParis博士学位而提交的论文0于2012年9月28日在以下评委会面前答辩通过：0评阅人：Christine COLLET女士，ENSIMAG（Grenoble INP）- LIG教授 Omar BOUCELMA先生，MarseilleNord大学- LSIS教授 评审人：Bruno DEFUDE先生，T ´ EL ´ ECOM SudParis - SAMOVAR教授（博士导师） JorgeLuis TELLEZ先生，计算机博士，QualyCloud总裁兼创始人（实习导师） Amel BOUZEGHOUB女士，T ´ EL ´ ECOMSudParis - SAMOVAR教授 Bernd AMANN先生，Pierre et Marie Curie大学- LIP6教授0论文编号：2012TELE00230致谢0从一开始已经过去三年多了。在这三年里，我遇到了许多为这个项目做出贡献的男女，我向他们致以最诚挚的感谢。0首先，我要感谢评委会成员Christine COLLET，Omar BOUCELMA，AmelBOUZEGHOUB和Bernd AMANN，他们同意审查我的工作。0我要感谢我的导师和博士导师BrunoDEFUDE，他在SAMOVAR实验室热情地接纳了我。与他一起，我欣赏到了工作的严谨性，经常有富有成果的讨论，尤其是无条件的科学支持。除了他在科学上的贡献，我也不会忘记感谢他的人性和支持，这使我能够成功完成这项工作。0我要感谢我的实习导师Jorge LuisTELLEZ。感谢他给予我宝贵的信任，给予我充分的思想和工作自由，以及他给予我的时间。0我还要感谢部分资助我的公司Novapost。我也要感谢我在Novapost的前同事：Yann，Vincent，Pascal，Maxime，Julie，C´eline，Silv`ere，Benoˆıt和Benjamin。0我感谢SIMBAD团队的成员，特别是Samir TATA和Walid0我还要感谢GAALOUL。我还要感谢那些远近相伴的人，他们通过他们的建议、评论和观察为我的工作质量增添了价值。0我还要感谢实验室的前任和现任同事：Mohamed，Mohamed（2），Amine，Chan，Leon，Rami，Walid，Hichem，Imene，Dorsaf和Olfa。与他们一起度过这些年是非常愉快的。0我特别要感谢我的家人：我的父母和姐妹们，尽管距离遥远，但他们相信我的计划，一直支持我并给予我信任。我对他们在我漫长的学习和离家期间所做的牺牲表示感激。0感谢我的亲爱的朋友们：Ahmed，Ghassen，Valentina，Hana，Majed，Raja，0iii0So�ene，Karim，Bilel，Mohamed，Refka和Kawthar。感谢所有相信我的人......0论文编号：2012TELE00230摘要0网络和信息服务领域的进步已经彻底改变了信息交换、共享和存储的方式。我们越来越多地转向数字交流，这意味着在速度方面有所提升。0数字信息具有传输、共享和访问的便利性，以及组织和检索信息的效率。尽管具有这些优点，数字信息的不稳定性和可修改性引入了与来源、完整性和证据价值相关的问题。在这种情况下，来源成为一个关键的元数据，可以用来评估信息的质量，并验证其是否满足一组业务、技术和法律要求。0如今，大部分处理、交换和管理电子文档的应用和服务都会生成异构、分散且不可互操作的来源数据。0在Web或云环境中管理电子文档的应用和云环境中生成异构、分散和不可互操作的来源数据。本论文的主要目标是提供通用和互操作的解决方案，以管理来源。0本论文的第一部分关注来源建模。为了解决存在于不同来源之间的语法和语义异构性，我们提出了基于语义Web技术的来源建模方法。我们的方法基于一个最小领域模型，确保最小程度的解释和不同模型之间的语义互操作性。0来源管理在存储和利用（查询）方面都能够扩展。0这种特化确保了所需的语义互操作性，并且可以在相同的来源数据上生成不同的业务视图。0针对不同的来源模型，我们提出了一种全面而一致的方法来管理来源。0我们提出了一个基于语义Web技术的来源建模方法。我们的方法基于一个最小领域模型，确保最小程度的解释和不同模型之间的语义互操作性。0这个模型可以用于任何来源。然后，该模型可以特化为多个领域模型，以建模业务概念和属性。0这种特化确保了所需的语义互操作性，并且可以在相同的来源数据上生成不同的业务视图。0在论文的第二部分中，我们专注于系统设计。0我们首先提出了一个逻辑架构模型，用于来源建模，并作为设计PMS的参考架构。然后，为了保持来源的自治性，我们提出了一个基于中介的分布式PMS架构。该中介具有对所有来源的全局视图，并具备分发和处理来源数据的能力。0这种独立于实施和部署技术选择的PMS架构详细说明了我们方法所需的功能模块。0我们首先提出了一个逻辑建模模型，并作为设计PMS的参考架构。然后，为了保持来源的自治性，我们提出了一个基于中介的分布式PMS架构。该中介具有对所有来源的全局视图，并具备分发和处理来源数据的能力。0最后，论文的第三部分验证了我们的提议。我们的建模方法的验证是在Novapost的工业环境中进行的，Novapost是一家提供文档存档SaaS服务的公司。然后，我们通过在两种不同的存储技术上实现两个PMS的方式来测试我们的架构的可扩展性：一个是RDF系统（Sesame），另一个是NoSQL数据库管理系统（CouchDB）。对Novapost的溯源数据进行的负载测试显示了Sesame在存储和使用SparQL查询语言进行查询方面的限制，而与基于MapReduce的查询语言相关联的CouchDB版本则显示出良好的线性扩展性能力。关键词：溯源建模，溯源管理系统，分布式查询处理，可扩展性。0论文编号：2012TELE00230摘要0溯源是评估电子文档可信度的关键元数据。它可以证明其内容的质量和可靠性。随着面向服务的技术和云计算的成熟，越来越多的数据以电子方式交换，电子化成为降低成本和提高效率的关键概念之一。尽管大多数交换和处理数据的应用程序都变得具有分布式和异构来源，这意味着最终用户面临不同的溯源模型和不同的查询语言。因此，建模、收集和查询跨分布式和异构来源的溯源被认为是一项具有挑战性的任务。设计具备这些功能的可扩展PMS也是如此。0在Web或云中的文档变得具有溯源意识并提供异构、分散且不互操作的溯源数据时，大多数溯源管理系统（PMS）要么专门用于特定应用（工作流、数据库等），要么专门用于特定数据类型。这些系统并不是为了支持溯源而设计的。0这意味着最终用户面临不同的溯源模型和不同的查询语言。因此，建模、收集和查询跨分布式和异构来源的溯源被认为是一项具有挑战性的任务。0在今天，跨异构分布式来源的溯源建模和查询被认为是一项具有挑战性的任务。设计具备这些功能的可扩展PMS也是如此。0设计具备这些功能的可扩展PMS也是如此。0在我们的论文的第一部分，我们专注于溯源建模。我们提出了一种新的0基于语义Web技术的溯源建模方法。我们的方法允许从异构来源导入溯源数据，以语义方式丰富它，以获得溯源的高级表示。0从异构来源导入溯源数据，以语义方式丰富它，以获得溯源的高级表示。它基于最小领域模型（MDM）为这些来源提供了语法互操作性，支持丰富领域模型的构建，从而实现了高级溯源表示，同时保持语义互操作性。我们的建模方法还支持不同溯源来源之间的语义关联，并允许使用高级语义查询语言。0在我们的论文的第二部分，我们专注于设计、实现和可扩展性。0溯源管理系统的问题。基于我们的建模方法，我们提出了一种集中式逻辑架构用于PMS。然后，我们提出了一种基于中介者的架构。0为了保持溯源来源的分布，为PMS提供了一个支持的架构。在这个架构中，中介者具有全局视野，具备查询处理和分发能力。0中介者对所有溯源来源具有全局视野，并具备查询处理和分发能力。0我们的建模方法的验证是在文档存档环境中进行的。Th`ese num´ero : 2012TELE00230在Novapost内，一家提供文档存档SaaS服务的公司。此外，我们提出了一种非功能性验证，旨在测试我们架构的可扩展性。此验证基于我们的PMS的两种实现：第一种使用RDF三元组存储（Sesame），第二种使用与MapReduce并行模型（CouchDB）耦合的NoSQLDBMS。我们进行的测试显示了Sesame在存储和查询大量溯源数据方面的局限性。然而，基于CouchDB的PMS表现出良好的性能和线性可扩展性。关键词：溯源数据，开放溯源模型，语义溯源管理系统，可扩展性。The White Rabbit put on his spectacles. Where Shall I begin, Please your Majesty ? heasked. Begin at the beginning, the King said gravely, and go till you come to the end :then stop.Lewis Carroll,“ Alice’s Adventures in Wonderland”Table des mati`eres1Introduction g´en´erale51.1Contexte et probl´ematique . . . . . . . . . . . . . . . . . . . . . . . . . . . .51.2Probl´ematique de recherche . . . . . . . . . . . . . . . . . . . . . . . . . . .71.2.1Exigences li´ees `a la mod´elisation de la provenance. . . . . . . . . .81.2.1.1H´et´erog´en´eit´e syntaxique . . . . . . . . . . . . . . . . . . .81.2.1.2H´et´erog´en´eit´e s´emantique . . . . . . . . . . . . . . . . . . .81.2.1.3Couplage entre le document et sa provenance . . . . . . . .91.2.2Mod´elisation des concepts et des propri´et´es m´etier . . . . . . . . . .91.2.3Exigences li´ees `a la conception de PMSs . . . . . . . . . . . . . . . .91.2.3.1Collecte de provenance. . . . . . . . . . . . . . . . . . . .91.2.3.2Identification des objets distribu´es . . . . . . . . . . . . . .91.2.3.3Syst`eme de requˆetes expressif avec plusieurs mod`eles d’in-terrogation . . . . . . . . . . . . . . . . . . . . . . . . . . .91.2.3.4Passage `a l’´echelle . . . . . . . . . . . . . . . . . . . . . . .101.3Un aper¸cu sur la th`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .101.3.1Objectifs et contributions . . . . . . . . . . . . . . . . . . . . . . . .101.3.1.1Objectifs de la th`ese . . . . . . . . . . . . . . . . . . . . . .101.3.2Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .101.4Organisation de la th`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . .112Contexte et ´Etat de l’art152.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .162.2Notions terminologiques et cas d’utilisation de la provenance. . . . . . . .162.2.1Notions terminologiques . . . . . . . . . . . . . . . . . . . . . . . . .162.2.1.1D´efinitions . . . . . . . . . . . . . . . . . . . . . . . . . . .162.2.1.2Utilisations du terme provenance . . . . . . . . . . . . . . .172.2.1.3Mod`ele de provenance . . . . . . . . . . . . . . . . . . . . .172.2.1.4Syst`eme de gestion de provenance . . . . . . . . . . . . . .182.2.1.5Modes de collecte de la provenance. . . . . . . . . . . . .1812TABLE DES MATI`ERES2.2.2Cas d’utilisation de la provenance. . . . . . . . . . . . . . . . . . .192.3Travaux li´es `a la mod´elisation de la provenance . . . . . . . . . . . . . . . .202.3.1Synth`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .232.4Travaux li´es aux syst`emes de gestion de provenance . . . . . . . . . . . . . .252.4.1Provenance dans le domaine des bases de donn´ees. . . . . . . . . .252.4.2Provenance dans le domaine des workflows scientifiques et de l’E-Science 252.4.3Provenance dans le contexte du Web et des donn´ees li´ees. . . . . .302.4.3.1Resource Description Framework : RDF . . . . . . . . . . .322.4.3.2RDF Sch´ema (RDFS) . . . . . . . . . . . . . . . . . . . . .332.4.3.3Les ontologies. . . . . . . . . . . . . . . . . . . . . . . . .342.4.3.4Le langage OWL (Web Ontology Language). . . . . . . .352.4.3.5Le langage SPARQL . . . . . . . . . . . . . . . . . . . . . .362.4.3.6Syst`emes de gestion de provenance bas´es sur les technologiesdu Web s´emantique . . . . . . . . . . . . . . . . . . . . . .372.4.4Provenance dans le domaine de la gestion ´electronique de documents412.4.5Autres contraintes sur les syst`emes de gestion de provenance. . . .432.4.5.1S´ecurisation de la provenance . . . . . . . . . . . . . . . . .432.4.5.2Interrogation de sources de provenance distribu´ees . . . . .442.4.6Synth`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .442.5Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .483Un cadre s´emantique pour la mod´elisation de la provenance513.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .523.2Un cadre s´emantique pour la gestion de provenance . . . . . . . . . . . . . .523.3MDM : un Mod`ele de Domaine Minimal . . . . . . . . . . . . . . . . . . . .543.3.1OPM comme base de d´efinition du MDM . . . . . . . . . . . . . . .553.3.2Construction du MDM . . . . . . . . . . . . . . . . . . . . . . . . . .573.3.3Synth`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .583.4Les mod`eles de domaine . . . . . . . . . . . . . . . . . . . . . . . . . . . . .583.4.1Formalisation des mod`eles de domaine . . . . . . . . . . . . . . . . .593.4.2Les mod`eles de domaine instanci´es . . . . . . . . . . . . . . . . . . .613.4.3La fonction d’import de provenance. . . . . . . . . . . . . . . . . .623.4.4G´en´eralisation des mod`eles de domaine instanci´es . . . . . . . . . . .623.4.5G´en´eration d’un treillis de mod`eles de domaine instanci´es . . . . . .643.5Gestion de multiples sources de provenance . . . . . . . . . . . . . . . . . .673.5.1Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .673.5.2Processus de fusion des MDs. . . . . . . . . . . . . . . . . . . . . .683.5.2.1Cas o`u les mod`eles de domaine `a fusionner sont totalementordonn´es . . . . . . . . . . . . . . . . . . . . . . . . . . . .69TABLE DES MATI`ERES33.5.2.2Cas o`u les mod`eles de domaine `a fusionner sont compatiblesmais pas totalement ordonn´es. . . . . . . . . . . . . . . .693.5.2.3Cas o`u les mod`eles de domaine `a fusionner ne sont pascompatibles . . . . . . . . . . . . . . . . . . . . . . . . . . .703.5.3Gestion de la correspondance entre MDIs . . . . . . . . . . . . . . .713.5.4Processus de fusion des MDIs . . . . . . . . . . . . . . . . . . . . . .733.5.5Synth`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .743.6Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .754Propositions d’architectures pour les syst`emes de gestion de prove-nance774.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .784.2Requˆetes de provenance : types et caract´eristiques. . . . . . . . . . . . . .784.3Proposition d’une architecture logique pour un PMS . . . . . . . . . . . . .804.3.1Module administrateur . . . . . . . . . . . . . . . . . . . . . . . . . .804.3.2Module de stockage. . . . . . . . . . . . . . . . . . . . . . . . . . .814.3.3Module de traitement de requˆetes. . . . . . . . . . . . . . . . . . .824.3.4Synth`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .834.4Vers une architecture distribu´ee de PMS . . . . . . . . . . . . . . . . . . . .844.4.1Contexte. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .844.4.2Choix d’une approche de f´ed´eration pour un PMS. . . . . . . . . .854.4.3Proposition d’une architecture de PMS f´ed´er´ee `a base de m´ediateur874.5´Evaluation distribu´ee des requˆetes et optimisations . . . . . . . . . . . . . .904.5.1Langage de requˆete logique pour la provenance . . . . . . . . . . . .904.5.2´Evaluation distribu´ee des requˆetes. . . . . . . . . . . . . . . . . . .914.5.2.1Algorithme d’´evaluation distribu´ee de requˆetes . . . . . . .924.5.2.2Pr´esentation du jeu de donn´ees de test. . . . . . . . . . .944.5.2.3Exemple 1 : traitement d’une requˆete MDM. . . . . . . .944.5.2.4Exemple 2 : traitement d’une requˆete dont la conditionpeut ˆetre r´esolue enti`erement sur le m´ediateur. . . . . . .964.5.2.5Exemple 3 : traitement d’une requˆete dont la conditionpeut ˆetre r´esolue partiellement sur le m´ediateur. . . . . .984.5.2.6Exemple 4 : traitement d’une requˆete effectu´e compl`etementsur les sources . . . . . . . . . . . . . . . . . . . . . . . . .994.5.2.7Gestion de corr´elation dans le traitement de la requˆete. . 1024.5.3Synth`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1044.6Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1055Validation, impl´ementation et exp´erimentations1075.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1085.2Validation fonctionnelle. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1084TABLE DES MATI`ERES5.3Cas d’´etude Novapost. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1105.3.1Description du contexte de validation. . . . . . . . . . . . . . . . . 1105.3.2Exemples de sources de provenance chez Novapost . . . . . . . . . . 1125.3.3Des services REST pour la g´en´eration des donn´ees de provenance dedocuments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1135.3.3.1Web service pour la cr´eation de traces . . . . . . . . . . . . 1145.3.3.2Web service pour la d´eclaration d’une action (Archivage) . 1155.3.3.3Web service pour la r´ecup´eration de la trace compl`ete d’undocument . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1155.3.4Int´egration du service de tra¸cabilit´e d´evelopp´e dans notre architecturede PMS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1165.3.5Synth`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1175.4Validation non-fonctionnelle . . . . . . . . . . . . . . . . . . . . . . . . . . . 1175.4.1Description des donn´ees et de l’environnement de test . . . . . . . . 1185.4.2Utilisation d’un RDF store pour le stockage de la provenance : Sesame1185.4.2.1Repr´esentation de la provenance dans Sesame. . . . . . . 1195.4.2.2Requˆetes SPARQL sur les donn´ees de provenance. . . . . 1205.4.3Utilisation d’un syst`eme NoSQL pour le stockage de provenance :CouchDB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1215.4.3.1Repr´esentation et interrogation de la provenance dans Cou-chDB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1235.4.3.2Exp´erimentations et analyse des r´esultats . . . . . . . . . . 1275.4.3.3Scalabilit´e du module de stockage . . . . . . . . . . . . . . 1305.4.4Synth`ese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1335.5Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1336Conclusions et perspectives1356.1Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1356.2Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1376.2.1Perspectives li´ees `a la mod´elisation de la provenance . . . . . . . . . 1376.2.2Perspectives li´ees `a la conception de PMSs. . . . . . . . . . . . . . 138Publications de l’auteur141Bibliographie143Chapitre 1Introduction g´en´erale“Savoir ce que tout le monde sait, c’est ne rien savoir. Le savoir commence l`a o`ucommence ce que le monde ignore.”Remy de Gourmont,“Promenades philosophiques”Notre th`ese est :Les donn´ees dont nous ne connaissons pas la provenance ne sont pas fiables.Aujourd’hui, une grande partie des applications n’assurent pas la gestion de la provenancede leurs donn´ees. Ceci peut remettre en cause leur fiabilit´e.Les syst`e
我的内容管理
展开
