Conduire des sessions de Test Exploratoire，une approche basée sur les données.朱利安·勒沃引用此版本：朱利安·勒沃Conduire des sessions de Test Exploratoire，une approche basée sur les données..Web.波尔多大学，2021年。法语NNT：2021BORD 0277。电 话 ： 0 3 6 2 3 5 5 5HAL Id：tel-03623555https://theses.hal.science/tel-036235552022年3月29日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaireTHAPOSE波尔多大学信息学研究所教授专业：信息信息学博士课程数学与信息博士学校通过测试探索课程，在课程基础上进行Par朱利安·勒沃Xavier Blanc教授和LaurentRéveillèreSoutenue le 19/11/2021陪审团成员：夫人DUCHIEN，Laurence Escherseur，里尔大学。普雷西登特M. BISSYANDE，BISSYANDE，卢森堡大学。特别报告员Tegawendé François，M. LEGEARD，Bruno Bogseur，勃艮第大学特别报告员弗朗什·孔泰M.泽维尔·布兰克波尔多大学讲师DirecteurM.洛朗·雷韦莱尔波尔多大学讲师Directeur2标题：Assister les Sessions de testExploratoire，une Approche basée sur lesDonnées.简历：逻辑系统，特别是网络应用程序，在我们的个人和专业生活中发挥着重要作用 。 Il est essentiel de minimiser les defailances ， mais en même temps ， ilsdeviennent de plus en plus complex et donc difficiles à tester. Les testsexploratoires se sont révélés être une methode efficace pour trouver les bugs whinécessitent des interactions complex avec le sys- tème.他们依赖于测试人员的专业知识和经验来验证系统。不过，测试人员的工作在这片土地上是非常重要的。我们确认，对探索性测试的支持可以提高测试质量，减少测试人员所需的专业知识。Lesknaissances métier aident les testeurs à identifier les domaines在这方面，我们建议和评价帮助测试人员进行有效测试的方法。我们建议采用测试者之间的实际互动方式，以便重新指挥感兴趣的行动，并在会议结束后直接返回。我们基于马尔可夫模型和计算机的建议。为了评估我们的方法，我们需要一个基本的逻辑。我们希望这种逻辑服务的基础上，未来的工作基础上的互动与网页。Nos résultats montrent que lesapproches proposées aident les testeurs sur des applications web réelles. Notreobjectif pour les travaux futurs estMots clés：Test des logicielsTestexploratoire应用web标题：协助探索性测试会话，数据驱动方法。翻译后摘要：软件系统，特别是Web应用程序，在我们的个人和职业生活中发挥着重要作用。最大限度地减少故障至关重要，但与此同时，它们变得越来越复杂，因此难以测试。探索性测试已被证明是发现需要与系统进行复杂交互的错误的有效方法。他们 依 靠 测 试 人 员 的 业 务 知 识 和 经 验 来 验 证 系 统 。 然 而 ， 测 试 人 员 的 支 持 是underdeved-lop在这方面。我们声称，探索性测试支持可以提高测试质量，降低测试人员所需的专业知识水平。商业知识有助于3−测试人员识别系统中感兴趣的区域，测试经验帮助测试人员保持他们执行的测试的多样性水平。在这篇论文中，我们提出和评估的方法，以帮助测试人员进行有效的探索性测试。我们建议对探索性测试人员执行的交互进行建模，推荐感兴趣的操作，并在会话期间提供直接反馈。我们的建议基于马尔可夫模型和状态机。为了评估我们的方法，我们开发了一个软件库。我们希望该软件将作为未来基于与网页交互的工作的基础。我们的研究结果表明，所提出的方法可以帮助测试人员在真正的Web应用程序。我们未来工作的目标是改进建议的指南，在探索性测试中引入更多的自动化。关键词：软件测试探索性测试Web应用Bordelais de Recherche en Informatique（LaBRI）。波尔多大学351，cours de la Libération 33 405 TALENCE.&独联体山谷。 3 Rue Adrienne Bolland − 33185 Le Haylan。4材料桌简历31导言. 71.1背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71.2目标101.2.1捐款101.3结构de la thèse122État de2.1Test des logiciels2.1.1术语142.1.2测试探索152.2应用Web et Comportement Utilisateur172.2.1术语182.2.2Enregistrer les actions utilisateur192.320系统使用的调整2.3.1术语202.3.2Chaines de Markov212.3.3Modèles de Markov2.3.4n-gram interpolé232.3.5Web 25接口测试模型的应用2.4合成器2853AIFEX293.1Vue3.2服务Web313.2.1网站313.2.2会话343.3Extension de Navigateur343.3.135岁3.3.2荧光笔353.4业绩评估363.4.1实验配置373.4.2经验结果383.5合成器394Améliubelle la diversité des sessions de test exploratoire434.1导言.444.2动机454.2.1电子商务网站应用程序测试探索示例464.2.2Exploiterles scénarios testés pour recommander des interactions不可以。...................................................................................................... 474.3Améliubelle la diversité des sessions de test exploratoire484.4练习曲（学生）514.4.1Configuration des exérimentations524.4.2实验结果544.4.3Menaces sur la validité564.5众包练习曲564.5.1实验配置564.5.2实验结果594.5.3Menaces sur la validité614.6cas练习曲624.6.1方法624.6.2参加者回顾。.............................................................................................. 644.7合成器6565Crowdtesting des sessions de test exploratoire685.1动机705.2Approche735.2.1Conception du scénariode test. ................................................................. 745.2.2Evaluation de la progression du testeur755.2.3指导测试人员完成测试。.........................................................................785.3估值805.3.1Mise en place experimentale805.3.2结果845.3.3Menaces sur la validité875.4合成器886结论和展望90结论和展望90I .简历.................................................................................................................. 90II .Discussion etTravaux Futurs讨论与未来工作.................................................. 92Bibliographie书目95附件.103A.AIFEX dessites web............................................................................................. 103A . I.CDiscount.......................................................................................... 103A .二. Reddit.................................................................................................. 109A .三. 亚马逊.................................................................................................. 112B.Grammaire du DSL - Scénariosde test.............................................................. 1177第一章导言索迈尔1.1上下文71.2目标101.2.1捐款101.3结构de la thèse12. 导言部分介绍了CIFRE的背景，实际上是与CIS Valley公司合作1.1上下文L’utilisation des services numériques a considérablement augmenté depuis le débutdes années 1990 et le cap du milliard de sites web a été franchi en 2014 [这些年轻人在我们的生活中扮演着一个重要的角色，因为他们拥有年轻的员工，也是专业的。事实上，这种服务的功能障碍可能会影响到对提议的企业的利用率和财务状况至关重要的支出Les applications web sont une composition de plusieurs services，parfois dévelop-pés et maintenus par différents acquisition. Face à la complexité croissante de ces sys-第一章. 介绍8此外，还努力确保逻辑输出的质量，并研究自动化的方向。Les actions répétitivestelles que les tests de non- régression exécutés régulièrement peuvent être automatisées.项目敏捷管理方法在这些都是法院判决周期的基础因此，对自动化测试具有重要意义，这是一项统一的原则。发展周期的快速发展并不意味着时间的流逝 并保持系统的完整规范。此外，它是一个应用程序，用于帮助外部书目、框架或其他设备的网络服务。Uneéquipe de décampement workaillant sur un service web n'a de rebabilité que sur le codequ'elle produit et considère les autres composants du système comme des boardesnoires.其他成分的代码不可用，也不能在系统的黑色外壳上进行测试，必须在黑色外壳上进行测试CIS Valley工业合作伙伴在5个机构雇用160人。prise ， entre autres activités ， décampe SONATE ， un ERP （ Enterprise ResourcePlanning）principalement utilisé par les organizations publiques. SONATE的发展始于2017年，预计将有3000名员工。SONATEest une applica- tion web composéeLe projet implique trois équipes（équipes de fonctionnalités，de déctionpement et由 两 名管 理 人 员和 一 名 项目 主 任监督。 L’équipe char- gée des fonctionnalités estcomposée de trois consultants commerciaux seniors qui sont chargés des aspectsfonctionnels de S L'équipe fonctionnelle rédige manuelle- ment les scénarios de test devalidation ， whi sont exécutés manuellement pendant la phase de recette interne.L’équipe de développement comprend quatre développeurs : un 三个不同的人1.1. 上下文9五年的经验最后一年是最年轻的一年。这些设备的发展- pement培养一种文化的测试，这是因为它的couverture du code à l 'aide de tests unitaires或l' écriture manuelle detests automatisés de bout en bout 。 L’équipe de migration est composée de quatremembres seniors qui sont chargés de transférer et deSONATE的本质隐含着编号规则的变化，这些变化隐含着代码基础中的重要变化。就像测试场景一样，这些变化很难维持一个测试场景基础。为此，CIS Valley estintéressé parLeTest Exploratoire（TE） is une approche efficace pour le test en bobute noire dessystèmes [4，31].他负责测试他的测试概念。Plusieurs études montrent queItkonen和Rautiainen将一系列测试与这是因为在Web应用程序的背景下，需要对所有组件进行干预。我们认为测试探索对于测试一个依赖于应用程序web的设备的策略是非常重要的。然而，探索性测试的实践对测试人员来说是一个很重要的知识点，这对提高测试效率很重要。我们希望测试人员能够指导我们对逻辑的探索。我们在这些方面提出了一些建议，以指导测试人员提高TE的有效性第一章. 介绍101.2目标我 们 放 弃 了 两 个 改 善 勘 探 试 验的 轴心 。首 先， le problem de la diversité faitreférence à la couverture des actions et des combinaisons d'actions qui peuvent êtreeffectuées sur l'application web. Il n'est pas possible de tester de façon exhaustive ，mais l'augmentation du nombre de combinaisons réalisées par les testeurs est unindicateur que les tests ne se répètent pas.在其他方面，新的测试有助于系统的探索第二，测试探索需要测试人员具备较高的专业知识。Un manque de connaissancespeut problemire à des parties du système lais- sées immunorées or des sessions de testwhi ne correspondent pas aux objectifs fixés.我们建议指导那些不熟悉应用程序的测试人员，以促进探索者的合作。我们举例说明了这种方法在人群测试中的应用，它是一种让测试者参与测试环节的方法1.2.1贡献这些工作只是为了提高测试探索的有效性。我们可以选择两个轴来处理这个问题：Diversité：Améliéle nombre de combinaisons认知：帮助测试者确定测试探索阶段的目标，通常是通过认知测试系统（ST）。我们建议为解决勘探试验会议的效率问题作出贡献1. 一个开放源代码的逻辑渗透Il enregistre les actions des testeurs et les guide grâceà un retour visuel directement sur la page web. Les actions enregistrées peuventêtre analysées pendant la session，afin de générer des recommandations pour letesteur.1.2. 联系我们11Cet outil a pour objectif de servir de base à2. 一种旨在努力实现勘探试验多样性的方法。特别是，我们放弃了web应用程序的困难情况，因为这些应用程序不是每天都在运行和部署。为了达到这一目标，我们引入了一种基于语言模型的预测模型，并在此基础上进一步引入了一种基于测试结果的预测模型。因此，我们需要一个新的测试场景，来预测与测试相关的前链相互作用的模型，这些模型是真实的。Une telle prediction liste les interactionsqui ont été fréquemment réalisées.我们的建议是，测试者不应遵循预测，但相反，应考虑到相互作用可能导致预测失败。如果测试者适合我们的顾问， 它的现实意义在于新的互动或罕见的现实意义，因为它增加了测试的多样性。Unefois3. Une approche pour organiser des sessions de test exploratoire en s'appuyant surune platform de crowdsourcing. La difficulté d'utiliser une telle platform vient del'expertise des crowdtesters et de explorator l'application web. Les crowdtestersne sont pas des testeurs experts et des travaux antérieurs ont montré quLeurmotivation principale est de maximiser revenuu en accomplissant les tâches leplus rapi- dement possible，ce qui n'est pas l'état d'esquerte du test exploratoire.在实践中，大多数人会向测试者提出上诉，测试者在课程中参加会议的机会并不渺茫。Heureusement，il a été démontré que les testeurs moins exérimentés，comme les crowdtesters，obtiennent de meilleurs第一章. 介绍12resultats lorsquu主要思想是介绍一种方法，该方法用于对形成会话目标的模型的测试探索的会话概念的实现。我们的轮胎套间parti de ce modèle fournir uneorientation visuelle en direct aux crowdtesters qui mènent la session.在利用这一方法时，我们发现了大量的机会，使群众测试者不满足1.3结构de la thèse这些内容的组织方式如下：勒沙皮特尔2介绍了法国艺术领域内的一个整体观点test exploratoire desapplication web.第3章介绍了AIFEX的服务，其中包括在工作中采用的方法。LeChapitre4 presente notre approche pour traiter de la diversité des sessions de testexploratoire.Le Chapitre5 presente notre approche pour aider les testeurs à réaliser destests releventents.第六章是关于我们对测试方法和未来工作的贡献的应用的讨论13Chapitre 2État de索迈尔2.1Test des logiciels2.1.1术语142.1.2测试探索152.2应用Web et Comportement Utilisateur172.2.1术语182.2.2Enregistrer les actions utilisateur192.320系统使用的调整2.3.1术语202.3.2Chaines de Markov212.3.3Modèles de Markov2.3.4n-gram interpolé232.3.5Web 25接口测试模型的应用2.4合成器28在这一章中，我们提出了我们工作所需的基础的定义。这些原则是在三方会议上提出的。首先，我们确定了测试逻辑的基本术语，并着重于第二章. 艺术之旅14以及现有的技术来指导测试人员进行测试。其次，我们介绍了Web应用程序的功能以及现有的技术，以满足应用程序的使用要求。第三，我们放弃了对应用程序进行修改的方法，以及对应用程序Web测试人员的利用率的影响。Nous presésentons2.1逻辑测验该测试是对逻辑质量关键系统的验证。Le Co- mité international de qualification dutest logiciel（ISTQB）definitle test comme：定义2.1.1（测试逻辑）。Un ensemble de cas à tester（état de他是在撒谎。Le test d'un logiciel est une activité successfully qui néciliate différents niveaux-traction allant des lignes de code，les interactions entre les composants logiciels，jus-qu'aux fonctionnalités du système. Le but d'une pratique de test n'est pas directementde trouver des bugs ， mais de couvrir des objectifs pour determiner si un ensembled'uti- lisations fonctionne correctement.如果确定目标的标准是迫切的，而所有目标都是无缺陷的，这是一个良好的逻辑质量的指标2.1.1术语该节中的定义是ISTQB的术语这些测试活动是为了测试系统的专门小组而进行的。在这方面，我们将努力提高系统测试的有效性2.1. 测试DES逻辑15定义2.1.2（Cas de test）。Un ensemble de conditions préalables，de données定义2.1.3（测试套件）。Encourages de cas de test or de procédures de test à executerdans un cycle de test spécifique.对于一个逻辑测试器，它可以执行一套测试用例。将目标分配给一个整体的测试案例，该案例允许隔离缺陷定义2.1.4（Oracle de test）。 Une resource pour determiner le résultat attendu与系统观察结果相比。Il peut定义2.1.5（试验方法）。Le degré，exprimé en pourcentage，selon lequel un élémentde couverture spécifié a été exécuté lors2.1.2测试探索Le Test Exploratoire（TE）est introduit par Cem Kaner [32] sans definition formelle.逻辑测验实践中的探索理念也赋予了接受和执行测验者的自由。因为我认为这两项活动都是另一项活动。系统的概念和测试仪的外观 这是第一次，我们会在整个项目中进行。詹姆斯·巴赫[7]在他的著作中这样定义：“Le test exploratoire est un apprentissage，une concept de test et une exécution de test exploré "。L’objectif du Il permet aussi auxtesteurs de déciliation per acquisition compréhension du système.这一认识可以为改进建议者或测试的现实化以及相关性服务。LeTE peut être vu comme une approchecomplémentaire des techniques systématiques utilisant des cas de tests scriptés issusdes specécifications.第二章. 艺术之旅16测试脚本的实践表明，测试用例的概念是一个困难的问题，测试套件的优势是一个可以实现的细节在一次关于企业在实践检验中的作用的讨论中，安东尼娅·贝尔托利诺把逻辑检验与工业实践检验的研究放在了一起。La recherche a activement décherpédes techniques basées sur la couverture de test depuis les années 1990.然而，一个工业部门不应该测量其他部门对代码源的测试结果。她认为，在一个部分，实践者可以在一个非常有限的时间内进行测试，而在另一部分， test proposées ont un impact surLes résultats expérimentaux由于有更多的虚假实证，这是一个可怕的测试，它产生了正确的逻辑功能。此外，测试过程中出现的错误不是更复杂的问题，需要交互过程和更长的时间来解决。Pfahl等人提出了一项 [48]. Leurs résultats indiquent qu巴赫介绍了TE的会话概念，该会话是对测试者的一种测试。Le déroulementL’efficacité des sessions de TE dépend fortement de l’expérience des testeurs [ Untesteur expérimenté peut ainsi produire des tests plus efficaces lorsquuGhazi et al.proposent de classer les types de charte de test en fonesty de la liberté laissée auxtesteurs，allant du test libre à une approche complétement scriptée.定义2.1.6（试验表）。一张测试图是一份由测试管理员撰写的文件。她确定了目标，并在TE的一次会议上提出了建议2.2. 应用程序Web ET COMPORTEMENT UTILISATUR17tester une certaine fonctionnalité，chercher un type de problème ou vérifier unensemble de corrections de bug.考试大纲考试大纲考试考试大纲。一张测试图的内容可能会在其他企业中有所不同。Ghazi等人在测试图表[23]中确定了35个可能使用的元素，包括会议期间、集中的系统部分、发现的错误列表、测试会议的注释问题、使用原理描述。测试过程中，测试人员可使用测试图表的基本内容，并对测试内容进行固定或限制。Ghazi et al.presentent un compromis entre la liberté donnée aux testeurs et experience avec le testexploratoire [24].加上一个测试者是实验，加上它的bénéficie d'un niveau de libertéélevé ， à l'inverse un testeur knaissant mal l'application sera plus efficace si desindications précises lui sont données sur la façon de chercher des bugs。在非常特殊的情况下，测试过程是完全脚本化的，测试人员不需要进行测试。反方向，自由式会话，无限制，允许测试人员进行测试，以了解故障2.2应用Web et Comportement UtilisateurPour utiliser une application web ， l'utilisateur utilise un client qui lui-mêmeinteragit avec un ou plusieurs services web，via des Application Programming Interface（API）.这一工作集中在对这些应用程序进行黑色测试上。Lestests sont effectués àpartir de在这一部分，1. https://www.w3.org/TR/2013/WD-webdriver-20130117/第二章. 艺术之旅18nous definissons les termes utilisés pour décrire les interactions du testeur avec2.2.1术语定义2.2.1（应用程序Web）。一个应用程序Web是一个面向一个或多个远程服务器的程序集合，通过一 个 应 用 程 序 web n'a pas besoin d'être installée sur la machine de l'utilisateurpuisqu'elle s'exécute sur un serveur distance. L’utilisateur accède à l’application via unnavigateur定 义 2.2.2 （网 页 ） 。Une page web est une interface graphique affichée parlenavigateur de我们使用的是网页上的导航工具，以便在定义2.2.3（均匀度）。Un événemente est déclenché par la page web pour indiquerqu他 可能 会在 一 个按 钮上 画 一个 环， 在 一个 公 式的 冠军 上 画一 个文 本 Lesévénements peuvent être captés par du code JavaScript et déclencher des traiquestionsapplicable de modifier l'étatdelapageweb，oud'envoyerdesrequêtesHypertextTransfertProtocol（HTTP）auserveur. 我们认为，一个字母的变化至少是通过一个类型（例如：循环，键盘的增强）和一个字母（例如：按钮，文本区）来实现的Les événements sont habituellement utilisés pour modifier l'état de la page web在使用者的行动中La navigation de2.2. 应用程序Web ET COMPORTEMENT UTILISATUR19ment représentée par des événements dans les specécifications par une machine a étatfini [9 ， 41 ， 58]. L'utilisation de ces modèles pour la génération de séquencesd'événements maximisant la dectection de bugs a été quétudiée. Des chercheurs ontdérépé des techniques utilisant des machines à état [17，18]，des grammaires [55，40]，des al-taxmes génétiques [34]，des modèles probabilistes [57]. Ces techniquespermettent de générer des cas de tests pour différents domaines.这些测试工作各不相同，因为我们使用了各种测试模式来帮助测试人员，但一般都是测试套件。2.2.2Enregister les
我的内容管理
展开
