评估探索性搜索引擎：基于用户交互的方法

评估探索性搜索引擎：基于探索性搜索过程艾米莉·帕拉吉引用此版本：艾米莉·帕拉吉。评估探索性搜索引擎：基于探索性搜索过程的建模设计一套以用户为中心的方法人机交互[cs.HC]。2018年，蓝色海岸大学。英语。NNT：2018AZUR4116。电话：01976017v3HAL ID：电话：01976017https://theses.hal.science/tel-01976017v3提交日期：2019年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire探索性搜索引擎的评估：基于探索性艾米莉·帕拉吉Wimmics（Inria、I3S）和数据科学（EURECOM）为获得而提交的计算机科学博士学位蓝色和拉斐尔·特朗西支持日期：2018年在陪审团面前，由以下人员组成：Christian Bastien，洛林大学教授Pierre De Loor，ENIBSylvie Catellin，UVSQ Fabien Gandon高级讲师，Inria研究主任Alain Giboin，Inria研究员Raphaël Troncy，EURECOM博士论文探索性搜索引擎的评估：基于探索性评估探索性搜索引擎：基于探索性搜索过程陪审团：评审团主席兼评审员/评审团主席兼评审员Pierre De Loor，布雷斯特国立工程学院（ENIB）教授报告员/审查员Christian Bastien，洛林检查员/检查员Sylvie Catellin，伊夫林地区凡尔赛圣昆廷大学（UVSQ）讲师（HDR）论文导师/论文导师Fabien Gandon，Inria嘉宾（共同主管）/嘉宾（共同主管）Alain Giboin，InriaRaphaël Troncy，EURECOMiii摘要探索性搜索引擎（MRE）是帮助用户探索感兴趣的领域并在其中做出发现的软件这些引擎不同于传统的搜索引擎，如谷歌，必应或Ya-hoo!，而是支持有针对性的搜索或咨询搜索 虽然人们认识到，评价海洋资源管理的目的是确定海洋资源管理是否有效地协助用户完成其勘探任务，但现有的评价海洋资源管理系统的方法并不能有效地实现这一点。 本文的主要目的是为这些MRE的设计者提供基于RE过程模型的以用户为中心的评估方法。因此，在对RE过程进行建模之后，我们提出了两种可在整个设计过程中使用的评估方法。第一种方法是无用户检测方法，可以从第一个模型开始使用，并基于RE启发式。 我们还提供了一些工具来简化这些启发式的使用：一个在线表单和一个名为CheXplore的GoogleChrome扩展。第二种方法是与用户一起使用，可以从工作原型的第一个版本开始使用此方法是一个可自定义的用户测试过程在本论文中，我们特别关注这一过程的两个要素：RE任务开发协议在用户测试中评估了模型和由此产生的方法的相关性对RE任务开发的模型、启发式和协议进行了验证。对录像分析网格的初步评估揭示了需要改进的领域。关键词：评价方法iv摘要探索性搜索系统是帮助用户探索感兴趣的主题的搜索引擎。当前评估方法的一个缺点是，它们不能用于确定探索性搜索系统是否实际上可以帮助用户执行探索性搜索任务。然而，传统搜索系统（如Google、Bing、Yahoo!）之间的评估可能不相同。... ... 和探索性搜索系统。对探索性研究的概念和过程达成共识的复杂性和困难反映在评估这些系统的困难上。然而，它们结合了几个特定的特征和行为，形成了一个难以评估的炼金术。本文的主要目标是为这些系统的设计者提供（即计算机科学家）探索性搜索系统的以用户为中心的评估方法这些方法基于探索性搜索过程的模型，以帮助评估者验证给定系统是否确实支持探索性搜索过程。因此，在开发了一个探索性搜索过程的模型之后，我们提出了两种基于模型的方法，有用户和没有用户，它们可以在整个设计过程中使用。第一种方法，没有用户，可以从系统的第一个草图中使用，由一组探索性搜索的启发式和使用它们的过程组成。 我们还提供了两个工具来促进它们的使用：一个在线表格格式和一个谷歌Chrome插件，CheXplore。第二种方法涉及探索性搜索系统的实际终端用户，他们正在测试探索性搜索系统的功能原型或版本。在本论文中，我们主要关注可定制用户测试过程的两个基于模型的元素：一个用于开发探索性搜索任务的协议和一个用于评估记录的探索性搜索会话的视频分析网格关键词：评估方法、探索性搜索、基于模型的方法、以用户为中心的方法v谢谢你我要感谢我的论文导师Fabien Gandon和我的两位共同导师Alain Giboin和Raphaël Troncy，感谢他们对我的信任，感谢他们在这段丰富的还要感谢Johan Montagnat和Labex UCN@Sophia同意资助这篇论文，这篇论文因其多学科性质感谢Nicolas Marie在一次令人兴奋的硕士实习中让我发现了这个研究领域，这让我进入了博士学位感谢我以前的实习生Jean-Marie Dormoy开发了一个Chrome扩展，允许更成功地使用其中还要感谢Patrice Pena在验证探索性研究模型的过程中提供的宝贵帮助。J’adresse我 还要感 谢 伊夫林地区凡尔赛圣昆廷大学讲师西 尔 维 · 卡 特 林 （ SylvieCatellin）同意担任我论文的审稿人。就我个人而言，我要感谢我在过去几年里在Wimmics团队中遇到的朋友们他们使这次冒险更加人性化，更加丰富。感谢Amel Ben Othmane、Abdoul Macina和Amosse Edouard，感谢他们在一起度过的美好时光，感谢他们的倾听和幽默。还要感谢法里·迪亚洛爸爸，他也一直在我们每一个人身边。无论他现在在哪里 感谢你在这个世界上给我们带来的一切。感谢Christine Foggia，出色的团队助理vi感谢Alexandre Monnin的信任、鼓励和许多建议。我们的讨论一直是我真正的灵感来源。还要感谢EURECOM Wimmics、SPARKS或数据科学团队的其他现任和前任成员，感谢他们的... ...感谢MSHS东南部成员的帮助和善意，感谢他们总是充满幽默的午餐，感谢他们令人兴奋的讨论和Lise Arena和Catherine Félix。有些友谊不受时间的流逝。我想感谢那些人，他们是生活在十多年前的一次幸运的机会中放在我的道路上的，从那时起，他们非常感谢Anaëlle Hanni、Lesly Lonoh、Noémie Samuel、Emma Toesca、Guillaume Plumat、Morgane Pepe、LouiseChaussade和Camille Amerigo。我非常感谢我的父母，艾美和菲利普，他们总是感谢他们的信任，不断的支持和无尽的爱感谢我的哥哥亚历山大，他是家里的第一位医生，我能够与他分享论文的高潮和低谷。 感谢你的爱和存在，即使在世界的另一端，那里是如此寒冷!vii成功不是最终的，失败也不是致命的：重要的是坚持下去的勇气。温斯顿·丘吉尔„viii致我的父母艾美和菲利普ix内容。1引言11.1探索性研究的评价：一个开放式问题21.2探索性研究系统评价：需要具体方法1.2.1探索性研究：一个未定义的概念31.2.2现有评价方法问题41.3论文研究问题41.4论文贡献：探索性研究系统的基于1.5论文结构62一般最新技术水平和方法72.1探索性研究：一个未定义的概念72.2探索性研究系统及其评价：有限的方法2.2.1探索性搜索系统92.2.2探索性搜索系统新评估方法的必要性2.2.3结论152.3我们的探索性搜索系统设计方法评价方法153探索性搜索过程模型183.1引言：需要一个近似的模型183.2信息搜索模型分析193.2.1探索性研究的特点193.2.2现有的信息搜索253.2.3基于探索性搜索特征的信息搜索模型分析3.3探索性搜索模型的设计方法353.4探索性搜索模型的初步评估353.4.1第37号议定书3.4.2初步结果393.4.3扩展型号40的第一个版本3.5探索性搜索模型的第二次评估443.5.1第44号议定书3.5.2结果483.5.3扩展模型49x3.5.4讨论503.6结论514检验方法534.1引言：需要一种简单、廉价的检验方法4.2作为预期检验类型的启发式评价方法544.3探索性研究启发式的基于模型的设计过程4.3.1启发4.3.2探索性搜索的启发式：经典形式574.4第60号议定书4.4.1探索性搜索启发式的可用性604.4.2准备和执行评估634.5探索性搜索启发法的评价4.5.1用于评估启发式的方法664.5.2用于评估启发式的程序664.5.3评估指标684.5.4定量和定性结果694.5.5讨论724.6结论725用户测试方法的要素745.1引言：需要经验方法745.2用于探索性搜索系统的经验评估的可定制测试程序5.3探索性搜索任务设计的标准和协议5.3.1任务设计标准：最新技术水平简介5.3.2我们的主要任务设计标准785.3.3基于Bloom分类法的附加任务设计标准5.3.4探索性研究任务80的设计方案5.3.5探索性研究任务设计方案83的评价5.4用于基于模型的视频分析的协议。5.4.1视频分析网格86的设计方法5.4.2视频分析协议87的评估5.5结论1036设计探索性搜索接口检查1056.1导言：需要支持评价任务1056.2哪个检查工具1066.3CheXplore插件设计1076.3.1设计方法1086.3.2CheXplore110的基于场景的演示xi6.4结论和观点1177结论1187.1捐款1187.2前景1207.2.1短期展望1207.2.2长期前景121参考书目122xii图列表2.1Marchionini在[33]8中提出的搜索任务分类2.2我们在开发探索性搜索系统中的自上而下的方法3.1探索性搜索特征的维恩图。......................................................................................253.2[6]中提出的过度挑选模型（图片来源于[75]）。...........................................283.3Khulthau的3.4马尔基奥尼尼3.5Marchionini在[33]31中提出的搜索任务分类3.6模型评估中使用的探索性搜索系统的三种不同接口地方。...................................................................................................................394.1完整启发式的说明："搜索栏和系统描述总是在附近"。（1）搜索栏，以及（2）系统的描述，这是从搜索栏单击一次.................................................... 。4.2Discovery Hub上测试的F测量。 左边的条指的是A组（有评估清单），右边的条指的是B组（没有评估清单）。评估清单）。.......................................................................................................704.33cixty上测试的F测量 左边的条指的是A组（有评估清单），右边的条指的是B组（没有评估清单）评估清单）。.............................................................................................................. 715.1视频分析网格呈现与相应回答问题相关的模型特征。我们要求用户说明他们对标准的理解的问题。...............................................................................................................945.2参与者在参与者。......................................................................................................................996.13cixty UX Check界面上的一个示例，无法在地图上选择较小的区域。....1076.2CheXplore- 主页第110页6.3CheXplore -开始评估1116.4CheXplore -启发式选择1116.5CheXplore- 更多描述按钮："i"112xiii6.6CheXplore- 屏幕截图前边栏上的启发式选择。1126.7CheXplore -移动注释窗口1136.8CheXplore -写入注释11136.9CheXplore- 注释窗口114上的启发式选择6.10CheXplore -写入注释21146.11CheXplore- 使用已编写的注释重新拍摄屏幕截图1156.12CheXplore- 选择启发式的另一个子集：在列表的结果列表数据1156.13CheXplore -查看进度1166.14CheXplore- 导出Word或PDF文档116xiv表列表2.1现有探索性搜索系统的非详尽列表（部分他们仍然可以在线访问）112.1现有探索性搜索系统的非详尽列表（部分他们仍然可以在线访问）123.1探索性搜索3.1探索性研究的十一个特征3.2信息搜索模型分析。 在此表中，（1）"是"指作者提供的描述中明确提及的特征;或（2）"是（错误）"指描述中可能错误的特征;或（3）"否"指缺失的特征无法控制的特征或特征。..........................................................................................333.3初始模型：探索性搜索的十个特征与探索性搜索的一个或多个特征"Char X"363.4探索性搜索会话记录中确定的模型特征列表3.4探索性搜索会话记录中确定的模型特征列表3.5探索性搜索会话中可能的转换的非详尽列表。在第一个记录的分析中没有观察到带星号的粗体过渡。...............................................................................453.6记录分析：用户活动之间的对应示例和我们的模型功能。...........................................................................................453.7模型评估：三个系统的发现方案3.8探索性研究会议中可能过渡的非详尽列表的扩展版本。未观察到粗体过渡在表的早期版本中（表3.5）。.......................................................................... 494.1根据测试阶段和测试系统的Cohen5.1探索性搜索任务设计协议825.2使用我们的任务设计标准对参与者1/3cixty85xv5.3使用我们的探索性搜索任务开发协议设计的任务示例5.4视频分析网格895.4视频分析网格925.5Discovery Hub和3cixty上的用户评论列表链接到我们的模型的探索性搜索功能。这些评论用于制作屏幕截图。........................................................................ 965.5Discovery Hub和3cixty上的用户评论列表链接到我们的模型的探索性搜索功能。将使用这些注释用于制作屏幕截图。...........................................................................................975.6每个模型的特征的结果.................................................................................... 1005.7错误指定功能的详细信息。.............................................................................1015.8为每个参与者错误分配功能的详细信息........................................................ 1026.1我们在CheXpole1091„引言1知道路易斯·巴斯德在搜索引擎增加其结果的个性化的背景下（例如Google，Yahoo!或者必应），探索和学习新事物对用户来说越来越困难。Eli Pariser在[58]中引入了过滤气泡的概念，它由一种智力隔离组成，当搜索引擎或网站的算法在用户不知情的情况下过滤它们提供的信息时，这种隔离可能会占据这些算法采用与个性化广告相同的方法，基于用户的浏览历史或他们在社交网络上的"喜欢"来选择信息Facebook，Twitter。... ... （用于实例。因此，所提供的结果是那些跟随用户的意见和偏好的结果，因为这些个性化信息被假定为与用户更相关。 这个选择过程将用户锁定在一个个性化的信息生态系统中，这是一个由这些算法创建的过滤气泡。这个过滤泡沫的主要局限性是，用户对他们周围的世界逐渐表现出越来越多的偏见。事实上，一切都是为了取悦和安慰用户：因此，他们不会暴露在相互矛盾的观点中。 用户在智力上变得孤立，他们很难学习和发现新事物。过滤气泡的概念在2016年美国总统大选许多持自由派政治观点的记者和民众并不期待唐纳德·特朗普当选美国总统，因为他们的观点被一个过滤泡沫所锁定，而这个过滤泡沫没有为他们提供足够的共和党支持者信息。换句话说，具有自由主义政治取向的用户被提供了更多具有类似政治观点的信息，而不是有利于反对党的信息。 他们没有完整的画面，而是有偏见的画面。对于一个给定的主题，公正的发现或信息监控几乎是不可能的，在当今世界变得越来越重要在领域1例如，https://goo.gl/a69kuP;https://goo.gl/mpESJ721.1探索性研究的评价：一个开放式问题计算机科学，特定的搜索系统是为了支持和帮助用户探索一个主题和，或数据没有任何，或尽可能小的个性化的结果。它们被称为探索性搜索系统。 这样的系统旨在支持用户的探索性搜索。本文的主要目标是开发一套以用户为中心的方法，使探索性搜索引擎设计师（计算机科学家）能够评估他们的系统。以用户为中心意味着在系统的功能和由执行系统所支持的任务的用户所携带的过程之间寻找更大的兼容性，该方法应该允许给定系统的设计者验证它是否确实支持探索性搜索过程。1.1 探索性研究的评价：一个开放式问题多年来，几乎从局外人开始，探索性搜索系统的评估即我们如何说这些系统支持探索性搜索过程，是探索性搜索系统设计者的主要研究重点之一。尽管如此，这种对评估这种探索性搜索引擎的兴趣导致：• 2006年在信息检索研究和发展会议的背景下组织了第一次关于评价探索性搜索系统的讲习班;• 在2007年人机交互会议的背景下组织了第二次研讨会;• 作为这两个讲习班的成果，在2008年《信息处理和管理杂志》[76];以及• 2009年出版的参考书《探索性搜索：超越查询-响应范式》中的重要章节《探索性搜索系统的评估》。自2017年以来，ACM探索性搜索和交互式数据分析研讨会（ACM Workshop onExploratory Search and Interactive Data Analytics）频繁讨论了探索性搜索系统评估的问题[20，21]。 研究人员一致认为有必要解决这个问题。31.2探索性研究系统评估：对特定方法的1.2 探索性研究系统评估：对特定方法的探索性研究是需要专用系统支持的特定过程或活动推而广之，这些探索性搜索系统需要专门的评估方法，以验证它们是否有效地支持探索性搜索。探索性搜索系统的现有评估方法仍不完整，需要：• 探索性搜索特征的更稳定定义（例如探索性研究任务中用户需求和行为的描述• 探索性搜索过程的更合适的过程模型通常，评估方法不使用探索性搜索过程模型，如果使用了一个模型，则所选模型不合适。• 更合适的指标。常用指标是用于评估传统搜索引擎的指标。他们更关注结果和算法，而这在评估探索性搜索系统方面是不够的。在[75]中，作者说它们"可能是不恰当的";• 更适合以用户为中心的程序。现有的方法不足以准确地解释用户交互行为。1.2.1 探索性研究：一个未定义的概念探索性搜索是一种特殊的信息搜索活动。这是一个定义松散的概念，因为它的定义是不稳定的，并继续演变。 Marchionini在[33]中首次尝试描述探索性搜索的特征，并将其描述为"与探索性搜索过程相关的一系列搜索活动"[74]，即知识获取、比较、分析或评估。 它将探索性搜索与最基本和最广为人知的搜索活动类型"查找"进行了比较，后者指的是用户心中有特定目标并对预期结果有想法的集中搜索。探索性研究的主要目标是学习。探索性研究中的学习不仅仅是记忆模糊的事实，而是发展更高层次的智力能力。探索性研究的概念没有一个稳定的或共识的定义被该领域的研究人员采用;相反，他们同意这是一个复杂和不明确的概念，仍然处于婴儿期。41.3论文研究问题1.2.2 现有评价方法的问题设计支持探索性搜索过程的探索性搜索系统涉及"高度交互式界面"。 Mark Nolan说："在设计搜索结果和浏览丰富信息资源的界面时，我们需要在产品中设计一定程度的弹性，以使用户能够更好地控制结果。" White和Roth补充说，探索性搜索系统的评估需要主观指标（如用户满意度、参与度和信息新颖性），但正是通过对交互行为和认知方面的评估，"人们才能真正评估探索性搜索系统的有效性"。评估这样的搜索引擎仍然是一个悬而未决的问题。其中一个原因是，探索性研究的概念定义松散，还没有一个明确和稳定的定义。更重要的是，探索性搜索本身的过程是不断变化的，取决于用户（专业知识、注意力、动机、疲劳）。... ... 背景（位置、周围的噪音... ... 和系统（数据库、功能。... ... ）。因此，探索性搜索系统的评估方法仍然是不完整的，因为它们没有完全基于可行的探索性搜索过程模型。评估探索性搜索系统的问题出现了，因为这些特定的搜索引擎不能以与主要支持查找搜索的经典搜索引擎相同的方式、度量或方法进行评估。事实上，搜索过程、搜索目标或用户期望在用户需求、行为甚至系统之间的交互方面都是不同的现有评估方法的一个缺点是，它们不能用来确定探索性搜索系统是否能有效地帮助用户执行探索性搜索活动。对探索性研究的概念和过程达成共识的复杂性和困难反映在评估这些系统的困难中。他们的评估被认为是一项困难而微妙的活动，因为"它涉及到对用户行为和搜索结果的定性和定量分析"。1.3 论文研究问题在本文中，我们将回答以下研究问题：1. 应选择或开发哪种探索性研究过程模式，以设计更合适的评估方法？