推荐系统与决策辅助工具：用户体验的综合评价

CEUR诉讼http://ceur-ws.org推荐系统不是万能的：推荐系统BenediktLoepp11杜伊斯堡-埃森大学，杜伊斯堡，德国摘要到目前为止，在推荐系统领域中进行的大多数用户实验中，各个系统被认为是一个孤立的组件，即，参与者只能与正在调查的推荐者交互 这无法识别真实世界设置中的用户的情况，其中推荐器通常仅表示更大系统的一部分，用户具有许多其他选项来找到合适的项目，而不是使用作为推荐器的一部分的机制，例如，喜欢、评价或批评。例如，在当前的Web应用程序中，用户通常可以从广泛的决策辅助工具中进行选择，从基于文本的搜索到分面过滤到智能会话代理。这种方法的多样性，同样可以支持用户在他们的决策，提出了一个问题，目前的做法，在推荐评估是否足以充分捕捉用户体验。在这份立场文件中，我们讨论了需要采取更广泛的角度在未来的评价推荐系统，并提高认识的评价方法，我们认为这可能有助于实现这一目标，但还没有得到应有的重视。关键词推荐系统，信息过滤，对话式用户界面，决策辅助，评价，用户体验，用户研究，以用户为中心的设计1. 问题陈述在过去的几年里，以用户为中心的推荐系统的评价已经越来越多地被研究界所接受[1]。然而，到目前为止，大多数人都忽略了，在现实世界中，推荐系统本身并不是一切：事实上，人们普遍认为，推荐是亚马逊上购买的大量产品或Netflix上观看的内容的原因[2，3]，但当面对巨大的项目空间时，存在广泛的其他方法来帮助用户做出决定。然而，这些决策辅助工具的研究和开发大多独立于推荐系统，例如，信息检索领域的基于文本的搜索和分面过滤[4，5]，对话用户界面社区的基于对话的助手和智能聊天机器人[6，7]。这反映在商业环境中，其中很少可以观察到用户Perspectives on the Evaluation of Recommender Systems Workshop（PERSPECTIVES 2022），2022年9月22日，与第16届ACM推荐系统会议在美国华盛顿州西雅图benedikt. uni-due.de（B. Loepp）https://benedikt.loepp.eu/（B.Loepp）0000-0001-9059-5324（B.Loepp）©2022本文版权归作者所有。在知识共享许可署名4.0国际（CC BY 4.0）下允许使用讲习班ISSN1613-0073CEUR研讨会论文集（CEUR-WS.org）以一种整体的方式得到支持：即使有多种决策辅助工具，它们往往是提供给一个组件的输入几乎不会影响另一个组件生成的结果。例如，当用户通过选择若干过滤标准来约束项目集合时，作为同一系统的一部分的推荐器将不一定在所生成的推荐中反映该选择，而是仅考虑用户的隐式或显式项目反馈（反之亦然）。同样，与聊天机器人的交互通常从零开始，忽略之前表达的任何其他兴趣或需求这种分离很难理解，因为众所周知，不同的决策辅助工具对用户完成典型选择和决策任务的进展有不同的贡献最近对提供多个支持组件的系统的研究已经证实，用户在解决一个项目之前使用不同的机制，这（部分）是由于个人和情境特征[10，11，12，13]。由于这些原因，多年来，当然有几个呼吁将方法及其领域更紧密地结合在一起[14，15，16，17]。然而，这些呼吁主要集中在方法方面，而不应该被忽视，这种狭隘的观点也反映在方法的评价中，无论它们是否与其他决策辅助工具紧密结合，或者以脱钩的方式出现，因为它是目前常见的。[18]中提出的工作是信息检索研究中为数不多的例外之一，它主张更全面的评估方法，特别是然而，一般来说，据我们所知，这方面还没有得到太多的关注，无论是在信息检索领域，还是会话用户界面，也不是推荐系统[cf.19、20、1、21]。这意味着，每当在经验实验中研究推荐系统的用户体验时，参与者通常只能与推荐组件交互，即，评价的主题，这往往是专门为研究的目的，特别是在学术界。然而，要改用另一种方法是不可能的，因为参与者可能会认为这种方法更有吸引力，这取决于他们的个人喜好和决策进程的进展。因此，缺乏数据表明哪种方法最适合哪种用户。因此，我们认为，有必要为所有类型的决策辅助在下文中，作为另一个激励性的例子，我们提出了我们最近进行的多个决策辅助的用户实验的定性反馈。之后，我们提供了一个概述的方法，可以帮助应用更广泛的角度来评估推荐系统时，从而获得更准确的图片的真实世界的情况下，这些系统通常只代表了许多可用的决策辅助工具之一2. 鼓舞人心的例子和未来的潜在方向由于上述原因，我们认为，一个更广泛的角度来评估推荐系统时，需要否则，在交互式和对话式推荐方法的发展中继续遵循某些路径是危险的（参见。 [22，23]中的调查），而不知道这些方法是否真的是用户想要的。为了强调这已经是一个问题，我们参考了最近的一个实验，在这个实验中，我们要求参与者（=100，47名女性，2名非二元，年龄：M=35.36，SD=12.60）使用不同的决策辅助为此，我们让他们面对两个任务中的一个，要么是目标驱动的，要么是探索性的。在这两种情况下，参与者必须找到至少两台合适的笔记本电脑。为了完成相应的任务，他们被允许在以下组件之间进行选择（和切换）：分面过滤组件，基于内容的推荐器，可以选择喜欢和不喜欢的项目，产品顾问，对话框显示有限数量的指导问题，以及使用Google Dialogflow实现的自然语言聊天机器人。2.1. 从多个决策辅助工具虽然该研究在[13]中有更详细的描述，但我们在这里想提供参与者在被问及为什么不使用其中一种成分时所做的例如，这种情况是因为他们不愿意使用聊天机器人。一位参与者说：“我通常不喜欢与聊天机器人互动。我觉得无论我给什么输入来选择产品，我都可以使用过滤器组件。 与用于推荐目的的会话代理越来越受欢迎相反，另一位参与者表示，他或她只有在“产品或支付问题出现问题时才使用聊天机器人，[但]浏览不需要聊天机器人”。其他人的批评更直接，写道：我觉得我花了很多时间打字，我讨厌他们假装的快乐，”或者他们把“一些很简单的事情，比如寻找一台新的笔记本电脑变成了其他参与者将个人特征作为他们关注的原因，例如领域知识（ 或者需要控制（“我更喜欢自己做事情，当我似乎找不到我想要的东西时，我可以和机器人聊天。. . ]选项。然而，对于其他选项，我们获得了类似的反馈。例如，关于顾问，一位参与者表示他或她 虽然这显然是一项学术研究，但另一位参与者避免使用推荐器，因为他或她怀疑“这个组件使用赞助公司，这些公司付钱让他们的产品包含在推荐部分”。 同样在这种情况下，其他人通常不愿意，写道：“我从不使用推荐，因为它们永远不符合我的需要。这可能是最畅销的商店的问题，但不是我的需要。领域知识再次发挥了作用，特别是在两个方向上，参与者表示“知识足够[他们]不需要推荐”，但他们“对计算机的缺乏知识也是远离分面过滤的一个主要原因，其中参与者“认为你需要对笔记本电脑有技术上的了解”，或者提到他们“经常在使用过滤器时感到不知所措，并且通常不知道从哪里开始购买笔记本所有这些评论都表明，用户通常知道使用哪种决策辅助工具。然而，这并不一定是由系统提供的，也不一定是他们参与的实验的主题对于以用户为中心的整体评估，这意味着视角太窄，因为仅解决了给定任务的特定推荐器的用户体验，忽略了与可能存在的其他方法的相互依赖性，并且根据当前情况可能更合适一些参与者明确表示，他们希望在由必备过滤器创建的结果集中然而，这正是参与者通常不能做的为了从更广泛的角度评估推荐系统，我们建议通过应用以下评估方法来改进当前的实践，这些方法到目前为止仅用于单一方法，或者根本不使用。2.2. 离线实验和模拟研究：更丰富的数据，整个系统离线实验在推荐研究中得到了很好的建立[24]。然而，它们越来越受到批评，因为它们不允许从用户的角度获得相关的质量维度的见解[1，25，26]。然而，随着今天可用的大型数据集（例如，MovieLens，Netflix，Amazon），它们对于做出是否使用特定推荐方法的客观决定仍然至关重要。然而，大多数数据集仅限于隐式或显式的用户项反馈。 尽管它们代表不同的领域，包含不同量的辅助信息，并且现在通常以顺序形式可用，但这限制了从相应实验中可以得出的结论，即，该算法生成更好的项目推荐。因此，我们认为未来的离线实验应该基于更丰富的数据集进行，这些数据集包括来自系统所有组件的数据，例如用户项目反馈和搜索查询。因此，如果找到了足够的指标，人们还可以确定哪些决策辅助工具最适合个人用户，并使他们更长时间地参与。更一般地，可以检查项目级别以上的系统支持，例如， 关于项目特征的推荐的客观质量，或者甚至关于切换到其他决策辅助的推荐的客观质量。这同样适用于模拟研究，直到最近才在推荐研究中获得更多关注[27]。通过模拟典型的用户行为，例如， 关于批评机制[28]或随着时间的推移与项目的互动[29]，这类实验在经济方面显示出强大的潜力。有了多个决策辅助工具，从而有了更大的设计空间，这将变得更加重要，在全球层面上也是如此，例如，研究长期的用户行为，关于何时使用推荐器的问题，或者另一个组件被认为是更合适的，并且可能对用户的进步做出更大的此外，领域和其他因素，如产品类型（搜索与体验）、产品类别（廉价流媒体内容与 昂贵的高风险产品），以及给定的任务（目标导向的或探索性的）可能会影响哪种方法效果最好。因此，模拟研究可能是唯一的方法来调查偏好如何随着时间的推移而演变时，使用不同的决策辅助工具，并了解哪些互动效果可以发生之间的推荐和其他组件的东西，将永远不可能与实际用户。2.3. 以用户为中心的评估：多种决策辅助工具，富有洞察力的方法来自人机交互研究的众所周知的定性方法，经常用于以用户为中心的设计过程的开始，例如，焦点小组、访谈或背景调查[参见30]，很少用于推荐系统领域然而，我们认为，这些技术可能有助于了解用户其他辅助决策。在这种情况下，值得注意的是，直到最近才发现，用户的心理模型不一定与推荐系统的实现相对应，并且受到很大的个体间差异的然而，识别用户对系统行为的理解对于评估推荐器的影响并改进它非常重要[32]。因此，为了更好地为嵌入多个支持组件的应用程序的设计提供信息，不可避免地要更深入地探索这些模型，特别是关注用户一旦一个（原型）推荐器被实现，基于用户体验的评估是衡量与用户体验相关的不同质量的最常用方法 为此目的，已有完善的框架和调查表[例如，35，36，37]，然而，强烈关注特定于推荐系统的维度另一方面，一般的可用性调查问卷，例如， SUS [38]和UEQ [39]过于宽泛，无法得出关于这种或其他决策辅助工具是否适合偏好选择和决策任务的结论。因此，现有的工具需要扩展，以允许一个更全球性的，主观的评估建议组件的背景下，他们被嵌入的应用程序，从而与其他方法的相互作用否则，很难深入了解为什么用户更喜欢使用特定的方法来执行特定的任务，更一般地说，他们是否会使用更强的连接决策辅助工具，或者不喜欢这个想法，例如，因为他们期望更高的复杂性或具有越来越多的隐私问题。最后，我们想强调两个方面，没有得到太多的关注，在目前的推荐研究：原位和长期的评价。前者是重要的，因为问卷的问题是，它们通常需要与实际系统使用脱节的自我反思，更糟糕的是，往往与项目的消费或体验脱节，这已经表明会影响对建议的评估[40]。因此，我们认为有必要制定方法，对用户使用不同组件的动机进行定量现场评估通过直接嵌入到相应应用程序中的调查问卷，因为它已经完成了研究在搜索引擎之间切换的原因[41]或选定的决策辅助工具[13]。然而，这可能需要辅以定性方法，如有声思维程序，系统的用户观察，或阴影-技术，通常是流行的，但也很少被应用在推荐研究。此外，眼睛跟踪可以被认为是有用的替代方案。由于破坏性较小，近年来越来越受欢迎，例如，在推荐界面和推荐呈现[42，43]，批评[44，45]和个人特征的影响[46]的研究中。然而，同样在这些情况下，参与者无论哪种方式，遵循这些方向都不足以理解用户在较长时间内如何与这些环境交互。因此，虽然重复的研究设计，纵向研究和实地研究在推荐研究中仍然很少，只有极少数例外[例如， 47，48]，这些方法似乎是特别重要的，当采取更广泛的视角：目标和任务可能会随着时间的推移，这可能会对不同组件的使用产生重大影响。因此，仅关于单个决策辅助来表示长期用户行为的实验数据可能会扭曲图片，因为其他组件可能被感知为更适合于决策过程的其他背景或阶段。3. 结论总的来说，这似乎是重要的推荐领域的未来研究，但也为其他社区，面对的挑战，评估各自的方法在更类似于现实世界的环境中在这份立场文件中，我们解释了为什么我们这样认为，并概述了如何应对这一挑战。通过这种方式，我们希望提高认识，当代决策辅助工具不仅需要从方法论的角度来看待，而且在评估方法时需要更广泛的视角当然，这可能会带来新的问题。例如，评估越全面，运行实验的努力和成本就越高，这是限制学术界许多研究的因素。此外，设计实验和分析其结果的难度，以及应用程序特定的参数和可能的混杂因素的数量，随着考虑一个以上的决策辅助而增加。由于这些原因，仍然重要的是要牢记大多数实验发生的具体情况，而不是认为在评估方法时有更广泛的视角就可以自动得出更一般的结论。尽管如此，我们确信，“在（推荐）框外思考”将有助于更好地理解，不仅在某种程度上推荐可以满足用户在给定的情况下最后，这可能会将重点从进一步改进效率较低或用户不想用于具体任务的决策辅助工具转移到那些在决策过程的各个阶段提供支持的潜力最大的决策辅助工具。然而，就目前而言，我们希望至少鼓励讨论更广泛地使用上述评估方法，以更深入地了解用户对与其他决策辅助工具相关的推荐组件的理解和偏好。当然，其他方法也同样可以使用，但我们将其留给今后的工作，以提供关于使用哪些方法和使用顺序的更具体建议致谢感谢Timm Kleemann，他为这里提到的研究实现了系统并在与本文作者相同的程度上为这项研究做出了贡献这项研究得到了欧洲之星项目ACODA的部分支持（批准号：01QE 1946C）。引用[1] B. P. M.J. C. Willemsen，Evaluating recommender systems with user experiments，in：F. 里奇湖罗卡奇湾Shapira（Eds.）， Recommender Systems Handbook，SpringerUS，Boston，MA，USA，2015，pp. 309-352[2] C. A. Gomez-Uribe，N. Hunt，Netflix推荐系统：算法，商业价值和创新，ACM管理信息系统交易6（2015）13：1-13：19。[3] B. 史密斯，G。Linden，Two decades of recommender systems at Amazon.com，IEEEInternet Computing 21（2017）12-18。[4] R.巴埃萨-耶茨湾李文生，现代信息检索，北京，2000。[5] M. A. Hearst，Search User Interfaces，Cambridge University Press，Cambridge，UK，2009.[6] K. Ramesh ， S.Ravishankaran ， A.Joshi ， K.2017 年 12 月 ， 《 ICICCT'17 ：Proceedings of the 2nd International Conference on Information，Communicationand Computing Technology》336-350[7] A. 阿南德湖卡弗登Joho，M.桑德森湾Stein，Conversational search（DagstuhlSeminar 19461），Dagstuhl Reports 9（2020）34[8] G. Häubl，V. Trifts，在线购物环境中的消费者决策：交互式决策辅助工具的影响，营销科学19（2000）4[9] S. Castagnos，N.Jones，P.Pu，361-364.[10] J. Schaffer，J. Humann，J. O'Donovan，T. Höllerer，动态人类主体认知的定量建模，M。D. McNeese，E.萨拉斯湾R. Endsley（Eds.），Contemporary Research：Models ， Methodologies ， and Measures in Distributed Team Cognition ， CRCPress，Boca Raton，FL，USA，2020，pp.137-186。[11] P. Virdi，A.D. Kalro，D.Sharma，在线决策辅助工具：决策风格和决策阶段的作用，国际零售分销管理杂志48（2020）555[12] T. Kleemann，M.瓦格纳湾，巴西-地Loepp，J.Ziegler，在过滤机制，推荐算法和咨询组件的融合中建模用户交互，在：Mensch&Computer 2021- Tagungsband，ACM，纽约，纽约，美国，2021年，pp. 531-543[13] T. 克 莱 曼 湾 Loepp ， J. Ziegler ， Towards multi-method support for product searchandrecommendation， UMAP '22：Adjunct Proceedings of the 30th ACM Conference on UserModeling，AdaptationandPersonalization，ACM，NewYork，NY，USA，2022，pp. 七四比七九[14] H. Garcia-Molina，G. Koutrika，A. Parameswaran，信息寻求：搜索，推荐和广告的融合，ACM通信54（2011）121[15] E.H.Chi ， Blurringoftheboundarybetweeninteractivesearchandrecommendation，in：IUI二、[16] B. Loepp，智能决策辅助工具的融合，在：UCAI[17] A. D. Starke ， M.Lee ， Unifying recommender systems and conversational userinterfaces，in：CUI[18] P. Clough，Evaluation：Thinking outside the（search）box，in：FIREForum for Information Retrieval Evaluation，ACM，New York，NY，USA，2015，pp.一比九[19] D. Kelly ， Methods for evaluating interactive information retrieval systems withusers，Foundations and Trends in Information Retrieval 3（2009）1[20] C. Mulwa ， S. 劳 利 斯 ， M 。 夏 普 Wade ， The Evaluation of Adaptive andPersonalised Information Retrieval Systems：A Review，International Journal ofKnowledge and Web Intelligence 2（2011）138[21] A. B. 科卡巴利湖Laranjo，E.Coiera，理解和测量会话界面中的用户体验，与计算机交互31（2019）192[22] M. 尤戈瓦茨湾Jannach，与制造商交互-[23] D. Jannach ， A. Manzoor ， W. 蔡 湖 ， 加 - 地 Chen ， A survey on conversationalrecommender systems，ACM Computing Surveys 54（2022）105：1[24] A. Gunawardana，G. Shani，S.约杰夫， 评价推荐系统， in：F. 里奇，L. 罗卡奇湾Shapira（Eds.），Recommender Systems Handbook，Springer，NewYork，NY，USA，2022，pp.547-601[25] M. Rossetti，F.Stella，M.Zanker，在评估推荐算法时对比离线和在线结果31比34[26] T. 雷霍雷克岛比扎河巴蒂扎尔山口科尔迪克岛波瓦利耶夫岛Podstavek，比较推荐系统的离线和在线评估结果，在：REVEAL[27] N. Hazrati，F.Ricci，Simulating users ' interactions with recommender systems，in：Adjunct Proceedings of the 30th ACM Conference on User Modeling， Adaptation andPersonaliza- tion，ACM，New York，NY，USA，2022，pp. 95比98[28] H. Xie，黄胸拟谷盗D.D. Wang，Y.拉奥，T.L. 黄湖，澳-地Y. K. 雷蒙德湖Chen，F.L.Wang，将用 户 体 验 转 化 为 基 于 批 评 的 推 荐 系 统 ： 基 于 复 合 批 评 的 协 作 方 法 ，International Journal of Machine Learning and Cybernetics9（2018）837[29] J. McInerney，E.Elahi，J.巴西利科岛Raimond，T.Jebara，Accordion：长期交互系统的可训练模拟器102-113[30] G. Cockton，可用性评估，人机交互百科全书（第2版）（2013）。[31] T. Ngo，J.Kunkel，J.Ziegler，Exploring mental models for transparent and可控recommender systems：A qualitative study，in：UMAP183-191。[32] M. M. Ghori，A.Dehpanah，J.Gemmell，H.卡赫里-萨雷米湾Mobasher，用户对推荐器有理论吗扎根理论研究，在：第30届ACM用户建模，适应和个性化会议的附属论文集，ACM，纽约，纽约，美国，2022年，pp.167-174。[33] J. Corbin，A. Strauss，Basics of Qualitative Research：Techniques and Proceduresfor Developing Grounded Theory ， 第 3 版 ， Sage Publications ， Inc. ThousandOaks，CA，USA，2008.[34] J. Kunkel ， T. Ngo ， J. Ziegler ， N. Krämer ， Identifying group-specific mentalmodels of recommender systems：A novel quantitative approach，in：C.阿迪托河Lanzilotti，A.Mal- izia，H.Petrie，A.Piccinno，G.Desolda，K.Inkpen（编辑），人机交互- INTERACT 2021，计算机科学讲义第12935卷，施普林格，柏林，德国，2021年，pp.383-404.[35] B. P. P. C. Willemsen ， A. Kobsa ， A pragmatic procedure to support the user-centricevaluation of recommender systems，in：RecSys '11：Proceedings of the 5thACM Conference on Recommender Systems，ACM，New York，NY，USA，2011，pp.321-324.[36] P. 普 湖 ， 加 - 地 陈 河 ， 巴 西 - 地 Hu ， A user-centric evaluation framework forrecommender systems，in：RecSys157-164。[37] B. P. M.J. C. Willemsen ， Z.Reinner ， H. 松 库 角 Newell ， Explaining the UserExperience ofRecommender Systems ， User Modeling andUser-AdaptedInteraction 22（2012）441[38] J. Brooke，SUS 189-194.[39] B.劳格维茨，T.保持，M。Schrepp，用户体验问卷的构建和评估，在：A。Holzinger（Ed.），HCI and Usability for Education and Work，卷5298计算机科学讲义，施普林格，柏林，德国，2008年，页。63比76[40] B. Loepp，T.Donkers，T.Kleemann，J.Ziegler，项目消费对用户研究中推荐评估的影响，在：RecSys '18：第12届ACM推荐系统会议论文集，ACM，纽约，纽约，美国，2018年，pp. 49比53[41] Q. 郭河，巴西-地W. 怀特，Y。张湾，澳-地安德森，S。T. Dumais，Why searchersswitch：Understanding and predicting engine switching rationales，in：SIGIR335-344[42] Q. Zhao，S.昌角，澳-地M. Harper，J.A. Konstan，推荐系统的凝视预测，在：RecSys131-138[43] P. 加斯帕，M.Kompan，J.Simko，M.Bielikova，推荐项目界面中的用户行为分析-眼动跟踪研究，在：IntRS '18：第五届推荐系统界面和人类决策联合研讨会论文集，2018年32比36[44] L. Chen ， F.Wang ， An eye-tracking study ： Implication to implicit critiquingfeedback elicitation in recommender systems，in：UMAP163-167.[45] L. Chen，F.Wang，W.吴，从眼球运动中推断用户Goel，M. B. Díaz-Agudo，T.Roth-Berghouts（Eds.），基于案例的推理研究与开发，计算机科学讲义第9969卷，施普林格，柏林，德国，2016年，pp. 62比76[46] M. Millecamp ， N.N. 吞 角 Conati ， K.Verbert ， 什 么 Towards personalisingtransparency for music recommender interfaces，in：UMAPUSA，2020，pp.173-182.[47] Y. 钟氏T.L. S. Menezes，V.Kumar，Q.Zhao，F.M. 相关视频推荐的实地研究：最新 ， 最 相 似 ， 还 是 最 相 关 ？ 在： Proceedings of the 12thACM Conference onRecommender Systems，ACM，New York，NY，USA，2018，pp. 274-278[48] Y. Liang，M.C. Willemsen，探索轻推对用户音乐流派探索行为和收听偏好的纵向影响