推荐系统并非万能：从更广阔的视角评估推荐系统

CEUR程序http://ceur-ws.org推荐系统本身并不是一切：推荐系统评价的更广阔前景BenediktLoepp11杜伊斯堡-埃森大学，杜伊斯堡，德国摘要到目前为止，在推荐系统领域中进行的大多数用户实验中，各个系统被认为是孤立的组件，即，参与者只能与被调查的推荐者交互 这不能识别真实世界设置中的用户的情况，其中推荐器通常仅表示更大系统的一个部分，用户具有许多其他选项来找到合适的项目，而不是使用作为推荐器的一部分的机制，例如，喜欢、评价或批评。例如，在当前的Web应用程序中，用户通常可以从广泛的决策辅助工具中进行选择，从基于文本的搜索到分面过滤到智能会话代理。这种方法，这可能同样支持用户在他们的决策，提出了一个问题，目前的做法，在推荐评估是足够的，以充分捕捉用户体验。在这份立场文件中，我们讨论了需要采取更广泛的角度在未来的评价推荐系统，并提高认识的评价方法，我们认为这可能有助于实现这一目标，但还没有得到应有的重视。关键词推荐系统，信息过滤，对话式用户界面，决策辅助，评价，用户体验，用户研究，以用户为中心的设计1. 问题陈述在过去的几年里，以用户为中心的推荐系统的评价已经越来越多地被研究界所接受[1]。然而，到目前为止，大多数人都忽略了，在现实世界中，推荐系统本身并不是一切：事实上，人们普遍认为，推荐是亚马逊上购买的大量产品或Netflix上观看的内容的原因[2，3]，但当面对巨大的项目空间时，存在广泛的其他方法来帮助用户做出决定。然而，这些决策辅助主要是独立于推荐系统来研究和开发的，例如，信息检索领域的基于文本的搜索和分面过滤[4，5]，对话用户界面社区的基于对话的助手和智能聊天机器人[6，7]。这反映在商业环境中，其中很少可以观察到用户Perspectives on the Evaluation of Recommender Systems Workshop（PERSPECTIVES 2022），2022年9月22日，与第16届ACM推荐系统会议在美国华盛顿州西雅图benedikt. uni-due.de（B. Loepp）https://benedikt.loepp.eu/（B.Loepp）0000-0001-9059-5324（B.Loepp）©2022本文版权归作者所有。在知识共享许可署名4.0国际（CC BY 4.0）下允许使用讲习班刊号1613-0073CEUR研讨会论文集（CEUR-WS.org）以整体方式支持：即使有多个决策辅助工具可用，它们通常是提供给一个组件的输入几乎不影响由另一个组件生成的结果。例如，当用户通过选择若干过滤标准来约束项目集合时，作为同一系统的一部分的推荐器将不一定在所生成的推荐中反映该选择，而是仅考虑用户的隐式或显式项目反馈（反之亦然）。同样，与聊天机器人的交互通常会从零开始，忽略之前表达的任何其他兴趣或需求这种分离很难理解，因为众所周知，不同的决策辅助工具对用户完成典型选择和决策任务的进展有不同的贡献最近对提供多个支持组件的系统的研究已经证实，用户在解决一个项目之前使用不同的机制，这（部分）是由于个人和情境特征[10，11，12，13]。出于这些原因，当然，多年来有几个呼吁将方法及其领域更紧密地结合在一起[14，15，16，17]。然而，这些呼吁，主要集中在方法方面，而它不应该被监督，这种狭隘的观点也反映在评估的方法，无论他们是否与其他决策辅助紧密结合，或出现在一个脱钩的方式，因为它是目前常见的。[18]中提出的工作是信息检索研究中为数不多的例外之一，它主张更全面的评估方法，特别是然而，一般来说，据我们所知，这方面尚未受到太多关注，无论是在信息检索领域，还是会话用户界面，还是推荐系统[cf.19、20、1、21]。这意味着每当在经验实验中研究推荐系统的用户体验时，参与者通常只能与推荐组件交互，即，评估的主题，通常是专门为研究目的而设计的，特别是在学术界。然而，要改用另一种方法是不可能的，因为参与者可能会认为这种方法更有吸引力，这取决于他们的个人偏好和决策过程的进展。因此，缺乏数据来表明哪种方法最适合哪个用户。因此，我们认为，它是必要的各种决策辅助在下文中，作为另一个激励性示例，我们呈现了来自我们最近进行的多个决策辅助的用户实验的定性反馈。之后，我们提供了一个概述的方法，可以帮助应用更广泛的角度来评估推荐系统时，从而获得更准确的图片的真实世界的情况下，这些系统通常只代表了许多可用的决策辅助工具之一2. 激励性范例和潜在的未来方向由于上述原因，我们认为，一个更广泛的视角是必要的，当评估推荐系统。否则，在交互式和会话式推荐方法的发展中，存在继续遵循某些路径的危险（参见图1）。 [22，23]中的调查），而不知道这些方法是否真的是用户想要的。为了强调这已经是一个问题，我们参考了最近的一个实验，其中我们要求参与者（=100，47名女性，2名非二元，年龄：M=35.36，SD=12.60）使用不同的方法。决策辅助为此，我们让他们面对两个任务中的一个，要么是目标驱动型，要么是探索型。在这两种情况下，参与者必须找到至少两台合适的笔记本电脑。为了完成相应的任务，他们被允许在以下组件之间进行选择（和切换）：分面过滤组件，基于内容的推荐器，具有喜欢和不喜欢项目的选项，具有显示有限数量指导问题的对话框的产品顾问，以及使用Google Dialogflow实现的自然语言聊天机器人。2.1. 从多个决策辅助工具虽然研究在[13]中有更详细的描述，但我们在这里希望提供参与者在被问及为什么不使用其中一种组件时所做的例如，这种情况是因为他们不愿意使用聊天机器人。一位参与者说：“我通常不喜欢与聊天机器人互动。我觉得无论我选择产品时输入什么，我都可以使用过滤器组件。 与用于推荐目的的会话代理的日益普及相反，另一位参与者表示，他或她只有在“产品或支付问题出现问题时才使用聊天机器人，[但]浏览不需要聊天机器人。其他人的批评更直接，写道：我觉得我花了很多时间打字，我讨厌他们假装的快乐，”或者他们把“像寻找新笔记本电脑这样非常简单的事情变成了一部其他参与者将个人特征作为他们关注的原因，例如领域知识（ 或者需要控制（“我更喜欢自己做事情，当我似乎找不到我想要的东西时，我可以和机器人聊天。. . ]选项。然而，对于其他选项，我们获得了类似的反馈。例如，关于顾问，一个参与者说他或她 虽然这显然是一项学术研究，但另一位参与者避免使用推荐器，因为他或她怀疑“该组件使用赞助公司，这些公司付钱将其产品包含在推荐部分中。 同样在这种情况下，其他人通常不愿意，写道：“我从不使用推荐，因为它们永远不符合我的需要。它可能是这家商店的畅销书，但不是我的需要。领域知识再次发挥了作用，特别是在两个方向上，参与者表示“知识足够[他们]不需要推荐”，但他们“对计算机的了解不足以给予竖起大拇指或竖起大缺乏知识也是远离分面过滤的一个主要原因，其中参与者“认为你需要对笔记本电脑有技术上的了解”，或者提到他们“使用过滤器时经常感到不知所措，并且通常不知道从哪里开始购买笔记本所有这些评论都表明用户通常知道使用哪种决策辅助工具。然而，这不一定是由系统提供的，或者是他们参与的实验的主题对于以用户为中心的整体评估，这意味着视角太窄，因为仅解决了针对给定任务的特定推荐器的用户体验，忽略了与可能存在的其他方法的相互依赖性，并且根据当前情况可能更合适一些参与者明确表示，他们希望在必备过滤器创建的结果集中然而，这正是参与者通常不能做的为了从更广泛的角度评估推荐系统，我们建议通过应用以下评估方法来改进当前的实践，这些方法到目前为止仅用于单一方法，或者根本不使用。2.2. 离线实验和模拟研究：更丰富的数据，整个系统离线实验在推荐研究中得到了很好的建立[24]。然而，他们越来越多地受到批评，因为他们不允许从用户的角度获得相关的质量维度的见解[1，25，26]。然而，对于今天可用的大型数据集（例如，MovieLens、Netflix、Amazon），它们对于做出是否使用特定推荐方法的客观决策仍然至关重要。然而，大多数数据集仅限于隐式或显式的用户项反馈。即使它们表示不同的域，包含不同量的边信息，并且现在通常以顺序形式可用，这限制了可以从相应实验得出的结论，即，该算法产生更好的项目推荐。因此，我们认为，未来的离线实验应该进行更丰富的数据集的基础上，其中包括来自系统的所有组件的数据，如用户项目的反馈和搜索查询发出。因此，只要找到了足够的度量，就可以确定哪些决策辅助工具对个人用户最有效，并使他们保持更长的参与时间。更一般地，可以检查项目级别以上的系统支持，例如， 关于项目特征的推荐的客观质量，或者甚至关于切换到其他决策辅助的推荐的客观质量。这同样适用于模拟研究，最近才在推荐研究中获得更多关注[27]。通过模拟典型的用户行为， 关于批判机制[28]或随着时间的推移与项目的互动[29]，这种类型的实验在经济方面显示出强大的潜力。有了多个决策辅助工具，因此有了更大的设计空间，这将变得更加重要，在全局层面上也是如此，例如，研究长期的用户行为，关于何时使用推荐器的问题，或者另一个组件被认为是更合适的，并且可能对用户的进步做出更多此外，领域和其他因素，如产品类型（搜索与体验）、产品类别（廉价流媒体内容与 昂贵的高风险产品），并且给定的任务（目标导向的或探索性的）可能会影响哪种方法效果最好。因此，模拟研究可能是唯一的方法来调查偏好如何随着时间的推移而演变时，使用不同的决策辅助工具，并了解哪些互动效果可以发生在推荐和其他组件的东西，将永远不可能与实际用户。2.3. 以用户为中心的评估：多种决策辅助工具，富有洞察力的方法来自人机交互研究的众所周知的定性方法，这些方法经常用于以用户为中心的设计过程的开始，例如，焦点小组、访谈或背景调查[cf.30]，很少用于推荐系统领域然而，我们认为，这些技术可能是有用的，以获得洞察用户其他辅助决策。在这种情况下，值得注意的是，最近才发现，用户的心理模型不一定对应于推荐系统的实现，并且受到很大的个体间差异的然而，识别用户对系统行为的理解被认为对于评估推荐器的影响并改进它非常重要[32]。因此，为了更好地告知嵌入多个支持组件的应用程序的设计，不可避免地要更深入地探索这些模型，特别是，通过定性方法（如扎根理论[ 33 ]）和定量方法（如[ 34 ]中提出的），重点关注用户一旦一个（原型）推荐系统被实现，基于问卷的评估是衡量与用户体验相关的不同质量的最常见的方法 为此目的，存在完善的框架和调查问卷[例如，35，36，37]，然而，其强烈地集中在特定于推荐系统的维度另一方面，一般可用性调查问卷，例如， SUS [38]和UEQ [39]过于宽泛，无法得出关于这种或其他决策辅助工具是否适合优先选择和决策任务的结论。因此，现有的工具需要扩展，以允许一个更全球性的，主观的评估建议组件的背景下，他们被嵌入的应用程序中，因此，与其他方法的相互作用否则，将几乎不可能获得关于为什么用户偏好特定方法来执行特定任务的见解，并且更一般地，他们是否将使用更强连接的决策辅助，或者不喜欢这个想法，例如，因为它们期望更高的复杂性或具有增加的隐私问题。最后，我们想强调两个在当前推荐系统研究中没有受到太多关注的方面：现场和长期评价。前者是重要的，除其他外，因为问卷遇到的问题是，他们通常需要自我反思脱离实际的系统使用，更糟糕的是，往往从消费或项目的经验，这已被证明会影响评估的建议[40]。因此，我们认为有必要开发一种方法，对用户使用不同组件的动机进行定量现场评估通过直接嵌入到相应应用程序中的调查问卷，因为已经完成了研究在搜索引擎[41]或所选决策辅助工具[13]之间切换的原因。然而，这可能需要补充的定性方法，如有声思维过程，系统的用户观察，或阴影-技术，普遍流行，但也很少被应用在推荐研究。此外，眼睛跟踪可以被认为是有用的替代方案。由于破坏性较小，近年来变得更加流行，例如，在推荐界面和推荐呈现[42，43]，批评[44，45]和个人特征[46]的影响的研究中。然而，同样在这些情况下，参与者无论哪种方式，遵循这些方向都不足以理解用户在较长时间内如何与这些环境交互。因此，虽然重复的研究设计、纵向研究和实地研究在推荐研究中仍然很少见，只有极少数例外[例如， 47，48]，这些方法似乎是特别重要的，当采取更广泛的视角：目标和任务可能会随着时间的推移，这可能会对不同组件的使用产生重大影响。因此，仅相对于单个决策辅助表示长期用户行为的实验数据可能会扭曲图片，因为其他组件可能被感知为与用户行为无关。更适合于决策过程的其他背景或阶段。3. 结论总的来说，这似乎是重要的推荐领域的未来研究，但也为其他社区，面对的挑战，评估各自的方法在更类似于现实世界的环境中在这份立场文件中，我们解释了为什么我们这样想，并概述了如何应对这一挑战。通过这种方式，我们希望提高认识，当代的决策辅助工具，不仅需要从方法的角度来看，但需要更广泛的角度来评估的方法。当然，这可能会带来新的问题。例如，评估越全面，运行实验的努力和成本就越高，这些因素已经限制了学术界的许多研究。此外，设计实验和分析其结果的难度，以及应用程序特定的参数和可能的混杂因素的数量，随着考虑多于一个的决策辅助而增加。由于这些原因，仍然重要的是要记住大多数实验发生的具体情况，而不是认为在评估方法时更广泛的视角会自动得出更一般的结论。然而，我们可以肯定的是，最后，这可能会将重点从进一步改进效率较低或用户不想用于特定任务的决策辅助工具转移到那些在决策过程的各个阶段提供支持的潜力最大的决策辅助工具上。然而，就目前而言，我们希望至少鼓励讨论更广泛地使用所提到的评估方法，以获得更深入的见解，用户的理解和偏好的建议组件与其他决策辅助工具。当然，其他方法也同样可以使用，但我们将其留给未来的工作，以提供关于使用哪些方法和以何种顺序使用的更具体的建议致谢感谢Timm Kleemann，他为这里提到的研究实现了系统并在与本文作者相同的程度上为这项研究做出了贡献该研究部分得到了欧洲之星项目ACODA（批准号：01QE1946C）。引用[1] 芽孢下午Knijnenburg，M.梭Willemsen，Evaluating recommender systems with userexperiments ， in ： F. 里 奇 湖 罗 卡 奇 湾 Shapira （ Eds. ） ， Recommender SystemsHandbook，Springer US，Boston，MA，USA，2015，pp. 309-352[2] 梭上午Gomez-Uribe，N. Hunt，Netflix推荐系统：算法，商业价值和创新，ACMTransactions on Management Information Systems 6（2015）13：1-13：19。[3] 芽孢Smith，G.Linden，Two decades of recommender systems at Amazon.com，IEEEInternet Computing 21（2017）12-18。[4] 室巴埃萨-耶茨湾李明，现代信息检索，北京：计算机科学出版社，1999。[5] 先 生 上 午 Hearst ， Search User Interfaces ， Cambridge University Press ，Cambridge，UK，2009。[6] 克雷Ramesh，S.Ravishankaran，A.Joshi，K.Chandrasekaran，会话代理的设计技术调查，在：ICICCT'17：第二届信息，通信和计算技术国际会议论文集，Springer新加坡，新加坡，2017年，第10336-350[7] 上午阿南德湖卡弗登湾Joho，M.桑德森湾Stein，Conversational search（DagstuhlSeminar 19461），Dagstuhl Reports 9（2020）34[8] 例如Häubl，V. Trifts，在线购物环境中的消费者决策：交互式决策辅助工具的影响，营销科学19（2000）4[9] 美国Castagnos，N.Jones，P.Pu，361-364[10] J. Schaffer，J. Humann，J. O'Donovan，T. Höllerer，动态人类智能体认知的定量建模，在：M。学位McNeese，E.萨拉斯湾室Endsley（Eds.），当代研究：模型，方法论，和措施在分布式团队认知，CRC出版社，博卡拉顿，佛罗里达州，美国，2020年，页。137-186[11] 下午Virdi，A.学位Kalro，D.Sharma，在线决策辅助工具：决策风格和决策阶段的作用，国际零售分销管理杂志48（2020）555[12] 没 有 Kleemann ， M. 瓦 格 纳 湾 Loepp ， J.Ziegler ， Modeling user interaction at theconvergence of filtering mechanisms ， recommender algorithms and advisorycomponents，in：Mensch&Computer 2021- Tagungsband，ACM，New York，NY，USA，2021，pp. 531-543[13] 没有克莱曼湾Loepp，J. Ziegler，Towards multi-method support for product searchand recommendation，in：UMAP '22：AdjunctProceedingsofthe30thACMConferenceonUserModeling，AdaptationandPersonalization，ACM，NewYork，NY，USA，2022，pp. 74比79[14] 小时Garcia-Molina，G. Koutrika，A. Parameswaran，信息寻求：搜索、推荐和广告的融合，ACM通信54（2011）121-130。[15] 大 肠 小 时 Chi ， Blurring of the boundary between interactive search andrecommendation，in：IUI2.[16] 芽孢Loepp，关于智能决策辅助工具的收敛，在：UCAI[17] 上午学位Starke，M.Lee，Unifying recommender systems and conversational userinterfaces ， in ： CUI'22 ： Proceedingsofthe4thInternationalConference on Conversational User Interfaces ， ACM ， New York ，NY，USA，2022.[18] P. Clough，评价：在（搜索）框之外思考：FIRE '14：会议记录Forum for Information Retrieval Evaluation，ACM，New York，NY，USA，2015，pp.1-9[19] 学位Kelly，Methods for evaluating interactive information retrieval systems withusers，Foundations and Trends in Information Retrieval 3（2009）1[20] 梭Mulwa，S.Lawless，M.夏普Wade，The evaluation of adaptive and personalisedinformation retrieval systems：A review，International Journal of Knowledge andWeb Intelligence 2（2011）138[21] 上午芽孢科卡巴利湖Laranjo，E.Coiera，理解和测量会话界面中的用户体验，与计算机交互31（2019）192[22] 先生Jugovac，D.Jannach，与推荐者互动-[23] 学 位 Jannach ， A. Manzoor ， W. 蔡 湖 Chen ， A survey on conversationalrecommender systems，ACM Computing Surveys 54（2022）105：1[24] 上午Gunawardana，G. Shani，S.约杰夫 评估推荐系统， in：F. 里奇法律罗卡奇湾Shapira（Eds.），Recommender Systems Handbook，Springer，New York，NY，USA，2022，pp.547-601[25] 先生Rossetti，F.Stella，M.Zanker，在评估推荐算法时对比离线和在线结果，在：RecSys '16： Proceedings of the 10th ACM Conference on Recommender Systems，ACM，New York，NY，USA，2016，pp. 31-34[26] 没有雷霍雷克岛O.比扎河Bartyzal山口科尔迪克岛波瓦利耶夫岛Podstavek，比较推荐系统的离线和在线评估结果，在：REVEAL[27] 国Hazrati，F.Ricci，Simulating users ' interactions with recommender systems，in：Adjunct Proceedings of the 30th ACM Conference on User Modeling， Adaptation andPersonaliza-tion，ACM，New York，NY，USA，2022，pp. 95比98[28] 小时Xie、D.学位Wang，Y.Rao，T.-法律旺湖纽约克雷雷蒙德湖Chen，F.法律Wang， 将 用 户 体 验 融 入 基 于 评 论 的 推 荐 系 统 ： 基 于 复 合 批 判 的 协 作 方 法 ，International Journal of Machine Learning and Cybernetics 9（2018）837-852。[29] 大通McInerney，E.Elahi，J.巴西利科岛Raimond，T.Jebara，Accordion：长期交互系统的可训练模拟器102-113[30] 例如Cockton，可用性评估，人机交互百科全书（第2版）（2013）。[31] 没 有 Ngo ， J.Kunkel ， J.Ziegler ， Exploring mental models for transparent andcontrolled recommender systems：A qualitative study，in：UMAP183-191。[32] 先生先生Ghori，A.Dehpanah，J.Gemmell，H.卡赫里-萨雷米湾Mobasher，用户是否有推荐理论扎根理论研究，在：第30届ACM用户建模，适应和个性化会议的附属论文集，ACM，纽约，纽约，美国，2022年，页。167-174[33] J. Corbin，A.施特劳斯，《定性研究基础》：发展扎根理论的技术和程序，第3版，Sage Publications，Inc. Thousand Oaks，CA，USA，2008年。[34] J. Kunkel ， T. Ngo ， J. Ziegler ， N. Krämer ， Identifying group-specific mentalmodels of recommender systems：A novel quantitative approach，in：C.阿尔迪托河Lanzilotti，A.Malizia，H.Petrie，A.Piccinno，G.德索尔达湾Inkpen（Eds.），人机交互- INTERACT 2021，计算机科学讲义第12935卷，施普林格，柏林，德国，2021年，第12935383-404[35] 芽 孢 P. Knijnenburg ， M. 梭 Willemsen ， A. Kobsa ， A pragmatic procedure tosupport the user-centricevaluation of recommender systems ， in ： RecSys '11：Proceedings of the 5th ACM Conference on Recommender Systems，ACM，New York，NY，USA，2011，pp. 321-324[36] 下 午 普 湖 陈 河 ， 巴 西 - 地 Hu ， A user-centric evaluation framework forrecommender systems，in：RecSys157-164[37] 芽孢下午Knijnenburg，M.梭Willemsen，Z.Gantner，H.松库角Newell，Explainingthe user experience of recommender systems，User Modeling and User-AdaptedInteraction 22（2012）441[38] J. Brooke，SUS -一个快速和肮脏的可用性量表，在：工业可用性评估，Taylor&Francis，伦敦，英国，1996年，第100页。189-194.[39] 芽孢Laugwitz，T.保持，M。Schrepp，用户体验问卷的构建和评估，在：A。Holzinger （ Ed. ） ， HCI and Usability for Education and Work ， Volume 5298ofLecture Notes in Computer Science，Springer，Berlin，Germany，2008，pp.63比76[40] 芽孢Loepp，T.Donkers，T.Kleemann，J.Ziegler，项目消费对用户研究中推荐评估的影响，在：RecSys '18：第12届ACM推荐系统会议论文集，ACM，纽约，纽约，美国，2018年，pp. 49比53[41] 问. 郭河水渍White，Y.张湾，澳-地Anderson，S.没有Dumais，Why searchersswitch：Understanding and predicting engine switching rationales，in：SIGIR335-344[42] 问 . Zhao ， S.Chang ， F. 先 生 Harper ， J. 上 午 Konstan ， Gaze prediction forrecommender systems，in：RecSys131-138[43] 下午Gaspar，M.Kompan，J.Simko，M.Bielikova，推荐项目界面中的用户行为分析-眼动跟踪研究，在：IntRS '18：第五届推荐系统界面和人类决策联合研讨会论文集，2018年，第1032比36[44] 法 律 Chen ， F.Wang ， An eye-tracking study ： Implication to implicit critiquingfeedback elicitation in recommender systems，in：UMAP163-167.[45] 法律Chen，F.Wang，W.Wu，从眼球运动推断用户对推荐的批评反馈，在：上午Goel，M.芽孢迪亚斯-阿古多Roth-Berghofer（Eds.），基于案例的推理研究与开发，计算机科学讲义第9969卷，施普林格，柏林，德国，2016年，第100页。62比76[46] 先生Millecamp，N.国吞角Conati，K.Verbert，用户是什么Towards personalisingtransparency for music recommender interfaces，in：UMAP美国，2020，pp.173-182[47] 纽约Zhong，T.法律美国梅内塞斯河谷Kumar，Q.Zhao，F.先生相关视频推荐的实地研究：最新，最相似，还是最相关？in：Proceedings of the 12thACM Conferenceon Recommender Systems，ACM，New York，NY，USA，2018，pp. 274-278[48] 纽约Liang，M.梭Willemsen，探索轻推对用户音乐流派探索行为和收听偏好的纵向影响，在：RecSys '22：Proceedings of the 16th ACM Conference on RecommenderSystems，ACM，New York，NY，USA，to appear.