多模态交互与营养标签的效果评估及应用

使用多模态交互和营养标签GiovanniCastiglia1，Ayoub ElMajjodi2，FedericaCaldarica1，YasharDeldjoo1，FedelucioNarducci1，AlainStarke2，3和ChristophTrattner21理工学院大学的巴里，巴里，意大利2卑尔根大学信息科学与媒体研究系，挪威卑尔根3瓦赫宁根大学市场营销与消费者行为研究组，荷兰瓦赫宁根摘要人类通过各种方式与其他人及其周围环境互动，最明显的是言语，视觉和触觉。在对话中，所有这些输入都提供了另一个人感觉如何的概述在将这些模式转换为数字环境时，不幸的是，其中大多数都丢失了。大多数现有的会话式推荐系统（CRS）仅依赖于自然语言或基本的基于点击的交互。这项工作是第一个研究的影响，多模态交互会话式食品推荐系统。特别是，我们研究了三种不同的互动方式的效果：纯文本，多模态（文本加视觉），多模态补充营养标签。 我们进行了一项用户研究（���=195），以评估这三种交互方式如何有效地支持用户选择更健康的食物。结构方程模型显示，与单一模态系统相比，用户更广泛地参与带有标签的多模态系统，并反过来评价其更有效。关键词个性化，健康，食品推荐，数字助推，营养标签1. 导言和背景会话式推荐系统（CRS）是信息搜索领域的一个热门研究领域[1，2]。 它们将推荐算法的力量与会话策略相结合。使用多轮对话，CRS能够更深入地收集用户的细微差别和动态偏好，这可以增强推荐结果和用户体验。CRS用于各种领域，包括医疗诊断[3]、电子商务[4]和娱乐[5，6]。只有少数研究调查了它们在食物推荐方面的价值[7]，特别是鼓励用户做出更健康的食物决定。超过60%的死亡是由非-传染病， 这是可以预防的第四版知识感知和会话推荐系统（KaRS）研讨会@ RecSys 2022，2023年9月18日g.castiglia@www.example.comstudenti.poliba.it（G.Castiglia）; ayoub. uib.no（A. E. Majjodi）; studenti.poliba.it（F.Calcium）;yashar. poliba.it（Y. Deldjoo）; fedelucio. poliba.it（F. Narducci）; alain. uib.no（A. Starke）;christoph. uib.no（C.Trattner）https://www.christophtrattner.info/（C. Trattner）0000-0002-7478-5811（A. E. Majjodi）; 0000-0002-6767-358X（Y. Deldjoo）;0000-0002-9255-3256（F.Narducci）;0000-0002-9873-8016（A. Starke）;0000-0002-1193-0508（C.Trattner）© 2022本文版权归作者所有。在知识共享许可署名4.0国际（CC BY 4.0）下允许使用CEUR研讨会论文集（CEUR-WS.org）解决风险因素，例如获得健康的食物摄入量[8]。虽然我们的食物决定是由我们的整体偏好驱动的，但食物选择过程是非常有背景的，并受到各种因素的影响，例如用户此外，许多决定是自发做出的，消费者例如，带有营养标签的食品包装可以突出食品的营养性质（参见[10]）。此外，人们通常更喜欢具有更具视觉吸引力的外观的食物，例如以吸引人的方式呈现的食物[11]。人们愿意为食材组织得有品味/有吸引力的食物支付额外的费用，餐馆努力通过增强盘子的颜色组成来生成Instagram友好的照片。要使有效和健康的食品配方浮出水面，了解这些潜在的决定因素至关重要。遗憾的是，大多数现有的传统推荐系统[12，13]仅考虑单一类型的交互，例如自然语言或基于点击的交互，从而忽略了膳食的实际成像中的丰富信息[14]。当前工作的目标是采用一种新的会话模型来进行食物推荐，该模型允许更自然的、多模态的用户-系统交互。CEU Rhttp://ceur-ws.org讲习班ISSN1613-0073诉讼为了实现这一目标，本文介绍了一个多模态会话式食品推荐系统（MM-CFRS）. 它实现了不同的用户-系统交互模式，以及营养标签，以帮助用户做出饮食决定。我们的目标是检查-胺的影响，三种不同的互动模式：纯文本，多模态（文本加视觉），多模态补充营养标签。虽然多模态对话信息寻求（MMCIS）在RecSys/IR/HCI社区的研究中越来越受到关注[15，1，16]，但只有少数实用研究已经发表，这些研究关注食品和健康以外的主题，例如旅游业的保护系统[17]和时尚[18，19]。在食品推荐领域，Elsweileret al.[20]为食品推荐系统领域的最新进展提供了一个很好的参考框架。特别是对于会话系统，Barko-Sherif et al. [21]使用绿野仙踪研究设计（另见[22]），研究在食品推荐环境中诱导消费者偏好的可能性。使用组间方法，他们比较了口语和文本输入聊天界面，并报告说，这些界面对用户描述他们的需求和偏好是有用的。在其他研究中，Samagaio等人。[23]提出了一种基于RASA的聊天机器人，它可以识别和分类对话中的用户意图，旨在引出食物偏好以进行推荐。Samagaio等人的另一项研究 [24]应用了更多基于知识的元素，这些元素基于单词嵌入来优化对话成分检索。然而，这些研究较少关注与健康、健康标签或启发方式有关的方面在一个非会话推荐上下文中，El Majjodi et al. [25]最近指出，营养标签可以减少用户我们的工作和以前的研究之间的主要区别是缺乏多种模式（通常只使用文本），以及只有少数研究（例如，[25]使用营养标签。总之，本研究的目的是比较三种用户-系统交互和解释模式（文本、多模式和带营养标签的多模式）对行为方面（选择什么类型的食谱？这个食谱有多健康？）和评价方面（用户如何评价系统或他们选择的配方？）。使用中介分析（结构方程模型），我们回答以下研究问题：• RQ：在对话式食物推荐场景中，不同的交互模式在多大程度上为了解决这个问题，我们考虑不同的分析维度。这包括系统交互长度，呈现时间、所选食谱的健康性和用户2. 系统设计在本节中，我们描述了我们的会话式食物推荐系统的功能，该系统支持用户做出更健康的选择。1我们设计了一个系统驱动的对话，其中系统需要用户反馈（响应/输入）来继续。对话流程的主要步骤如图1所示。 用户可以使用按钮和文本消息2与系统交互。互动的主要步骤报告如下：• 食物类别获取：向用户呈现了在这项工作中考虑的四种不同食物类别的选择：意大利面、沙拉、甜点和零食。• 用户约束获取：然后提示用户指出任何潜在的饮食约束。最初，该系统使用的界面具有针对每个最常见的不耐受和过敏的单个复选框：乳糖、肉类、酒精、海鲜、反流、胆固醇、糖尿病。最后，系统要求用户披露她不能食用的成分列表。• 偏好引出：根据用户指定的约束，提示用户提交对系统提出的五个菜肴的偏好。每道菜都有两个按钮：“喜欢”和“跳过”。提供跳过选项是为了鼓励用户检查从随机排序的菜单中检索的附加菜。检索是基于一个随机的主动学习策略。通过这种方式，用户被鼓励喜欢他们感兴趣的五道菜，之后系统就会建立用户档案。• 处理：系统通过分析前一阶段用户的五个偏好来构建用户简档计算用户配置文件与目录中每个可用食物之间的余弦相似度，以提供将从中选择推荐的菜肴列表该算法还提供了一个根据健康程度排名的菜肴列表（基于FSA评分;见第3节）。1用于实现聊天机器人的代码和配方数据可在https://github.com/giocast/MMCFRS上获得2我们的系统的三个版本的视频演示可在https://tinyurl.com/mtzxr2sw图1：我们的会话式推荐系统流程。对于每个食物类别，我们构建了一个包含TF-IDF表示的矩阵（菜肴与在目录中的菜的成分）。TF-IDF分数越高• 推荐和解释：系统根据用户的偏好提供了两个个性化推荐。系统限制检索，以确保两个选项在健康方面不同，因此一个选项比另一个选项更健康。因此，该算法提供了对建议菜肴的描述。具体来说，它解释了为什么第二道菜比第一道菜更健康，以及为什么要制作广告。然后将提示用户选择一个或请求新的推荐。使用以下策略选择两个推荐菜肴：第一道菜将与用户配置文件最相似，而第二道菜（更健康的替代品）是从根据其FSA分数排名的最相似菜肴列表中选择的，选择最健康的一道（即，最健康的一道）。最低的FSA分数）。������根据表1，通过修改与两个操纵变量相关的值实现了三种不同的交互模式：交互变量和解释变量。在纯文本版本（T + T）中，系统仅通过文本与用户通信，简单地显示菜肴标题并提供食物推荐的文本解释。在多模态版本（MM + T）中，系统使用户参与多模态表1系统的三种实现方式之间的差异交互模式I E纯文本（T）TT多模态（MM）MMT带标签的多模式（MM-Label）MM MM在整个对话中，通过显示每道菜的名称和图像，但是，所提供的说明仍为文本。对于第一道菜，解释可以像我建议的第一道菜包含您可能喜欢的成分对于第二推荐，说明还提供了关于两种推荐菜肴的大量营养素量的信息，并且可以是第三个版本的MM标签（MM + MM）同样采用了多模式交互方法，但它也使用了包装前营养标签形式的营养说明，并带有FSAMTL营养标签描述了食物在能量和营养含量方面的摄入充足性，沿着五个维度：能量（千卡），脂肪，饱和物，糖和盐。这种充足性，每份和每100克，使用绿色，黄色和红色来描述，其中绿色表示菜肴符合营养摄入指南，而红色表示含量不可接受。这些标签是由图2：系统的三个实现。界面上显示的一些细节，如聊天机器人和作者的姓名是匿名的，将在同行评审后添加。根据食品标准局和英国卫生部的指示，为每道菜[26]。图2描绘了聊天机器人原型的快照，可视化了不同的交互阶段。在文本（T）版本中，用户接收仅由菜肴的名称标识的推荐（例如，蛋糕公主的香草蛋糕，浮岛II）。推荐之后是文本解释，基于用户喜欢的菜肴中的成分。营养成分的比较分析（例如， 在多模式（MM）版本中，系统还提供了推荐菜肴的图像。 解释与T版本中的解释相似。最后，带有标签的多模式（MM-标签）版本提供了营养标签，这些标签被注释到所描绘的图像（例如，糖2.3g，脂肪10.7g等）呈现在推荐中，我们为用户提供解释，帮助她理解第二种选择在第一种选择之上的健康益处，第二种选择是最符合她的喜好的菜。这可以通过文本（T和MM变体）或多个红绿灯营养标签（MM标签）来实现。用户可以接受推荐的两道菜之一，也可以要求另一个推荐。3. 实验评价为了评估不同版本的聊天机器人对用户评估和决策的影响程度，我们重新筛选了195名来自Amazon MTurk的参与者来使用我们的系统。参与者必须达到95%以上的命中率，并获得2美元的补偿。平均而言，用户需要大约15分钟才能完成研究。3个用户根据FSA的得分如前所述，在介绍了3研究符合挪威研究数据中心（NSD）的伦理标准。收集的数据可在表2问卷项目采用验证性因素分析。Alpha表示Cronbach灰色和未加载的项目从分析中省略选择满意度没有形成一个合理的方面，因为缺乏结构效度。方面项目加载选择满意度我想，我会喜欢吃我最后选择的菜我会把我最终选择的菜推荐我很容易就做出了最后的选择0.737在得到我选择的菜之前，我与系统进行了很多系统效能这个解释影响了我最后对菜肴的选择我想，我会经常使用这个系统阿尔法= 0.740我发现该系统易于使用和理解0.724AVE = 0.534我对使用这个系统很有信心0.661我可以想象，大多数人会很快学会使用这个系统0.722执行第2节中概述的过程，与我们的聊天机器人交互以获取偏好，评估食谱推荐，选择一个食谱，并评估体验。通过选择满意度和系统有效性对用户体验进行评估，使用5点Likert量表评估的问卷项目。选择的食谱根据其健康程度进行评估。使用FSA评分进行评估[27]。每个食谱的评分在4到12之间，其中4表示所有四种营养素（糖，脂肪，饱和脂肪，盐）都符合每100 g的营养指南[9，28]，而 12则表示食谱不健康，因为所有营养成分都太高。对评价问卷项目的答复进行了验证性因素分析（CFA;见表2）。不幸的是，我们无法推断出一个可靠的选择满意度结构，因为问卷项目解释的方差太低，而Cronbach 'sAlpha值仅为0.60。 其他项目从系统有效性方面被删除，因为低因素负荷。我们组织了不同的因素（例如，会话时间，条件因素）和方面（即，系统有效性）转化为路径模型。 图3 描绘了所得模型，其具有递减拟合统计量：���2（17）= 28.064，���<0.05，C������= 0.969，���������= 0.954,R������������ = 0.058,90% − C���:[0.009,0.095].这些方面的相关AVE 足够高，可以形成路径模型[29]。我们的分析显示，带有营养标签的MM标签条件（MM标签）在用户与我们的聊天机器人互动的时间方面表现突出。图3说明了这一点，而单独使用多模态方法对所考虑的相互作用或评估因素没有影响对于MM标签，我们的中介分析表明，在MM标签条件下，项目与基于文本的条件相比，任务持续时间显著更长（0.05）。���这表明，营养标签的使用影响谈话时间，在其他模式之上保护期的长短反过来又影响到使用者的评价从我们的验证性因素分析推断（参见。表2），与聊天机器人交 互时间更 长的用户 表示系统有 效性更高（0.01）。��� 这表明，长期参与并没有使用户感到沮丧。相反，它表明他们对使用该系统充满热情。图3还显示，所选食谱的健康程度与任何其他方面或因素都没有显着相关。请注意，MM标签条件导致最健康的食谱选择，但与其他条件的差异并不显著。4. 结论和今后的工作我们已经提出了一种新颖的聊天机器人式推荐系统，该系统在与用户的交互中引入多模态，在对话场景中呈现结果并解释营养标签的推荐我们设计并分析了三种不同版本的聊天机器人的影响：纯文本，多模态（使用文本和图像）和多模态补充营养标签。我们的实验评估表明，我们的聊天机器人在伴随解释性标签时是最有效的这通过对话的长度以及用户对系统有效性的评价来指示本研究的局限性可以从不同的角度来看。在分析方面，我们一直无法推断出选择满意度评价方面。其他研究表明，决策满意度是与所选项目互动后参与的良好预测因素，例如家庭能源控制。图3：结构方程模型（SEM）。箭头上的数字表示���系数，括号内表示标准误差。 主观结构之间的效应是标准化的，可以被认为是相关的，其他效应显示回归系数。 方面按颜色分组：目标系统方面为紫色，行为指示器是蓝色的（注意：FSA分数代表食谱不健康），经验方面是橙色的。 较细的箭头是不显著的关系，此外：���<0.001，���<0.01，���<0.05。[30]. 此外，不是仅仅依赖于系统驱动的交互，研究用户驱动的场景可能是有趣的和自然的，其中用户可以用图像和文本查询来查询系统。在这项工作中考虑的食物类别（意大利面，沙拉，甜点，小吃）还可以扩展到包括更多的膳食类别及其组合，例如创建完整的肉类（第一道菜，第二道菜和蔬菜）。 最重要的是，不同标签模式之间的区别是我们希望更深入研究的另一个有趣的话题[31]。引用[1] H. Zamani ， J. R. 作 者 ： J. Radlinski ，Conversationalinformationseeking ， arXivpreprintarXiv：2201.08808（2022）.[2] D. Jannach ， A.Manzoor ， W. 蔡 湖 ， 加 - 地Chen，Asurveyonconversationalrecommendersystems ， ACMComputingSurveys54（2022）1-36。doi：10.1145/3453154。[3] P. Cordero， M.Enciso ， D. 洛 佩 斯 角Mora， Aconversationalrecommendersystemfordiagnosis using fuzzy rules ， Expert Systemswith Applications 154（2020）113449. doi ：10.1016/j。是的。2020年。113449。[4] D. Griol，J. Milina，从XML到多模式移动应用程序 ： 实 用 会 话 界 面 的 开 发 ， ADCAIJ Adv.Distrib.Comput.第内特尔J. 5（2016）43.[5] F. Narducci，P.巴西勒湾de Gemmis，P.Lops，G.Se-meraro，音乐领域会话式推荐系统的用户交互模式研究，用户模型。用户适 应 。 互 动 . 30 （ 2020 ） 251-284. 网 址 ：doi.org/10.1007/s11257-019-09250-7。doi：10.1007/s11257-019-09250-7。[6] A. Iovine ， F. Narducci ， G. Semeraro ，Conversa-tionalRecommenderSystemsandNatural Language：：通过逆向框架的研究，德-顺。支持系统131（2020）113250.网址：https：//doi.org/10.1016/j.dss.2020.113250.00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000doi ： 10 。 1016/j 。dss.2020.113250。[7] C. Trattner，D.Elsweiler，食品建议，在：协作建议：算法，实际挑战和应用，世界科学，2019年，第100页。653-685[8] R. Y. Toledo，A. A.阿尔扎赫拉尼湖Martinez，考虑营养信息和用户偏好的食品推荐系统，IEEEAccess 7（2019）96695-96711。[9] A. D. Starke，M. C.威廉森角Trattner，通过视觉吸引力在食物搜索中进行健康选择，人工智能前沿4（2021）621743。[10] E. J. Van Loo，C. Grebitus，J. Roosen，通过消费者民族中心主义解释对原产地标记奶酪的关注 和 选 择 ， 食 品 质 量 和 偏 好 78 （ 2019 ）103716。[11] Y. Peng，J.B. Jemott III，眼睛的盛宴：食物感知和计算机视觉功能对食物照片受欢迎程度的影响。国际传播杂志（19328036）12（2018）。[12] C. Zhou，Y. Jin，K. Zhang，J. Yuan，S. Li，X.王 ， Musicrobot ： Towards conversationalcontext- aware music recommender system ，in ： International Conference on DatabaseSystems for Ad.Vanced Applications，Springer，2018，pp.817-820[13] J. Schaffer，T.Hollerer，J.507-512[14] Y.德尔朱，M。放大图片作者简介：G. Pasi，利用 多 媒 体 内 容 的 推 荐 系 统 ACM 计 算 调 查（CSUR）53（2020）1[15] Y. Deldjoo，J.R. Trippas，H.Zamani，Towardsmulti-modalconversationalinformationseeking，in：第44届国际ACM SIGIR信息检索研究与开发会议，2021年1577-1587年。[16] R. G. Sousa，P.M. 费雷拉山口M. Costa，P.阿泽维多，J. P. 科斯泰拉角Santiago，J.Magalhaes，D.塞梅多，R. Ferreira，A.I. Rudnicky等人，ifetch：在线时尚市场的多模态对话代理，载于：第二届ACM多模态对话AI多媒体研讨会论文集，2021年，pp.25-26[17] L. 廖湖，加-地H. 朗，Z.Zhang，M.黄宗宪S.Chua，Mmconv：跨多个领域的多模态会话搜索环境，见：第44届国际ACM SIGIR信息检索研究与开发会议论文集，2021年，pp.675-684.[18] S.穆恩，S。Kottur，P. A. Crook，A. De，S.波德达，T。Levin，D.Whitney，D.Difranco，A.贝拉米，E. Cho等人，位置和交互式多模态对话，arXiv预印本arXiv：2006.01460（2020）。[19] Y. Yuan，W. Lam，通过多轮自然语言反馈进行对话式时尚图像检索，在：第44届国际ACM SI-GIR信息检索研究与开发会议论文集，2021年，第101页。839-848[20] D. Elsweiler ， H. 豪 普 特 曼 角 Trattner ，Foodrecommender systems，in：RecommenderSystems Handbook ， Springer ， 2022 ， pp.871-925[21] S. Barko-Sherif，D. Elsweiler，M. Harvey，食谱推荐的转换代理，在：2020年人类信息交互和检索会议的筹备工作，2020年，pp. 73比82[22] A. Steinfeld，O. C.詹金斯湾Scassellati，巫师的奥兹：模 拟人类的交互 研究，在：第四 届ACM/IEEE人机交互国际会议论文集，2009年，第101页。101比108[23] × 。 Mendes Samagaio ， H.Lopes Cardoso ，D.Ribeiro，一个用于食谱推荐和偏好建模的聊天 机 器 人 ， 在 ： EPIA 人 工 智 能 会 议 ，Springer，2021，pp.389-402.[24] × 。 M. Samagaio ， H.Lopes Cardoso， D. 里 贝罗，用食物知识丰富单词嵌入，成分检索，载于：第三届语言、数据和知识会议 （ LDK 2021 ） ， Schloss Dagstuhl-Leibniz-Zentrum für Informatik，2021年。[25] A. El Majjodi， A. D. 斯 塔克 角 《走 向 健 康》（Nugging towards health）在食谱推荐系统中研究营养标签和个性化的优点，在：第30届ACM用户建模，适应和个性化会议论文集，2022年，pp.48比56[26] 英国卫生和社会保健部，包装前营养标签指南，2016年。网址：https://www.gov.uk/government/publications/front-of-pack-nutrition-labelling-guidance。[27] D.的健康英国，F. S. 创建前线指南 的包 （fop） 营养的，营养的 通过零售店销售的预先包装产品的标签（2016年）。网址：https：//assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/566251/FoP_Nutrition_labelling_UK_guidance.pdf。[28] C. Trattner，D.Elsweiler，调查互联网来源的食谱的健康性：对膳食计划和推荐系统的影响，在：第26届万维网国际会议上的会议，ACM，纽约，纽约，美国，2017年，第100页。489-498.[29] B. P. P. C. Willemsen，Evaluating recommendersystemswithuserexperiments ， in ：Recommender systems handbook ， Springer ，2015，pp.309-352[30] A. Starke ， M. 威 廉 森 角 Snijders ， EffectiveUserInterfaceDesignstoIncreaseEnergyEfficientRecommenderSystem，in：Proceedings of the eleventh ACM conference onrecommender systems，2017，pp.六十五比七十三[31] Y. 德尔朱，M。舍德尔湾Hidasi，Y.Wei，X.他，多媒体推荐系统：算法和挑战，在：推荐系统手册，施普林格，2022年，页。973-1014