基于深度学习的图像聚类和社区检测的食物推荐系统

智能系统与应用16（2022）200157基于深度图像聚类和社区检测的有效可解释食物推荐Mehrdad Rostamia，Mr.，Usman Muhammada，Saman Forouzandehb，Kamal Berahmandc，Vahid Farrahia，d，Mourad Oussalaha，d芬兰奥卢大学机器视觉与信号分析中心（CMVS）b澳大利亚新南威尔士州悉尼新南威尔士大学数学与统计学院c澳大利亚昆士兰科技大学科学与工程学院计算机科学学院d芬兰奥卢大学医学成像、物理和技术研究所A R T I C L E I N F O A B S T R A C T关键词：推荐系统食物推荐EX plainable arti ficial intelligence深度学习在食物饮食传播领域，图像传达了重要的信息，以捕捉用户的注意力超出了传统的成分内容，使其成为至关重要的，在用户的决策有关的相关性，一个给定的饮食。通过使用基于深度学习的图像聚类方法，本文提出了一种EX plainable食物推荐系统，该系统使用食物的视觉内容来证明他们的推荐。推荐系统。特别是，一个新的相似性分数的基础上的趋势措施，量化的程度，用户社区更喜欢一个给定的食物类别被引入并纳入推荐。最后，基于规则的可解释性，以提高推荐结果的透明度和可解释性。我们在爬行数据集上的实验表明，与其他现有的食物推荐方法相比，该方法在精确度，召回率，F1和归一化折扣累积增益（NDCG）方面分别提高了推荐质量7.35%，6.70%，7.32%和14.38%此外，消融研究是为了证明我们的推荐系统的各个组成部分的技术可靠性。1. 介绍纵观人类历史，食物一直是生活的一个重要方面为了人类的生存，人类必须首先识别和寻找食物。如今，饮食选择已经变得越来越重要，以提供基本的营养，卡路里，口味，心理健康和社会文化因素（Kim Chung，2020，Premasundari Yamini，2019，Srilakshmi等人，2022，Tran等人，2021年）。肥胖和糖尿病的增加主要是由我们的饮食方式引起的（Bishop等人，2021，Molina-Ayala等人，2022，Zhu等人，2022年）。全球疾病负担研究表明，饮食模式对营养不良、肥胖和肥胖阈值有显著影响，这些不健康的饮食每年导致1100万例可预防的早期死亡（Wang et al.，2019年）。作为科学的一个新分支，食品推荐系统开始出现以解决这些问题（Agapito等人，2017年，James等人，2018年，Lee等人，2020，Norouzi等人，2017年，Subramaniyaswamy等人，2019年）。为了满足基本的生物/生理需求通讯作者。电子邮件地址：Mehrdad.Rostami@oulu. fi（M. Rostami）。https://doi.org/10.1016/j.iswa.2022.200157对于个人，该策略寻求为他们提供一系列合适的食品，以使他们能够进行日常活动和超越日常活动，同时满足他们的饮食偏好（Ali等人，2018，Chen Toumazou，2019，Vaishali Shukla，2019）.在过去十年中，全球网络技术和手机设备呈指数级增长（Halim等人，2019年，Halim Rehan，2020年）。如今，人们可以从各种来源获得大量的交互式数字食品信息，包括博客、社交网络和消费者产品评论（Ding等人，2022，Kang等人，2022，Samad等人，2022，Zhang等人，2022年）。由于这种扩展为用户提供了更多的选择，这也使他们在从广泛的食物选择中进行选择时更具挑战性。因此，食品推荐对于满足潜在客户需求以及因此帮助消费者容易地找到适当的食品推荐变得越来越重要（Gusnedi等人，2022，Subramaniyaswamy等人，2019年）。接收日期：2022年9月16日;接收日期：2022年10月31日;接受日期：2022年2022年11月23日在线提供2667-3053/© 2022作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applications*M.罗斯塔米大学穆罕默德，S。Forouzandeh等人智能系统与应用16（2022）2001572Fig. 1. 对应于喜欢鸡翅的用户1.1. 差距分析近年来已经开发了几种食物推荐系统，以基于一些预定的标准集来预测和/或指导人们尽管先前的食物推荐系统在通过映射与食物项目和食谱的历史交互来学习用户偏好方面实现了良好的性能，但是这些系统仍然存在两个显著的限制。第一个是在食物推荐过程中忽略食物图像的潜在影响（如果有的话）。事实上，食品图像可以传达更多的吸引力，而不仅仅是成分表，因为它们可能会影响消费者例如，可以根据切割和烹饪方式来品尝某些成分，而食物内容仍然不变。这测试了食物布局的潜力，可以通过其视觉内容来说明。因此，正如中国谚语“一图胜千言”所述因此，在提供食物推荐时，适当考虑食物图像的视觉语义是至关重要的图1中示出了一个示例，其显示了用户及其四个最近的食物选择。从他品尝的食谱中可以明显看出，该用户喜欢包括鸡翅的食物。另一方面，在有害的食物推荐系统中缺乏解释或透明度是限制食物推荐系统广泛传播的另一个主要限制/挑战。实际上，对于所生成的食物推荐缺乏令人信服的解释可能使得用户不愿意采用它或遵循它的更新。因此，一个好的和有效的食物推荐是一个向每个人解释为什么一个特定的食物饮食推荐给他/她。我们已经解决了上述限制，在这项研究中，通过开发一个新的可解释的视觉食物推荐系统，以下独特的特点：• 图像感知食物推荐（IFR）：与不确定的食物推荐系统（Chavan等人，2021，Rostami等人，2022年，Trattner Elsweiler，2017年）忽略食物图像，我们开发了一种新的卷积神经网络模型，可用的相关食物图像来执行定制的聚类任务，其被合并以导出食物推荐。• 可解释的食物推荐（XFR）：我们的食物推荐系统采用基于规则挖掘的方法，加入一个有效的可解释模块，解释向目标用户推荐特定推荐的原因。特别是，可解释模块识别预测是否用户将可能对他/她先前尝过（或评价过）的食物感兴趣。据我们所知，这是第一个将可解释性纳入食品推荐系统的工作。• 时间感知的食物推荐（TFR）：介绍了一种新的时间感知的食物推荐，该推荐在食物评级预测中考虑了评级的时间信息。在我们开发的系统中，不同于以前的食物推荐系统（Gao等人，2019年，2022年，Daughy等人，2021，Teng等人，2012），加权机制被设计为处理不同评级的时间因素的重要性，其中旧评级被分配比新评级低的重要性分数。这种时间感知功能将用户的偏好动态地纳入推荐过程。• 用户社区和食物组感知的食物推荐（UCFG）：认识到社区在指导用户饮食行为方面的重要性，我们的模型考虑了通过聚类用户的口味偏好而生成的社区。为此，引入了一种新的措施来计算每个用户社区中的个人对每个食物组的倾向，可以在向用户推荐新食物时使用。1.2. 研究问题在本文中，解决了以下研究问题，以减轻以前的食物推荐模型的缺点• RQ1：如何将食物图片整合到食物推荐流程中？为了回答这个研究问题，在第3节中提出了一种新的深度学习模型，该模型将食物图像聚类与时间感知的用户相似性（对账户或用户的评级）以及用户的社区相结合• RQ2：如何开发推荐系统的推荐是公正的用户？为了回答这个研究问题，在3.5节中提出了一种基于规则的方法，使用关联规则挖掘方法。• RQ3：使用用户社区和食物组对推荐系统的最终性能有什么影响？为了回答这个研究问题，已经进行了一组实验，记录了有和没有视觉组件的结果。这在本文第4节中有所报道本文的其余部分组织如下。我们在第二节中回顾了文学。第3节详细介绍了开发的系统。实验结果及其讨论见第4节。最后，第5节总结了本文，并提出了一些未来的方向。2. 文献综述本节首先简要介绍推荐系统，然后区分最先进的EX plainable、Image- aware、Time-aware和User/Food group aware推荐系统。每一组都在各自的小节中进一步讨论。最后，表1总结了所研究的食物推荐系统及其方法、动机和局限性，同时提供了对我们提出的模型的贡献和局限性的M.罗斯塔米大学穆罕默德，S。Forouzandeh等人智能系统与应用16（2022）20015732.1. 推荐系统推荐系统是近几十年来学术界、商业界和服务业中活跃的研究领域之一（Karimi等人，2018年，Kunaver Požrl，2017年）。从方法论的角度来看，我们可以区分推荐系统中采用的三种主要技术基于内容的过滤推荐系统（Albatayneh等人，2022，Van Dat等人，2022）旨在通过tak- 考虑到用户的偏好和项目的内容。它根据用户先前喜欢的产品信息构造用户的偏好，计算候选项与偏好模型之间的相似度，并推荐与用户偏好最相似的项。从本质上讲，CB系统的目标是用户以前喜欢的项目。协同过滤（CF）技术向目标用户推荐根据具有类似偏好的先前用户兴趣的项目（Forouzandeh等人，#20222;，不管这些项目的内容如何。特别地，在CF中，挖掘用户和项目之间的历史关系，以确定这些用户的偏好，然后根据预测的偏好对候选项目进行排序，从而产生推荐。CF根据其他用户的意见提供决策帮助。我们区分了基于用户的CF和基于项目的CF。基于用户的CF将每个用户表示为评分向量，并基于其他用户对同一项目的评分的加权平均值来预测用户对新项目的缺失评分。基于项目的CF将每个项目表示为评分向量，然后根据相似项目评分的加权平均值预测缺失评分。其他创造和谐的重要策略也包括在hy-杂交方法（Forouzandeh，Berahmand，Nasiri等，2021年），其中将协作过滤和基于内容的方法结合起来，用另一种方法弥补一种方法的弱点。这被称为混合滤波技术，该技术预计将产生比单一算法更准确和实 用 的 建 议 （ Forouzandeh ， Berahmand ， Rostami ， 2021 ，Forouzandeh，Rostami等人，2021年）。2.2. 可解释推荐系统可解释的推荐系统旨在提出不仅开发准确推荐而且开发适当解释的方法，例如为什么特定项目被推荐给给定目标用户，最终产生更透明，有说服力，有效，可信和用户友好的结果。在可解释AI的文献中，我们区分了模型内在（或pre-hoc）和模型不可知的可解释性（Lipton，2018）。前者主张人工智能系统根据其推理系统解释其决策（Zhang et al.， 2014），而模型不可知论的可解释性则侧重于在不知道模型内部机制的情况下解释模型输出（Peake Wang，2018）。特别是，模型无关的方法使得决策机制成为一个黑盒子. 这两种类型的解释深深植根于人类的认知心理学在方法论框架方面，可解释的数据库-模型可以分为七类：因子分解模型，主题建模，基于图的模型，基于深度学习的模型，基于知识图的模型，规则挖掘模型和事后EX可解释的建议（张晨，2020）。为了解释推荐模型，用户或项目的内容信息被用来促进他们的决策过程。Shimizu等人（2022）使用改进的知识图注意力网络模型开发了一种新的可解释推荐模型，该模型利用项目的内容信息来实现高推荐性能此外，在这项研究中，在拟议的框架中提供的建议的视觉表示，使直接的解释。此外，解释可以帮助改善用户体验和检测系统缺陷。通过提高透明度在表示学习过程中，Liu等人（2020）开发了一个可解释的推荐模型。为了克服传统模型的纠缠表示问题，本文对图卷积的概念进行了修正，使其能够区分不同层的信息2.3. 图像感知推荐系统在过去的几年中，基于图像的推荐模型已经变得越来越流行（Hiriyannaiah等人，2020，Sulthana等人，2020，Ullah等人，2019年，Yu等人，2021年）。考虑到由于物品是最先吸引眼球的东西，因此将图片表示视为分析物品内容的黄金标准似乎是直观的。信息的视觉方面在人类决策中起着重要作用。这种美学因素对于预测用户偏好是非常重要的基于物品的图像，这些模型能够确定该物品的内容（Yu等人，2021年）。传统的基于图像的推荐系统使用用户评价项目的图像然后，它返回最有可能的项目的基础上，他们的邻居喜欢的图像的目标用户在Yu等人（2021）中，研究了使用隐式反馈数据集的推荐系统中美学特征的使用。为了捕捉用户的审美偏好，作者开发了一种方法，将审美特征纳入张量因子分解模型，并利用视觉信息对其进行优化。Hiriyannaiah等人（2020）使用深度视觉包围相似性度量和卷积自动编码器开发了一种图像感知推荐系统。在他们的研究中，基于深度学习的相似性度量被用来寻找训练的特征向量和目标特征向量之间的相似性。使用多视图视觉信息和隐式反馈数据，Zhang，Luo等人（2020）的作者开发了一种用于推荐餐馆的新因子分解模型。在他们的研究中，使用深度卷积网络，从图像中提取视觉特征（视觉信息），并将其集成到基于协作滤波的推荐系统中。2.4. 时间感知推荐系统在时间感知推荐系统中，用户的偏好通过考虑时间动态来建模。时间模型强调用户的偏好如何随着时间和上下文而变化。在过去的几年里，漂移概念已经通过开发不同的时间感知建议系统得到了解决（Ahmadian等人，2022，Cui et例如，2020年，Noulapeu Nga Nagio等人，2021，Rostami等人，2022年，Sánchez- Moreno等人，2020年）。Sánchez-Moreno等人（2020）的作者开发了一种基于时间感知的音乐推荐系统，该系统基于对隐式用户偏好随时间的建模。为了向用户提供更好的推荐，他们采用协同过滤方法，每天捕捉用户的收听习惯。Kefalas和Manolopoulos（2017）使用两种统一的方法来开发一个时间感知的推荐系统，同时考虑空间，文本和时间元素。他们的方法还通过考虑时间维度来评估时间对不同时间间隔的影响。 在Zhao等人（2021）中，用户偏差被认为是为了捕捉用户的偏好变化。在上下文感知推荐系统中，作者首先研究了时变对用户偏好和项目偏好的影响，然后提出了一种时变偏好张量分解方法。M.罗斯塔米大学穆罕默德，S。Forouzandeh等人智能系统与应用16（2022）20015742.5. 用户/项目组感知推荐系统在推荐系统中使用社区检测算法对相似用户或相似项目进行分组（Deebak Al-Turjman，2020年，Rostami等人，2022年，Viktoratos等人， 2018年，Wang等人，2020年）。社区检测技术被证明可以提高这些系统中评级预测的准确性，并改善冷启动和稀疏数据问题的处理。Chen和Toumazou（2019）提出了个性化推荐系统，该系统通过生成时间感知矩阵来更好地捕捉用户的兴趣。作者Viktoratos等人（2018）提出了一种结合社区检测和关联规则挖掘技术的上下文感知推荐系统。Zhang，Qu等人（2020）开发了基于图嵌入的方法，用于检测协作过滤推荐系统中的群体先令攻击。在他们的论文中，作者首先分析了用户评级以创建一个用户网络，然后将每个节点，具有低维向量rep，怨恨然后，他们使用聚类方法来识别候选社区的基础上产生的用户的特征2.6. 食品推荐系统自从推荐系统在娱乐行业中被引入并流行以来，推荐系统在健康服务中获得了越来越多的关注，特别是，其具有引导用户走向健康生活方式的潜力。此外，由于与生活方式有关的疾病，如糖尿病和肥胖症的大量增加，这可能导致几种常规疾病，选择适当的饮食是至关重要的问题。这揭示了食物推荐系统的重要性，该食物推荐系统可以引导用户走向更健康的饮食，同时在一定程度上适应他/她的食物偏好。食品领域中的大多数当前研究集中于根据用户的偏好向用户提供对喜爱的食品的推荐（Lee等人，2020年）。Min等人的研究（2019）回顾了以前的食品推荐系统及其理论框架、现有解决方案和挑战。当考虑到可以推断味道、成分和食物内容的各种上下文信息以及可以用于用户个人资料描述的各种方法时，作者强调了食物推荐系统的多模式方面。Starke和Trattner（2021）建议如何通过将新方法整合到所呈现的内容和决策背景中来支持健康食品选择。作者给出了一个多列表推荐界面，以帮助健康食品的生成基于Net WebX用户界面。在Ge等人（2015）中，开发了一种新的系统，允许用户悬停在他们的偏好和健康状况上。该系统是在Android平台上开发的。他们的工作提出了一个个性化的健康意识食品推荐系统，名为Martet2Dish。 这个系统的主要目的是帮助人们找到个性化的食物和保持健康的饮食，从而避免由不健康的饮食方式引起的疾病。 Sookrah等人（2019）提出了一个DASH饮食推荐系统，以建议健康的菜单和菜肴。推荐的菜肴旨在帮助高血压患者控制饮食，防止健康并发症。在Oh等人（2010）中，提出了一种用于健康护理应用的上下文感知食物推荐系统。他们提出的方法称为u-BabSang，在餐桌上提供个性化的食物推荐清单，一本典型的韩国医学书Rehman et al.（2017）强调，选择适合患者的饮食必须满足其营养需求。他们开发了一个基于云的食物推荐系统，称为Diet-Right，用于根据用户的病理信息提供饮食建议，以管理这个问题。该模型采用蚁群算法生成最优食物列表，并根据该值推荐合适的食物病理报告。在Maia和Ferreira（2018年）中，基于矩阵分解和特征工程的上下文感知食物识别系统被开发用于使用移动设备和医疗记录的健康护理应用。用户可以从附近的食物场所获得食物推荐，他们可以根据可用的建议实时在Thongsri等人（2022年）的研究中，作者开发了一种基于协同过滤和背包方法相结合的个性化健康食品推荐系统。他们的研究结果表明，完全的用户满意度和屏幕设计效率。由于我们研究的主要目标是使用基于深度学习的食物图像聚类来开发一种新的食物推荐系统，因此我们也将回顾一些以前的基于深度学习的推荐系统。在Naik（2020）中，作者提出了一个基于深度学习的训练推荐系统，该系统基于已经使用过产品的客户收到的推荐。在他们的方法中，每个人都有自己的饮食模式，基于用户的选择和反对，这表明个性化的饮食是必不可少的。所开发的食物推荐方法使用深度学习算法和遗传算法来提供最佳推荐。在Gao等人（2022）中，使用图形卷积网络，开发了一种基于成分-成分，成分-食谱和食谱-用户关系的新食品推荐系统。为了描述不同食物相关关系之间的高阶连通性并增强表征，的作者采用了信息传播机制，多个嵌入传播层。在Gao等人（2019）中，开发了一种用于食品推荐系统的基于深度学习的分层注意力模型。他们的系统能够：1）捕获类似用户吃什么的协作过滤效果; 2）基于他们的食物中的成分推断一个人的偏好;以及3）确定用户偏好的食物类型。 在Aditya等人（2021）中，建议使用机器学习模型的实时食物推荐系统，根据用户过去的订单向用户呈现菜肴。该解决方案已通过使用Flutter应用程序制作的移动应用程序实现。根据从食物推荐系统的文献中提取的差距分析，食物推荐领域为科学和研究团体提供了探索其各个方向的广泛机会。表1总结了所研究的食物推荐系统及其方法，贡献和局限性。基于四个杰出的因素组成的EXplainability，图像感知，时间感知，用户社区和食品组感知，我们提出的食品推荐系统被证明是唯一一个同时考虑所有上述四个方面。值得一提的是，上述食物推荐模型都没有在其推荐过程中考虑可解释性方面。这主要是由于这些模型主要集中于通过仅考虑直接影响推荐准确性的因素来提高推荐的准确性。然而，在食品推荐方面，可解释性往往至关重要，因为它会产生更多的信任建议. 因此，在本文中，我们开发了一种有效的同时考虑用户评级和食物图像的可解释的食物推荐系统。3. 开发的系统传统上，协作过滤未能捕获与项目相关联的视觉数据，其中当使用项目的视觉特征时，预期推荐模型会表现得更好（Hiriyannaiah等人，2020年）。我们的模型结合了基于食物图像内容的模型和社区感知推荐，这将在本节中详细介绍。此外，由于饮食的个性化性质，饮食习惯和社会团体方面，每个群体的人往往口味 该模型仅针对某一种食物，同时考虑了食物分组和用户社区检测。开发的模型称为M.罗斯塔米大学穆罕默德，S。Forouzandeh等人智能系统与应用16（2022）2001575--{}{}联系���我们（）下一页联系我们联系我们协同过滤和基于内容的模型的优势- 食物设置：=���- 建议：建议=������101，���102，���103，...，���̂���表1对所研究的食品推荐系统进行了总结参考方法贡献限制Starke和Trattner（2021）使用多个属性计算的多列表推荐（成分、营养等）无法解释。食物形象也被忽视Ge等人（2015）矩阵X因子分解考虑食物的健康因素它是不可解释的和时间感知的。食物图片和Sookrah et al.（2019）基于内容推荐健康菜单和菜肴。它是不可解释和时间感知的Oh等人（2010）上下文感知考虑用户配置文件，生理信号，感知环境数据。Albertman等人（2017）基于蚁群优化的满足营养需求的食品推荐患者Maia和Ferreira（2018）上下文感知开发一种新的矩阵分解和特征工程模型Thongsri等人（2022）协同过滤推荐使用背包为基础的健康食品算法Naik（2020）协作过滤使用深度学习和遗传算法不考虑无法解释。不考虑时间和食物图像不考虑不考虑食物含量。缺乏透明度和解释缺乏可解释性。不考虑食物成分Gao等人（2022）混合动力车型EX利用原料-原料、原料-食品和食品-用户的联系由于缺乏对时间因素的考虑，无法有效地处理用户Gao等人（2019）混合模型图像感知的分层注意力图建议缺乏可解释性。不考虑用户速率Aditya等人（2021）协同过滤开发深度矩阵分解模型时间和食物图像不被考虑。不可解释开发系统混合模型使用食谱图像识别食物组我们发达的系统不能保证推荐的食物是健康的通过深度图像聚类的E-x plainable Food Recommendation，简称EFRDIC，被分组为混合推荐系统，其利用输入：- 用户集：={1，2，3，������������EFRDIC向每个用户推荐一组他/她可能最感兴趣的食物。所开发系统的总体流程图和四个不同因素，即图像感知食品推荐（IFR）、可解释食品推荐（XFR）、时间感知食品推荐（TFR）和用户社区和食品组感知食品推荐（UCFG），如图2所示。更准确地说，EFRDIC有两个同时进行的步骤：（1）基于深度学习的食物图像聚类，(2)时间感知用户社区检测，然后是另外两个步骤：- 食物图像集：=1，2，3，...，������������������- 用户-食物评级矩阵X：x={1，2，3，4，5，−}- 由用户u给予食物的价格：���，������输出量：- 用户社区：=������������1,������2,������3,..., ������- 用户群用户群���������������- 食物类别：素食= ������1,������2,������3,..., ��� ������- 食品添加剂所属的食品组：食品添加剂（食品）���-RatinggPredictionFunct{ion：预测 ������ =（}，）������模块使用关联规则挖掘。在第一步中，请记住“一张图片胜过千言万语”，每种食物的图像都被用来将食物分为不同的类别。在第二步中，首先，使用记录的用户评分来计算用户-用户相似性矩阵。接下来，用户被表示为加权社交网络，其中每个用户对应于一个节点，而用户到用户的相似性分数表示这个新构建的社交网络中的边权重。在此基础上，提出了一种新的社区检测方法。在这两个步骤之后，引入了一种新的测量方法，该方法量化了每个（用户）社区对给定食物组的倾向。最后，利用该趋势函数，向用户推荐最终喜爱的食物。而使用关联规则挖掘技术的可解释性模块充当类似模型不可知的方法。在本节的其余部分，我们的食品推荐系统的不同阶段进行了详细说明。3.1. 问题定义在我们的食物推荐系统中，用户集和食物集由表示为：���������������������������和 其中，和分别代表数据集中的用户和食物的数量。���假设用户评分矩阵x对应于用户评分矩阵X，该矩阵指定每个用户对每个食物的注册投票。让������= 第一，第二，第三，... 其中，图像集合是图像集合，其中，图像集合对应于与食物集合中的食物相关联的图像。������所开发的食品推荐系统的主要功能是预测用户对食品推荐的评价。������总的来说，我们模型的输入/输出符号总结如下：- 评价：评价→评价是指这样的规则，该规则规定如果用户先前品尝（或评价）食物评价，则他/她也将可能对食物评价感兴趣。������������3.2. 基于深度学习的食物图像聚类虽然人们在开发各种食物推荐方法方面进行了大量尝试，但大多数方法都依赖于低级特征。这项工作提出了一种强大的食物推荐方法，该方法基于深度卷积特征的视觉词。与传统的基于词袋模型的视觉词推荐方法不同，该方法直接从深度卷积特征中引入基于深度聚类的视觉词，以提供高质量的推荐服务。具体来说，它由三个主要步骤组成：现成的CNN特征提取，码本生成和特征编码。下面我们将详细介绍这三个步骤3.2.1. O现成的CNN功能块采样或特征学习是构建智能系统的关键步骤，可以利用边缘检测、角点检测或阈值分割等方法来提取有鉴别力的特征。大多数基于聚类的方法利用不同的局部描述符（SIFT，SURF，BRIEF等）。in a bag-of-word词framework框架.这是因为仍然不清楚哪个描述符是最合适的，并且甚至没有最佳的块大小可以被设置来选择在每个给定的食物图像中哪些特征是重要的。受端到端学习概念的启发（Cheng等人，2017），我们建议使用基于深度学习的聚类特征，从101，102，103，...，���������(3)用户社区-食物组倾向估计，（4）EX可解释性M.罗斯塔米大学穆罕默德，S。Forouzandeh等人智能系统与应用16（2022）2001576图二、开发模型的概念框架。预先训练的CNN（Krizhevsky等人，2012）模型，然后用k均值聚类进行聚类，以总结整个图像中最具描述性和最显著的特征。这种动机背后有两个主要因素。首先，它直接从原始图像像素自动生成特征表示，而无需任何人工监督，这使得这些特征表现出更多的语义属性。其次，这些特征接近于密集采样的SURF或SIFT特征，这使得它们适合于视觉单词生成和随后的特征编码。3.2.2. 码本生成码本生成是我们工作中的一个重要步骤，它从所有训练图像中提取卷积特征，然后将其视为一组特征。这是通过使用无监督k均值聚类将数据点分组到不同的子组中来实现的。这里，簇的数量（k）是码本的大小3.2.3. 特征编码该步骤将特征描述符编码为每个图像的全局直方图表示。具体地说，特征向量是quan-M.罗斯塔米大学穆罕默德，S。Forouzandeh等人智能系统与应用16（2022）2001577√图三. 所提出的基于深度学习的食物图像聚类的说明。分解成视觉单词以形成字典，其中图像由码字的直方图表示（Halim等人，2022年）。因此，我们得到一个k维聚类为基础的表示为每个食物图像。图3示出了所提出的基于深度学习的食物图像聚类的总体框架。应该注意的是，在我们的模型中，FC6特征层用于提取特征。3.3. 基于图的重叠用户聚类许多现实世界社交网络中的用户可属于多于一个社区，其中各种社区可重叠。使用重叠社区检测方法，可以更有效地识别用户兴趣的变化，这提供了增强食物推荐系统性能的机会。这也有助于解决冷启动问题。当用户（或食物）尚未积累足够的评级历史时，会出现冷启动用户（或食物）问题，这可能导致不可靠的相似性得分（协作过滤所需的）。重叠社区检测算法是一种扩展的标签传播算法（LPA）命名为说话人-听者标签传播算法（SLPA）。LPA中的每个节点都有一个标签，其状态根据邻域中的多数标签进行更新。当LPA算法收敛时，识别出不重叠的社区。Xie et al.（2011）提出了允许每个节点具有多个标签的想法，以检测重叠社区。为此，关键是要确定1）来自一个用户的信息如何传播给其他用户，以及2）在动态过程中其他用户如何处理这些信息。在该方法中，基于扬声器的信息传播过程（SLPP）（Xie等人，2011年）被用来模仿人类的通信行为。在这方面，用户被表示为一个加权图，其中，k=（k，k，k），k是节点的集合，k是表示节点之间关系的边的集合，k是表示权重的矩阵X式中，（，）表示记录用户进食������时间，时间表示最大时间段，时间指定调整时间因素影响的用户控制参数高（高）低）值表示更大的（或较小）的时间因素在计算相似性值中的影响在这项研究中，通过经典的试错法参数优化技术选择了最优参数。在[0.5，4]的范围内，对EFRDIC模型进行了精度@10、召回率@10、F1@10和NDCG@10的评价，结果表明，在大多数情况下，将时间权重参数设置为2可以提高食品推荐模型的效率。该参数敏感性分析报告在实验结果部分中。SLPP算法使用用户的收听者（消费者）和发言者（提供者）类型。这两个角色根据对应节点的角色进行切换。总体而言，该重叠社区检测算法包括以下步骤：• 每个节点的存储器由其节点的id初始化（即，唯一的标签）。• 重复这些步骤，直到满足停止条件– 选择一个节点作为侦听器。– 所选节点的每个邻居使用说话规则发出单个标签。使用该规则，从分类中选择随机标签，其概率与其出现频率成比例。– 监听器从遵循监听规则的邻居接收的标签集合中接受一个标签。使用此规则，它从在此步骤中观察到的标签中选择最常见的标签。• 基于用户记忆中的标签的后处理被用来生成社区。SLPP采用异步更新方案，使得已经被更新的一些邻居已经具有大小为1的存储器，而其他邻居已经具有大小为1的存储器。其中，“数”是“数”，“数”是“数”。���此外，一个用户评级-基于相似性度量构造权矩阵。让邻居的记忆仍然是0-1。如果内存大小有限������������是用户t1和t2之间的基于用户时间感知评级的相似度值，其计算如下：������������（1）1且满足收敛准则，则SLPP变为LPA。一旦达到最大迭代次数，SLPA就停止。���算法1中总结了SLPA重叠社区检测的总体框架。���∈∑���（）−（））×（（）−（））×（，，）������）���������������������������3.4. 用户社区-食物群体倾向、Σ（���������∈���，（（）−（））2×（���，，））∑���������（）−������（））2×（，，）������）���������每个用户可能对不同的应用程序其中，（）∈是用户对食物的评分，（）是������������������由用户u给出的平均评级，并且，u，v是由用户u和v两者评级的食物的集合。此外，u，v（u，v，v）表示如下计算的用户的评级u和v对食物的评级的时间权重���������������������(���,���,���)=√���−��� (������−��� (���,���))×���−��� ( −��� (���,���)),(2)到. 在这个阶段，我们计算用户社区每一种食物（类别）。每一群体的使用者对每一类食物的倾向性测量例如，如果评级范围在1到5之间，则每个社区与每个食物组相关的更正式地，用户社区对食物组偏好的倾向度量计算如下：������������������������∈食物组，无论他/她属于M.罗斯塔米大学穆罕默德，S。Forouzandeh等人智能系统与应用16（2022）2001578（）������∑（）������������∈���������������算法1SLPA重叠社区检测然后，对于每种食物，���������������������输入：用户图=（，，），T。第一步：内化���������(���)可以使用以下等式计算规则的值������������第二章： 对于i=1到N，3：节点（i）.Mem=i4：结束������������（→）=��������� ���������������（中文（简体）���第5步：第2步：评估第六章： 对于t=1到T，7：Nodes.ShuffleOrder（）8：对于i=1到N，其中，（）是在（）中对食物进行评级的用户数量，（，）是在（）中对食物和食物都进行评级的用户数量。������������������������������������������两个都是。���9：节点=节点（i）然后，目标用户的食物偏好排名为���������10：Speakers=Nodes（i）.getNbs（）11：forj=1 to Speakers.lendo可以定义如下：���������(���)12：LabelList（j）= Speakers（j）.speakerRule（）������������������������(���)= arg max (������������(���→���)×��� (���������(���),���������������( ))),(7)���14：w= 0.标签规则（标签列表）15：记忆增加（w）16：结束17：结束第18章：第三步十九： 对于i=1到N，20：移除节点（i）以概率r看到的标签;21：结束式中，（（），（））表示使用者社区（）对食物类别（）的趋势量度，该量度使用等式（1）计算���������������������������������������������������������（三）、利用Top-recommendation策略，在对食物进行排序后，可以为目标用户生成推荐列表。此外，对于顶级推荐食物列表中的每种食物，并考虑规则→������ 根据导致该建议的等式（7）， 将向目标用户显示以下说明���������������������（���∈���������������������,���������我知道了，���（三）美食������推荐给你，因为喜欢美食������ 和你对食物感兴趣������的食物风格一样。上述内容为可解释性提供了基础，其中，用户群中的用户数量指示用户群中的用户数量，并且用户群（用户群，用户群）是用户群对食物群的倾向性度量，其可以如下计算：������������������������∑∈���，���������������它使用户能够理解推荐系统为什么生成给定推荐。4. 实验结果���������(���,���������)=������������中国，（4）在本节中，我们进行了大量的实验，以证明式中，“评分”、“评分”表示用户“对食物评分”的评分，“评分”是用户“评分的食物集合。���������������������3.5. 关联规则挖掘这一步开发了一种新的用户社区和食物组感知规则挖掘方法，用于最终解释的食物推荐。更正式地说，考虑一组事务，其中每个事务都是一个集合 对于食物，关联规则是一个规则的形式为→，其中和是食物的集合（也称为食物集合）。���这条规则指出，事务中出现的错误意味着该事务中也存在错误。一个关联规则在用户喜好分析领域的应用实例“包括虾和龙虾的交易中有80%也包括螃蟹;所有交易中有20%包括这三种食物。因此，= {，}，= {}，80%代表对这一规则的确信，20%对应于这一规则的支持量。��������������������������������� 一个规则的置信度表明它在食物组之间的相关程度，而它的支持度