重新审查联合国系统知识感知推荐系统：我们正在取得进展吗？MarinaAnanyeva1，2，，<$，OlegLashinin2，，<$ andMaria Kuznetsova2，，<$1俄罗斯联邦莫斯科，101000，Myasnitskaya街20号国立研究型大学高等经济学院2俄罗斯联邦莫斯科，127287，Khutorskaya街38号Tinkoff摘要知识感知推荐系统结合边信息，以提高推荐性能。新算法的作者通常专注于开发所提出的方法背后的新思想，并将其模型与现有的知识感知推荐模型进行比较。同时，一些常用的最先进的一般top-n推荐模型被忽略作为潜在的基线。在这项研究中，我们比较以前提出的基于知识的推荐系统与简单和计算有效的推荐模型（EASE和ItemKNN），不使用任何额外的信息，用户和项目。我们在三个数据集上的结果表明，在推荐系统中使用边信息的效果仍然值得怀疑。关键词推荐系统，基于知识的模型，评价1. 介绍近年来，知识感知推荐系统得到了极大的普及和发展。大多数方法都是基于知识图（KG）的。其他类型的知识感知推荐模型不在本工作的范围内。一个典型的知识图包含两个子图. 第一个是用户-项目图，其中顶点对应于用户和项目。 它们由反映用户和项目之间的交互的边连接。第二个子图包含有关用户和项目的附加信息。它与第一个图有相交的节点，并且可以有其他额外的顶点。第二子图的边表示连接第二子图的一些节点的边信息。因此，基于KG的模型不仅使用用户和项目之间的交互，而且还丰富了模型的各种类型的边信息。这些算法依赖于协作信号，并对其他隐藏的交互原因例如，电影推荐器模型可以推荐电影X，因为目标用户更喜欢类似类型的电影或者喜欢来自同一导演的其他电影。在这个例子中，模型不能仅仅从交互中检索这些因此，知识的使用第四版知识感知和会话推荐系统（KaRS）研讨会@ RecSys 2022，2023年9月18日*通讯作者。[2]这些作者的贡献是均等的。ananyeva@www.example.comtinkoff.ru（M. Ananyeva）; o.a.tinkoff.ru（O. Lashinin）;电话分机tinkoff.ru（M. 库兹涅佐娃）© 2022本文版权归作者所有。Creative Commons License许可使用署名4.0国际（CC BY 4.0）。CEUR研讨会论文集（CEUR-WS.org）边缘图是合理的，并且应该提高推荐的质量。然而，很难估计使用额外信息的相对收益。在推荐系统领域，没有标准的测试原型、用于与新算法进行比较的强制性基线以及统一的质量排名度量。特别是研究人员，使用各种方法来分割数据用于训练和测试样本[1]。排名指标经常计算不同长度[2]。所有这些都导致了这样一个事实，即相同指标和数据集上的模型结果可能会因论文而异。因此，不可能毫不含糊地说现有的基于KG的最先进模型的有效性。此外，当作者提出一个新的基于KG的模型时，他们通常只将其与其他基于KG的模型进行比较，或者与弱的传统top-n推荐基线进行比较。我们发现，一些基于矩阵分解的方法经常被用来证明使用知识图的优越性然而，根据[2]，经过良好调整的基线，如众所周知的ItemKNN [3]，基于图形的模型，没有额外的信息，甚至线性模型可以在相同的任务下胜过深度学习方法此外，根据基准测试[4]，简单的基线在计算上是有效的，并且通常更适合于现实世界的应用。因此，在推荐系统中使用知识图的好处应该进一步研究。在这项研究中，我们比较了高引用的基于KG的模型与计算有效的协同过滤（基于CF的）模型，即ItemKNN和EASE [5]。的CEU Rhttp://ceur-ws.org讲习班ISSN1613-0073诉讼本文件的贡献可归纳如下：• 我们汇总了有关数据集、排名指标和评估策略的信息在实验中，我们纳入了2016年至2020年发布的12个基于图的推荐模型（其中8个使用知识图）的基线。此外，我们还讨论了一些方法论问题，在评估KG为基础的模型。• 我们在三个真实世界的数据集上进行了实验，对基线和基于KG的模型进行了超参数调整。我们的研究揭示了基于KG模型的可疑推荐质量。2. 相关工作2.1. 基于图的模型有些方法使用交互的图结构，而不需要额外的信息。长期以来，人们一直在研究只利用用户项图进行查询的思想用户和项被表示为节点，它们之间的交互被表示为边。早期的方法，如ItemRank [6]，P3Rank [7]和P3 Rank [8]，利用随机游走来传播用户偏好。最近，图神经网络被应用于检索节点之间的高阶连接和检索非平凡的协作信号。为此，基于图卷积运算开发了PinSage [9]，GC-MC [10]和NGCF [11]等模型近年来，人们提出了图卷积网络（GCN）例如，LightGCN [ 12 ]的作者删除了非线性并对多个权重矩阵进行了优化，并优于之前最先进的NGCF [11]。最近，研究人员向SGL [13]提供了一个自我监督的任务和额外的数据增强。2.2. KG模型具有外部知识的模型可以分为3大类：基于嵌入（KGE），基于路径和混合方法[14]。基于嵌入的方法使用来自知识图的信息来丰富用户和项目的表示。 作为一项规则，这种模型的主要思想是基于标准的协同过滤和嵌入知识图的集成。例如，CKE [15]结合了关于项目的各种类型的附加数据：结构，文本和视觉信息。然后将所有表示汇总在一起以计算最终建议。在KTUP [16]中，研究人员做了一个图形完成任务。MKR [17]模型连接了两个任务-构建推荐系统和KG的矢量表示，允许在多任务学习模式下同时解决基于路径的方法利用图中的相似实体通过紧密关系连接的想法例如，PER [18]将KG视为异构信息网络，并从不同长度和性质的元路径中提取潜在特征，以表示用户和元素之间的异构关系。HeteRec [19]利用元路径相似性来丰富用户-项目交互矩阵。然而，第一种基于路径的方法涉及元路径的手动形成，这导致次优结果，并限制了它们在不同推荐场景中的使用。在[20]中，作者提出将KGE和基于路径的方法结合到RippleNet模型中。该方法的一般思想是，用户的嵌入是由用户过去与之交互的项目的嵌入以及由它们在具有给定深度的图上的邻居形成的。混合模型的其他示例是KGCN[21]，其中对象的表示是通过聚合嵌入形成的。在KGNNLS[22]作者证明了标签平滑正则化等价于标签传播问题，并使用留一损失来评估每个关系类型对用户的重要性KGAT [23]模型使用注意力机制来区分不同邻居影响的重要性2.3. 基于KG的RecSys模型关于基于图的推荐模型的研究很少.在论文[24]中，研究人员提供了基于图形的推荐模型的全面概述。最近的工作[25]分析了基于KG的建议中的现有工作，并列出了未来的方向。但本文并不包含独立的实验与良好的调整协同过滤基线。这两篇论文都没有包括调整基线超参数的额外实验。 尽管有很多评价研究与传统的top-N推荐模型进行了比较[2，26，27]，但没有关于基于KG的模型的此类文章。据我们所知，我们是第一个提供实验与广泛的KG为基础的模型，并比较他们与强大的CF为基础的基线。3. 实验一个典型的知识图可以分为两个子图。 第一个是从交互数据中收集的用户项图。 第二个子图表示额外的知识。为了研究在推荐模型中使用附加信息的性能，我们NDCG@20表1有或没有使用边信息的基于图的推荐模型。非图形基线以粗体显示，目标模型基线以下划线显示。二部图G1定义为一个三元组集合{（���，���������，���）���∈���，���∈���}，其中���，���是用户和对象的集合，分别是顶点，连接���������表示交互. 在User-Item图中，除了交互之外，还添加了具有项目外部特征的顶点模型年引用次数 *数据集基线度量图动机二分用户i模型TEM图[第11话]2019797Gowalla，Yelp2018，MF、NeuMF、Recall@20、高阶嵌入CMN、HOP-Rec、NDCG@20 双向传播亚马逊图书GC-MC，PinSageDGCF [28]202091戈瓦拉Yelp2018，MF、GC-MC、20 ℃下的回收率，NGCF、DisenGCN、NDCG@20二分解纠缠表示亚马逊图书MacridVAELightGCN [12]2020 492Gowalla，Yelp2018，亚马逊图书Yelp2018，NGCF、Mult-VAE、GRMFNGCF，LightGCN，召回@20，双向回忆@20，没有复杂的运算和非线性SGL [13]2021 59亚马逊-图书，阿里巴巴-iFashionMult-VAE，DNN+SSLNDCG@20双边自我监督BPRMF+SDAE[17]2019年12月24日最后一本书。FM Bing-NewsRippleNet、LibFM +TransR、宽深K K时的精度：2、5、10、20、50多任务学习，交叉压缩单元混合图模型回忆@10，KTUP [16]2019212MovieLens-1MFM，BPRMF，10图形完成时的精度，CFKG，CKE，F1评分@10，项目偏好翻译CoFM命中率@10，NDCG@10KGAT [23]2019605亚马逊图书Last-FMFM、NFM、CKE、召回@20，CFKG、MCRec、NDCG@20双边+项目注意Yelp 2018RippleNet，GC-MCKGNN-LS [22]2019 205* 数据截至2022-03-25。MovieLens-20M，图书穿越，最后.FM，大众点评-美食SVD，LibFM，LibFM+TransE、PER、CKE、RippleNet回忆@KK：2、10、50、100每个用户的项目标签平滑首先研究了无特征的图模型然后，我们转向具有额外信息的模型因此，我们进行实验来回答以下研究问题：1. 图形结构是否有助于更好地从交互数据？2. RQ2：使用额外外部信息的基于图的模型比没有特征的模型表现更好吗？3.1. 数据集我们考虑三个现实世界的数据集，从不同的应用领域和不同的稀疏度。MovieLens-1 M1：此数据集包含以下内容的第1页https://grouplens.org/datasets/movielens/1m/电影从1到5我们使用20核过滤和consider任何等级的正反馈，以实现较低程度的稀疏性的相互作用矩阵。Amazon-Books2：此数据集包含信息关于亚马逊用户购买的书籍的评级30核过滤用于确保数据集的质量并匹配可用的计算资源。TTRS[30]是Tinkoff银行随机选择的50，000名客户的金融交易的真实数据集在生活的各个领域，从购买食品和家用电器到支付各种形式的休闲费用，都要进行消费。排除了少于10次交互的用户2http://jmcauley.ucsd.edu/data/amazon/项目KGE模型MovieLens-1MBPRMF，BPRMF+TransE，MAP@K，CKE [15]2016 941IntentBooksPRP，PER，LibFM，CMF，CTR召回@KK：20，40，60，80，100结构、文字、可视化嵌入+CF[29]第二十九话2018181亚马逊BPR，BPR_HFT，VBPR，查准率，查全率，异构用户项DeppCoNN、CKE、JRLHR、NDCG用户-项目 知识图基：10RippleNet [20]2018471MovieLens-1M图书穿越CKE，SHINE，DKN，Precision@K，项目PER、LibFM + TransR、Recall@K、F1@K每个用户偏好传播公司新闻宽深K：1、2、5、10、20、50、100KGCN [21]2018280MovieLens-20M图书穿越SVD、LibFM、调用@K项，用于LibFM + TransE，K：每个用户1、2、5、10、20、50、100Last.FMPER、CKE、RippleNetMovieLens-1MPER、CKE、DKN、召回@K表2三个数据集的性能比较每个语义组中的最佳模型以粗体显示，模型按时间升序排序每个数据集和度量对的最佳模型以绿色表示，第二个最佳模型以紫色表示，第三个最佳模型以蓝色表示。方法移动eLens-1 M召回@10 NDCG@10登记方案召回@10 NDCG@10亚马逊图书召回@10 NDCG@10流行0.0720.1260.2330.1340.0120.011项目KNN [3]0.1630.1260.3220.2400.1490.149简单[5]0.2050.3140.3890.2900.1580.157[第11话]0.1720.2680.3430.2540.0820.076DGCF [28]0.1720.2650.3450.2540.0870.082[12]第十二话0.1730.2690.3520.2620.0880.083SGL[13]0.1790.2710.3540.2640.1030.097CKE[15]0.1650.2630.3490.2570.0770.072[29]第二十九话0.1540.2410.3240.2400.0670.062[20]第二十话0.1210.2030.3010.2220.0360.033KGCN [21]0.1460.2340.3160.2350.0510.046MKR [17]0.1390.2240.3310.2460.0470.043KTUP [16]0.1590.2510.3310.2440.0610.056KGAT[23]0.1690.2730.3420.2540.0760.071KGNNLS [22]0.1460.2350.3170.2340.0520.0473.2. 实验设置评价指标。我们使用标准指标NDCG@k和Recall@k对整个样本进行，以评估推荐的质量。由于纸张空间的限制，我们只报告k = 10的指标评估方案。对于每个数据集，每个用户的80%的交互被随机选择作为训练样本。 我们还将10%的交互用于验证，10%用于测试集。在训练阶段，从每个交互的均匀分布中随机选择一个负例。在验证和测试阶段，我们将阳性示例相对于数据集中的所有项目进行排名。基线。 三种流行的非图模型，选择统计数据作为基线：1. Pop是数据集中最受欢迎的项目的推荐。受欢迎度是根据对象在所有交互中出现的频率计算的2. ItemKNN [3] -3. EASE[5]是一种基于自动编码器思想的最先进的线性模型。 它有一个凸损失函数的解析解。超参数拟合 审查目前RecBolee3 [4]. 我们采用了Recbole 1.0.0版中实现的所有图模型，并分析了用于构建推荐系统的数据集，指标，基线，数据预处理和表1列出了汇总统计量。我们发现了一些问题与评估KG为基础的模型，因此声称的价值，额外的知识的推荐质量。首先，作者包括矩阵分解（BPR，SVD）和分解机（FM，LibFM）作为协同过滤基线。同时，基于KNN、基于VAE和基于项的模型被忽略。[17]《易经》云：“君子之道，焉可诬也？有始有卒者，其惟圣人乎！因此，我们不能得出这样的结论：基于KG的模型优于仅基于用户-项目交互的算法其次，大多数论文的研究者没有正确地调整基于CF的模型的超参数。根据[2]，它导致基线的弱性能和所提出的基于KG的方法的可能的优越性。为了填补这一空白，我们进行了全面的实验，调整基线和基于KG的模型。实施细节。所有计算均在Tesla V100 GPU上进行，实验在RecBole框架下进行对于所有模型，我们用随机贪婪来调整超参数搜索优化NDCG@10在24小时内为每个国家的KG为基础的模式，我们采取了流行的开放3https://github.com/RUCAIBox/RecBole最佳模型总体调谐表3MovieLens-1 M数据集上的训练时间比较模型#epochs第二节/时代整体训练我是你的朋友。GPU RAM，GB#hparams/贪婪之子调谐我的天啊。火车Eval火车Eval流行11,956,660,140,000,00-0,0ItemKNN11,6812,200,230,000,0024/240,5缓解11,658,680,170,000,006/60,7NGCF9323,325,7945,120,310,32115/240024DGCF168139,225,934,9215/18024406,424,92LI ghtGCN2627,585,7358,120,170,1780/8024SGL9229,355,6453,650,410,4179/10024CKE2398,555,9157,600,390,3960/6019,3CFKG833,9810,050,1760/601519,410,17RI ppleNet1030,479,061,0083/100246,590,99KGCN666,8311,510,185/5520,170,16MKR7010,9114,430,5696/1802429,560,44KTUP2128,6413,0676,670,180,18101/24024KGAT9827,135,6453,522,7289/375241,18KGNNLS6612,8211,690,195/55,126,960,19”Overall =（epochepoch模型超参数范围取自[4]。我们的实验可以使用我们的开源存储库4复制。 模型启动代码以及超参数网格和拟合的最佳值都可以在那里找到。3.3. 结果表2显示了我们实验中的NDCG@10和Recall@10值。RQ 1：所有数据集中的图模型都优于Pop基线，但与到 亚 马 逊 图 书 上 最 先 进 的 非 图 模 型 EASE [5] 和ItemKNN [3]。尽管EASE模型于2019年发表，并且不 能 用 作 大 多 数 模 型 的 基 线 ， 但 DGCF [28] ，LightGCN [12]和SGL [13]的作者应该考虑将其以及ItemKNN [3] 纳 入 他 们 的 分 析 中 。 尽 管 EASE 和ItemKNN仅基于交互数据使用较少的信息，但它们通常能够比知识图模型更好地建模行为信号，并且更容易实现。RQ2：使用二分用户项图的没有用具有项目特征的附加连接增强的，表现出在EASE之后的下一个最佳质量。尽管这两个模型都有一个二分用户项图和一个知识图，4https://github.com/kg-based-recsys-eval/kg_based_recsys_eval率信息的相互作用，实验结果表明，KG模型捕捉协作信号较差。随着该模型这间接验证了具有不同CF部分的最基本CKE [15] KG模型的优点表3显示了MovieLens-1 M数据集上具有最佳超参数的所有模型的训练时间和内存成本。 可以证明，所有基线模型都不需要使用GPU，并且在不到一分钟的时间内完成训练。在模型中包含图形将训练时间增加了40倍以上例如，RippleNet在MovieLens-1 M数据集上的训练时间最快，结果为6.6分钟，最长的是DGCF，它在Amazon-Books数据集上训练了8个多小时。4. 结论在这项研究中，我们从不同的角度研究了训练开发的基于KG的推荐模型的质量和所需的资源。此外，我们还发现了一些方法学问题，这些问题有助于基于KG的模型的有效性，这些问题可以通过将简单的线性基础-线并在实验设置中调整其超参数。 我们在三个真实世界数据集上的综合实验表明，基本线性模型EASE优于任何基于KG的方法。此外，早期采用的ItemKNN方法在多个数据集上的推荐质量优于一些图模型。我们的研究结果表明，研究人员应该在他们的实验中包括和调整这些简单的基线，并将新算法与它们进行比较。引用[1] Z.孟河，巴西-地麦克里迪角麦克唐纳岛Ounis，探索用于推荐模型评估的数据分割策略，在：第十四届ACM推荐系统会议，2020年，pp.681-686[2] M. F. Dacrema，P. Cremonesi，D.贾纳赫，我们真的取得了很大的进展吗？对最近神经推荐方法的令人担忧的分析，见：第13届ACM推荐系统会议论文集，RecSys '19，美国纽约州纽约市计算机协会，2019年，第101-109页。网址：https://doi.org/10.1145/3298689 。 3347058 。doi：10.1145/3298689.3347058。[3] B.萨瓦尔湾，澳-地王文，基于项目的协同过滤推荐算法，第10届国际互联网会议论文集，2001年，页。285-295.[4] W. X. Zhao，S.穆，Y.胡，Z.Lin，Y.Chen，X.潘K. Li ， Y. Lu ， H. Wang ， C. Tian 等 人 ，Recbole ： To-ward a unified ， comprehensiveandefficientframeworkforrecommendationalgorithms ， in ： Proceedingsof the 30th ACMInternationalConferenceonInformationKnowledge Management ， 2021 ， pp.4653-4664.[5] H. Steck，用于稀疏数据的令人尴尬的浅自动编码器，在：万维网会议，2019年，pp. 3251-3257[6] M. Gori，A.普奇、罗马岛Siena，Itemrank：Arandom-walk based scoring algorithm for见：IJCAI，第7卷，2007年，第100页。2766-2771.[7] C. 库 珀 ， S 。 H. 李 ， T.Radzik ， Y.Siantos ，RandomWalks in Recommender Systems ：ExactComputation and Simulations，in：Proceedingsof the 23rd inter-national conference on worldwide web，2014，pp.811-816.[8] B. Paudel，F.Christoffel角Newell，A.Bernstein，可更新、准确、多样和可扩展的交互式应用程序建议，ACM交互式智能系统（TiiS）7（2016）1-34。[9] R. 英 河 ， 巴 西 - 地 他 ， K 。 Chen ， P.Eksombatchai，W. L.Hamilton，J. Leskovec，用于网络规模推荐系统的图卷积神经网络，在：第24届ACM SIGKDD知识发现数据挖掘国际会议2018 年 ，pp. 974-983。[10] R. v. d. Berg，T. N. Kipf，M. Welling，Graphconvolutional matrix completion，arXiv预印本arXiv：1706.02263（2017）。[11] X. Wang，X.他，M。Wang，F.冯，T.-S. Chua，Neur-ralgraphcollaborativefiltering ， in ：Proceedings of the 42nd International ACMSIGIR conference onResearch and developmentin Information Retrieval， 2019，pp.165-174。[12] X.他，K。Deng，X. Wang，Y. Li，Y. Zhang，M.Wang ， Lightgcn ： Simplifying and PoweringGraphConvolutionNetworkforRecommendation ，in ： Proceedings of the 43rdInternational ACM SIGIR conference on researchand development in Information Retrieval ，2020，pp. 639-648[13] J.Wu ， X. Wang ， F. Feng ， X. 赫 利 湖 ， 加 - 地Chen，J. Lian，X.Xie ， Self-SupervisedGraphLearningforRecommendation，Association for ComputingMachinery，New York，NY，USA，2021，p.726-735.网址：https://doi.org/10.1145/3404835.3462862。[14] Q. Guo，F.庄C. Qin，H. Zhu，X. Xie，H. 阿雄，Q. 他，基于知识图的推荐系统调查，IEEE知识与数据工程学报（2020）。[15] F. Zhang，N. J. Yuan，D. Lian，X.谢伟Y. Ma，Col- laborative knowledge base embedding forrecommender systems，in：Proceedings of the22nd ACM SIGKDD international conference onknowledge discovery and data mining，2016，pp.353-362.[16] Y. Cao，X. Wang，X.他，Z。胡，T.- S. Chua，Uni-fyingknowledgegraphlearningandrecommendation：Towardsabetterunderstanding of user preferences ， in ： Theworld wide web conference ， 2019 ， pp.151-161.[17] H. Wang，F. Zhang，M. Zhao，W. Li，X. Xie，M.郭，知识图增强推荐的多任务特征学习，在：万维网会议，2019年，pp. 2000-2010年。[18] X. Yu，X.任，Y.孙角，澳-地古湾，澳-地斯特尔特 大 学 坎 德 尔 瓦 尔 湾 Norick ， J.Han ，PersonalizedEntityRecommendation ： AHeterogeneous Information Network Approach，in ： Proceedings of the 7th ACM internationalconference on Web search and data mining ，2014，pp.283-292。[19] X. Yu，X.任，Y.孙湾，巴西-地斯特尔特大学Khandelwal，Q.古，B. Norick，J. Han，在具有隐式用户反馈的异构信息网络中的推荐，在：第七届ACM推荐系统会议论文集，2013年，pp.347-350[20] H. Wang，F. Zhang，J. Wang，M. Zhao，W. Li，X. 谢先生，M. Guo，Ripplenet：将用户偏好推荐系统的知识图，在：第27届ACM国际信息和知识管理会议论文集，2018年，第10页。417-426[21] H. Wang，M. Zhao，X. Xie，W. Li，M.郭，用于推荐系统的知识图卷积网络，在：万维网会议，2019年，pp. 3307-3313[22] H. Wang，F.Zhang，M.Zhang，J.Leskovec，M.赵、W. Li ， Z. Wang ， Knowledge-aware graphneuralnetworkswithlabelsmoothnessregularization for recommender systems ， in ：Proceedingsofthe25thACMSIGKDDinternationalconferenceonknowl-edgediscovery data mining，2019，pp.968-977。[23] X. Wang，X.他，Y. Cao，M.刘德铭S. Chua，Kgat ： Knowledge Graph Attention NetworkforRecommendation ， 收 录 于 ： 第 25 届 ACMSIGKDD知识发现数据挖掘国际会议论文集，2019年，第10页。950-958[24] S. Wu，F.太阳，W。Zhang，X.谢湾，加-地崔，推荐系统中的图神经网络：一项调查，ACM计算调查（CSUR）（2020）。[25] J. Chicaiza，P. Valdiviezo-Diaz，基于知识图的推荐系统的全面调查：技术，开发和贡献，信息12（2021）232。[26] V. W. Anelli，A.贝洛金Di Noia，D. 詹纳赫C. Pomo，Top-n recommendation algorithms：A quest for the state-of-the-art，arXiv预印本arXiv：2203.01155（2022）。[27] S. Rendle，W.克里希内湖Zhang，Y.Koren，Revisiting the performance of ials on itemdeliverybenchmarks ， arXiv 预 印 本 arXiv ：2110.14037（2021）。[28] X. Wang，H. Jin，杨花A. Zhang，X.他，T. Xu，T.- S. Chua，解纠缠图协同过滤，在：第43届国际ACM SIGIR会议上的信息检索研究和开发1001-1010号。[29] Y.张，智-地艾，X。Chen，P. Wang，Learningoverknowledge-baseembeddingsforrecommendation ，arXiv 预 印 本 arXiv ：1803.06540（2018）。[30] S. 科 列 斯 尼 科 夫 岛 Lashinin ， M.Pechatov ，A.Ttrs ： Tinkoff transactions recommendersystembenchmark ， arXiv 预 印 本 arXiv ：2110.05589（2021）。
我的内容管理
展开
