基于价格的重新排名算法的在线实验

CEUR程序http://ceur-ws.org基于价格的重排序算法的在线实验EmanueleCavenaghi1，LorenzoCamaione4，PaoloMinasi4，GabrieleSottocornola1，FabioStella3和MarkusZanker1，21博岑-博尔扎诺自由大学，意大利博尔扎诺2克拉根福大学，奥地利3University of Milano-Bicocca，米兰，意大利4Bravonext SA t/a lastminute.com，基亚索，瑞士摘要推荐系统的创建是为了在信息过载的情况下支持用户然而，用户在做出决策时会有意识或无意识地受到许多因素的影响 在本文中，我们把注意力集中在价格的影响，在用户决策的背景下，在线酒店搜索和预订。首先，我们分析了一个元搜索预订平台的历史数据集，以评估不同因素对用户点击行为的影响然后，我们在同一个元搜索预订平台上进行了在线A/B测试，其中我们将当前政策与基于价格的重新排名政策进行了比较。我们的实验表明，尽管在离线观察中，价格较低的房产往往具有较高的点击率，但在在线环境中，基于价格的重新排名仅足以实现推荐列表上第一位置的点击率的改善。关键词推荐系统，学习排名，旅游，元搜索预订平台，在线酒店搜索1. 介绍推荐系统（RS）是为帮助用户找到感兴趣的项目而开发的算法网络上的海量信息导致了信息过载的问题，因此，增加了提供有效和及时的建议的需要这些方法背后的主要思想是基于用户对过去与项目的交互的反馈来了解用户RS广泛应用于电子旅游领域[1，2]，以推荐目的地/旅行套餐[3，4，5]，兴趣点[6，7，8]或餐馆[9，10]。 在向旅行者推荐适当的住宿的上下文中，利用上下文特征（诸如季节和地点）以及用户的偏好两者是基本的。在过去的几年里，许多RSRecSys旅游推荐研讨会（RecTour 2022），2022年9月22日，与第16届ACM推荐系统会议在美国ecavenaghi@unibz.it（E. Cavenaghi）;lorenzo.camaione@ lastminute.com（L. Camaione）; paolo.lastminute.com（P. Minasi）; gabriele. unibz.it（G. Sottocornola）; fabio. unimib.it（F. Stella）;Markus. unibz.it（M. 赞克）0000-0002-0235-0421（E. Cavenaghi）;0000-0001-9983-2330（G. Sottocornola）; 0000 -0002-4805-5516（M. 赞克）©2022本文版权归作者所有。在知识共享许可署名4.0国际（CC BY 4.0）下允许使用讲习班刊号1613-0073CEUR研讨会论文集（CEUR-WS.org）为了在在线预订的背景下推荐酒店而开发的一些方法基于传统的RS技术，如协同过滤[11]，如[12，13，14]也考虑多标准评级[15]和基于内容的方法[16]，如[17，18]。相反，其他作品提出了特定领域的方法。例如，Levi et al. [19]使用文本评论作为主要的信息来源来提出建议，[20]从文本评论和Lin等人建立了特定的主题模型。[21]设计了一个应用程序，用户可以搜索和浏览酒店评论。这项工作的目的是在网上酒店搜索的背景下找到以下研究问题的答案• 推荐列表中价格较低的旅游物业1是否具有较高的点击率（CTR）？• 基于价格的重新排名是否足以实现更高的点击率？• 与所提供的酒店相关的在线旅行社（OTA）2是否会影响CTR？为了回答这些问题，我们首先分析了历史数据。具体来说，我们的数据集是在一个元搜索预订平台上收集的，该平台比较了来自不同OTA的酒店价格。然后，为了回答第二个和第三个研究问题，我们进行了A/B测试，将公司使用的RS与基于价格的重新排名算法在历史数据集和A/B测试中，该公司没有关于匿名用户及其先前与网站交互的历史的此外，没有明确的反馈（例如，特定于属性的用户评级），但我们不得不依赖于隐式反馈，在我们的案例中是用户点击。本文的组织如下，在第2节中，我们报告了对历史数据集的简要讨论。然后，在第3节中，我们描述了一个简单的基于相对价格的重新排序算法，在第4节中，我们给出了A/B测试的结果最后，在第5节中，我们研究了OTA对A/B测试结果的影响。2. 数据集描述在本节中，我们报告了我们的数据分析结果，以回答第一个研究问题：该数据集由大约130，000个推荐列表组成，每个列表由同一页面上显示的25个属性组成，这些属性是在2021年11月至2022年4月期间在14个意大利城市进行搜索的元搜索预订平台上收集的。在每个推荐列表中，可以向每个属性呈现不同的OTA。因此，可以在不同列表中呈现具有不同OTA的属性，并且在每个列表中呈现多个OTA考虑到浏览第一页以外的用户数量很少，我们将分析限制在第一页。首先，考虑推荐列表中不同排名位置的CTR，如图1中所报告的，排名位置的强影响变得明显，如Joachims已经陈述的。1物业一词指的是任何类型的住宿，如酒店、公寓、招待所等。2OTA是用户可以预订酒店的外部公司图1：推荐列表中每个排名位置的CTRX轴报告推荐列表中的排名位置，而y轴报告在该排名位置中实现的CTR(a) 价格高于0.75分位数。（b）价格低于0.25分位数。图2：对于推荐列表中的每个排名位置，图1中所示的条件CTR和先验CTR之间的差异等人[22]。在这里，作者指出，用户的点击决定受到结果的相关性的影响，但也受到它们呈现的顺序的影响对于本文的其余部分，我们将图1中的CTR称为先验CTR。为了回答第一个研究问题，我们在图2中报告了以价格为条件的CTR分布与先验CTR之间的差异我们使用以下过滤条件运行了两个实验：高于0.75分位数的值和低于0.75分位数的值。每个推荐列表内的0.25分位数具体地，在图2a中，我们计算CTR分布，仅考虑价格高于平均价格的报价属性每个推荐列表内的0.75分位数价格，即 我们删除了每个推荐列表中价格低于0.75分位数的所有房产，并减去先验CTR分布以获得该图。应用相同的程序来计算价格低于0.25分位数的房产的条件CTR分布，如图2b所示。在这个分析中，我们只是忽略了便宜和昂贵的属性，而不改变排名的位置。对于列表中的每个排名位置，如果我们考虑价格低于0.25分位数的属性，则CTR高于先验CTR这显然意味着较低的价格会积极影响用户点击房产的倾向，而如果我们考虑价格高于0.75分位数的房产，则会发生相反的情况：价格越高，CTR越低。问题的答案：“做提供旅游物业以较低的∈推荐列表的点击率更高显然是的正如Lockyer [23]和Stávková等人所述，价格对用户决策的影响既有积极的一面，也有消极的一面[二十四]3. 重排序算法为了回答第二个研究问题，我们实现了一个简单而有效的算法，重新排名的前25名列表提供的属性，建议由当前算法。由于该算法仅对前25个项目进行重新排名，因此确保呈现给用户的所有属性具有与基线相当的质量 为了对属性进行重新排序，我们计算了一个分数，并将属性从最高分数到最低分数重新排序。等式1中报告的评分由具有两个均值的两个逻辑函数组成：十一=·1+−1+·1+−2（1）������������其中，，[0，1]管理两个函数的权重，而+=1表示分数，即属性的价格，并控制函数接近极限的速度（即，���0和1）。最后，两个平均值���1和���2分别表示推荐列表内的房产的住宿类型3的平均价格和推荐列表内的房产的中间价格（无论住宿类型如何）。对于2，我们使用中位数而不是平均值来减少离群价格的影响，例如，5星级酒店的价格���1允许我们以简单的方式计算质量价格比，因为用户可能更愿意为更高质量的住宿支付更多费用而2控制属性的绝对价格，因为如图2b所示，用户倾向于点击与较低价格相关联的属性。在下面的实验中，我们使用==0。���5. 我们使用结果选择这些值在第2节中描述的数据集上的离线实验，因为用两个超参数的不同值运行多个在线实验是不可能的。4. A/B测试结果A/B测试在该公司网站上进行我们将公司使用的基线策略与第3节中描述的重新排序策略进行了比较。在图3中报告了就每个等级位置的CTR而言的结果。95%的置信区间由条顶部的黑线报告。图3清楚地描绘了，对于第一位置，通过重新排名策略实现的CTR在统计学上显著高于（超过2%）基线策略。相反，对于第三个之后的所有排名位置，基线策略实现了略高的CTR，即使差异小于0.5%并且对于底部位置接近于零 第一个位置的增加是预期的，结果证实了我们的假设。然而，我们也期望3关于住宿类型，我们指的是不同类型的属性，例如，公寓、宾馆、三星级酒店等会话数图3：来自A/B测试的结果，以每个等级位置的CTR计对于更多的最高排名位置的改进，而从第三排名位置，我们观察到下降。为了进一步分析用户点击行为，鉴于我们无法披露转化率方面的结果，我们计算了会话的CTR（SCTR）。SCTR定义为点击会话数与会话总数的比率：点击会话数。如果推荐项目中的至少一个接收到点击，则会话被点击重新排名策略实现了23.48%的SCTR，而基线策略实现了略高的24.16%的SCTR。两种策略之间的差异非常小，并且表明重新排名策略的第一个位置的CTR增加被所有其他位置的减少所补偿考虑到A/B测试的结果，第二个研究问题“这些提供的如果主要目标是提高点击率在列表的顶部位置，显然是肯定的尽管数据分析结果显示，较低的价格是改善CTR的关键因素，但按价格重新排序项目的政策仅足以改善CTR w.r. t。位于建议列表第一个位置的基线策略然而，由于用户通常更关注第一位置中的项目，因此即使SCTR随着重新排名策略略微降低，这也可以被认为是良好的结果5. OTA的影响为了进一步研究两种策略之间CTR和SCTR指标的差异，我们进一步分析了对用户决策具有潜在影响的变量 在考虑的变量中，如平均评级，评论数量和酒店的位置，每个酒店的在线旅行社（OTA）成为关键因素之一。在这里，我们关注OTA的影响，因为它对公司的业务很重要，我们已经在[ 25 ]中分析了其他变量。图4描绘了针对最常见OTA和针对所有其他OTA的每个秩位置处的CTR。图4：最常见OTA与其它OTA之间的每个秩位置的CTR比较。(a)最常见OTA的印象计数。（b）所有其他OTA的印象计数。图5：最常见OTA和其他OTA的印象计数。OTA。由于我们不能透露OTA的名称，我们只区分了最常见的OTA和其他OTA。至少对于前15个位置，最常见的OTA总是具有显著高于其他OTA的CTR的CTR，这意味着用户比其他OTA更喜欢该OTA。这种偏好的一个原因可能是最常见的OTA可能更受用户信任。OTA组之间的CTR的这种差异，结合图5中报告的每个OTA组的推荐数量，可以解释在两个策略之间识别的SCTR的差异。从图5a中，我们可以看到，重新排名策略推荐具有最常见的OTA的属性不太频繁地处于排名靠前的位置，而更频繁地倾向于其他OTA，图5b。因此，通过支持较低价格的报价，重新排名政策将知名度较低的OTA推到了排名靠前的位置，并使它们受到了更高级别的用户然而，他们被点击的可能性较低，似乎抵消了积极的价格效应，导致SCTR的整体下降。第三个研究问题的答案，“与提供的属性相关的OTA是否影响CTR？”“，是肯定的虽然价格和排名位置被认为是影响用户决策的最重要的特征我们的情况是OTA，这可能会影响用户最后，在我们的案例中，基于价格的重新排名算法也保持了OTA功能的平衡，可能会改善基线，而只考虑价格就足以实现边际改善。6. 结论在本文中，我们研究了价格如何影响用户的点击行为在网上酒店搜索。我们首先分析了在元搜索预订平台中收集的历史数据集，正如预期的那样，价格对CTR有很大的影响为了验证这一事实，我们在该公司的网站上进行了一项在线A/B测试结果表明，重新排名的政策提高了CTR的顶级位置。 这证实了价格是影响用户点击行为的关键因素，根据以前的工作（如Lockyer [ 23 ]和Stávková等人）。[24]），其中许多因素影响用户的决策，例如清洁度和性能质量。然而，在RS的背景下，通常很难或几乎不可能评估项目的真实质量。相反，我们发现，即使是一个更可识别的功能，如OTA与属性，影响用户的决定。例如，在我们的情况下，与其他OTA相比，最常见的OTA对于每个排名位置都实现了更高的CTR，并且似乎更受用户青睐。因此，这项工作突出了许多影响因素和偏见的用户决策在线旅游搜索中被忽视的大多数离线数据集的结果，基于价格的重新排名策略。引用[1] 大通Borràs，A.Moreno，A.Valls，智能旅游推荐系统：调查，专家系统与应用41（2014）7370-7389。[2] 克 雷 Chaudhari ， A. Thakkar ， A comprehensive survey on travel recommendersystems，Archives of Computational Methods in Engineering 27（2020）1545[3] 问 . Liu ， Y.Ge ， Z.Li ， E.Chen ， H.Xiong ， Personalized travel packagerecommendation，in：2011 IEEE 11th international conference on data mining，IEEE，2011，pp.407-416[4] 楼 Lorenzi ， S.Loh ， M.Abel ， Personaltour ： a recommender system for travelpackages，in：2011 IEEE/WIC/ACM International Conferences on Web Intelligenceand Intelligent AgentTechnology，volume 2，IEEE，2011，pp.333-336[5] 运动Yu，H. Xu，Z.扬湾，澳-地Guo，Personalized travel package with multi-point-of-interestrecommendation based on crowdsourced user footprint，IEEE Transactionson Human-Machine Systems 46（2015）151[6] 没有鲁奥察洛湾Haav，A. Stoyanov，S. Roche，E.法尼河Deliai、E. Mäkelä，T. 考皮宁大 肠 Hyvönen ， Smartmuseum ： A mobile recommender system for the web ofdata，Journal of Web Semantics 20（2013）50[7] W.美国Yang，S.-纽约Hwang，itravel：A recommender system in mobile peer-to-peerenviron-ment，Journal of Systems and Software 86（2013）12-20.[8] 梭Binucci，F.De Luca，E.Di Giacomo，G.Liotta，F.Montecchiani，设计旅游推荐系统的内容分析器，专家系统与应用87（2017）199[9] 上午Gupta，K.Singh，基于位置的移动环境个性化餐厅推荐系统，在：2013年计算、通信和信息学进展国际会议（ICACCI），IEEE，2013年，pp. 507-511[10] 大通Zeng，F.Li，H.Liu，J.Wen，S.Hirokawa，A restaurant recommender systembased on user preference and location in mobile environment，在：2016年第五届IIAI国际先进应用信息学大会（IIAI-AAI），IEEE，2016年，pp. 55比60[11] P. Resnick，N. Iacovou，M.作者：J. Riedl，Groupens：网络新闻协同过滤的开放式体系结构，见：1994年计算机支持的协同工作ACM会议论文集，1994年，pp. 175-186[12] 室萨加岛Hayashi，H. Tsuji，Hotel recommender system based on user2437-2442[13] 先 生 尼 拉 希 岛 bin Ibrahim ， N.Ithnin ， N. 小 时 Sarmin ， A multi-criteriacollaborative filteringrecommender system for the tourism domain using expectationmaximization（em）and[14] 运动Zhang，Y.Morimoto，基于评论意见的主题和情绪的协同酒店推荐，载于：第9届信息与工程论坛论文集，DEIM，2017年。[15] 学位Jannach，M.Zanker，M.Fuchs，Leveraging multi-criteria customer feedbackfor satisfaction analysis and improved recommendations ， J. 信 息 文 件 技 术 游 14（ 2014 ） 119 网 址 ： https://doi.org/10.1007/s40558-014-0010-z 。 doi ：10.1007/s40558-014-0010-z。[16] 先生大通Pazzani，D.Billsus，基于内容的推荐系统，在：自适应网络，Springer，2007，pp.325-341[17] 先生P. O'Mahony，B. Smyth，学习推荐有用的酒店评论，在：第三届ACM推荐系统会议论文集，2009年，pp. 305-308[18] J. Srisuan ， A. Hanskunatai ， The ensemble of naïve bayes classifiers for hotelsearching，in：2014年国际计算机科学与工程会议（ICSEC），IEEE，2014年，pp.168-173.[19] 上午Levi，O.莫克林角Diot，N.塔夫脱，在评论的干草堆中找到一根针：冷启动基于上下文的酒店推荐系统，在：第六届ACM推荐系统会议论文集115-122[20] 先生Rossetti，F.Stella，M.Zanker，使用主题模型分析旅游业中的用户评论，J. Inf.Technol.游16（2016）5-21。网址：https://doi.org/10.1007/s40558-015-0035-y。doi：10。1007/s40558-015-0035-y。[21] K. 下 午 林 ， C. 纽 约 Lai ， P.- 梭 陈 ， S. 纽 约 Hwang ， Personalized hotelrecommendation using text mining and mobile browsing tracking ， 2015 IEEEInternational Conference on Systems ， Man， and Cybernetics， IEEE ， 2015，pp.191-196[22] 没有约阿希姆湖格兰卡湾Pan，H. Hembrooke，F. Radlinski，G. Gay，评价网络搜索中点击和查询重构的隐式反馈的准确性，ACMTransactions on Information Systems（TOIS）25（2007）7[23] 没有Lockyer，The perceived importance of price as one hotel selection dimension，Tourism Management 26（2005）529-537.[24] J. Stávková湖Stejskal，Z. Toufarová等人，影响消费者行为的因素，ZEMEDELSKAEKONOMIKA-PRAHA- 54（2008）276。[25] 大肠卡文纳吉湖Camaione，P.米纳西湾Sottocornola，F.Stella，M.Zanker，在线酒店搜索中用户点击行为的分析，在：意大利信息检索研讨会论文集，2022年。