基于价格的重排序算法的在线实验

CEUR诉讼http://ceur-ws.org基于价格的重排序算法的在线实验EmanueleCavenaghi1，LorenzoCamaione4，PaoloMinasi4，GabrieleSottocornola1，FabioStella3和MarkusZanker1，21博岑-博尔扎诺自由大学，意大利博尔扎诺2奥地利克拉根大学3University of Milano-Bicocca，米兰，意大利4Bravonext SA t/a lastminute.com，基亚索，瑞士摘要推荐系统的创建是为了在信息过载的情况下支持用户然而，用户在决策时会自觉或不自觉地受到许多因素的影响 在本文中，我们专注于我们的注意力在用户的在线酒店搜索和预订决策的背景下，价格的影响。首先，我们分析了来自元搜索预订平台的历史数据集，以评估不同因素对用户点击行为的影响然后，我们在同一个元搜索预订平台上进行了在线A/B测试，将当前策略与基于价格的重新排名策略进行了比较。我们的实验表明，尽管在离线观察中，价格较低的房产往往具有较高的点击率，但在在线环境中，基于价格的重新排名仅足以实现推荐列表中第一位置的点击率的提高。关键词推荐系统，学习排名，旅游，元搜索预订平台，在线酒店搜索1. 介绍推荐系统（RS）是为帮助用户找到感兴趣的项目而开发的算法网络上提供的大量信息导致了信息过载的问题，从而增加了提供有效和及时建议的需求这些方法背后的主要思想是了解用户的兴趣，基于他们对过去与项目交互的反馈，以便推荐符合他们偏好的新的未见过的RS广泛应用于电子旅游领域[1，2]，以推荐目的地/旅行套餐[3，4，5]，兴趣点[6，7，8]或餐馆[9，10]。在向旅行者推荐合适的住宿的背景下，利用上下文特征（例如季节和地点）以及用户的偏好是至关重要的。在过去的几年里，许多RSRecSys旅游推荐研讨会（RecTour 2022），2022年9月22日，与第16届ACM推荐系统会议在美国ecavenaghi@unibz.it（E. Cavenaghi）;lorenzo. lastminute.com（L. Camaione）; paolo. lastminute.com（P.Minasi）; gabriele. unibz.it（G. Sottocornola）; fabio. unimib.it（F. Stella）;Markus.Zanker@ unibz.it（M.Zanker）0000-0002-0235-0421（E. Cavenaghi）;0000-0001-9983-2330（G. Sottocornola）;0000-0002-4805-5516（M.Zanker）©2022本文版权归作者所有。在知识共享许可署名4.0国际（CC BY 4.0）下允许使用讲习班ISSN1613-0073CEUR研讨会论文集（CEUR-WS.org）开发的目的是在网上预订的背景下推荐酒店一些方法基于传统的RS技术，如协同过滤[11]，如[12，13，14]也考虑多标准评级[15]和基于内容的方法[16]，如[17，18]。相反，其他作品提出了特定领域的方法。例如，Levi et al. [19]使用文本评论作为主要的信息来源来提出建议，[20]从文本评论和Lin等人建立了特定的主题模型。[21]设计了一个应用程序，用户可以搜索和浏览酒店评论。这项工作的目的是在网上酒店搜索的背景下找到以下研究问题的答案• 推荐列表中价格较低的旅游物业1是否具有较高的点击率（CTR）？• 基于价格的重新排名是否足以实现更高的CTR？• 与所提供的酒店相关的在线旅行社（OTA）2是否影响CTR？为了回答这些问题，我们首先分析了历史数据。具体来说，我们的数据集是在一个元搜索预订平台上收集的，该平台比较了不同OTA提供的房产价格。然后，为了回答第二个和第三个研究问题，我们进行了A/B测试，以比较公司使用的RS与基于价格的重新排名算法在历史数据集和A/B测试中，该公司没有关于匿名用户及其先前与网站交互的历史的此外，没有明确的反馈（例如，特定于属性的用户评级），但我们不得不依赖于隐式反馈，在我们的案例中是用户点击。本文的组织如下，在第2节中，我们报告了对历史数据集的简要讨论。然后，在第3节中，我们描述了一个简单的基于相对价格的重新排序算法，在第4节中，我们给出了A/B测试的结果最后，在第5节中，我们研究了OTA对A/B测试结果的影响。2. 数据集描述在本节中，我们报告了我们的数据分析结果，以回答第一个研究问题：该数据集由大约130，000个推荐列表组成，每个列表由同一页面上显示的25个属性组成，这些属性是在2021年11月至2022年4月期间在14个意大利城市进行搜索的元搜索预订平台上收集的。在每个推荐列表中，每个属性可以呈现不同的OTA。因此，可以在不同列表中呈现具有不同OTA的属性，并且在每个列表中呈现多个OTA考虑到浏览第一页以外的用户数量很少，我们将分析限制在第一页。首先，考虑推荐列表中不同排名位置的CTR，如图1所示，排名位置的强烈影响变得明显，如Joachims已经指出的那样。1物业一词指的是任何类型的住宿，如酒店、公寓、招待所等。2OTA是用户可以预订酒店的外部公司图1：推荐列表中每个排名位置的CTRX轴报告推荐列表中的排名位置，而y轴报告在该排名位置中实现的CTR(a) 价格高于0.75分位数。（b）价格低于0.25分位数。图2：对于推荐列表中的每个排名位置，条件CTR和先验CTR之间的差异，如图1所示等人[22 ]第20段。在这里，作者指出，用户的点击决定受到结果的相关性的影响，但也受到它们呈现的顺序的影响对于本文的其余部分，我们将把图1中的CTR称为先验CTR。为了回答第一个研究问题，我们在图2中报告了以价格为条件的CTR分布与先验CTR分布之间的差异我们使用以下过滤条件运行了两个实验：高于0.75分位数的值和低于0.75分位数的值。每个推荐列表中的0.25分位数具体来说，在图2a中，我们计算CTR分布时只考虑了价格高于每个推荐列表内的0.75分位数价格，即， 我们删除了每个推荐列表中价格低于0.75分位数的所有属性，并减去先验CTR分布以获得图。同样的程序被应用于计算价格低于0.25分位数的房产的条件CTR分布，如图2b所示。在这个分析中，我们只是忽略了便宜和昂贵的属性，而没有改变排名的位置。对于列表中的每个排名位置，如果我们考虑价格低于0.25分位数的属性，CTR高于先验CTR这显然意味着较低的价格会积极影响用户点击房产的倾向，而如果我们考虑价格高于0.75分位数的房产，则会发生相反的情况：价格越高，CTR越低。问题的答案：“做提供旅游物业以较低的∈推荐名单的点击率更高显然是的正如Lockyer [23]和Stávková等人所述，价格对用户决策有积极和消极的影响[24日]3. 重新排序算法为了回答第二个研究问题，我们实现了一个简单而有效的算法来重新排名当前算法推荐的前25名提供的属性列表由于该算法只对前25个项目进行重新排名，因此可以确保呈现给用户的所有属性都具有与基线相当的质量 为了对属性进行重新排序，我们计算了一个分数，并将属性从最高分到最低分重新排序。公式1中报告的评分由两个逻辑函数和两个均值组成：1 1=·1+−1+·1+−2（1）������������其中，，[0，1]管理两个函数的权重，而+=1表示分数，属性的价格，并控制函数接近极限的速度（即，0和1）。最后，两个平均值���1和���2分别表示推荐列表内的财产的住宿类型3的平均价格和推荐列表内的财产的中间价格（与住宿类型无关）。对于2012年，我们使用中位数而不是平均值来减少离群价格的影响，例如，五星级酒店的价格���10.1让我们能够以一种简单的方式计算质量价格比，因为用户可能更愿意为更高质量的住宿支付更多费用而1002控制属性的绝对价格，因为如图2b所示，用户倾向于点击与较低价格相关联的属性。在下面的实验中，我们使用==0。���五、我们使用结果选择这些值在第2节中描述的数据集上进行离线实验，因为使用两个超参数的不同值运行多个在线实验是不可能的。4. A/B测试结果A/B测试在公司网站上进行我们比较了公司使用的基线策略和第3节中描述的重新排名策略。图3中报告了每个等级位置的CTR结果。95%的置信区间由条顶部的黑线报告。图3清楚地显示，对于第一个位置，通过重新排名策略实现的CTR在统计上显著高于基线策略（超过2%）相反，对于第三名之后的所有排名位置，基线策略实现了略高的CTR，即使差异小于0.5%，并且对于底部位置接近于零 第一个位置的增加是预期的，结果证实了我们的假设。然而，我们也预计，3关于住宿类型，我们指的是不同类型的财产，例如，公寓、宾馆、三星级酒店等。会话数图3：A/B检验的结果，以每个等级位置的CTR对于更多的最高排名位置，我们观察到了改善，而从第三排名位置开始，我们观察到了下降。为了进一步分析用户的点击行为，考虑到我们不能透露转化率的结果，我们计算了会话的CTR（SCTR）。SCTR定义为点击会话数与会话总数的比率：点击会话数。如果至少一个推荐项目收到点击，则会话被点击重新排名策略实现了23.48%的SCTR，而基线策略实现了略高的24.16%的SCTR。这两个策略之间的差异非常小，表明重新排名策略的第一个位置的CTR增加被所有其他位置的CTR减少所补偿鉴于A/B测试的结果，第二个研究问题的答案如果主要目标是提高点击率，那么答案显然是肯定的。尽管数据分析结果显示，较低的价格是提高点击率的关键因素，但按价格重新排序项目的政策仅足以提高点击率。基线策略位于推荐列表的第一个位置然而，由于用户通常更关注位于第一位置的项目，因此即使SCTR随着重新排名策略略微降低，这也可以被认为是一个好的结果5. OTA的影响为了进一步研究两种策略之间CTR和SCTR指标的差异，我们进一步分析了对用户决策有潜在影响的变量 在考虑的变量中，如平均评分，评论数量和酒店的位置，每个酒店的在线旅行社（OTA）成为关键因素之一。在这里，我们关注OTA的影响，因为它对公司的业务很重要，我们已经在[ 25 ]中分析了其他变量。图4描绘了最常见OTA和所有其他OTA在每个排名位置处的CTR。图4：最常见OTA和其他OTA之间每个排名位置的CTR比较。(a)最常见OTA的印象数。（b）所有其他OTA的印象计数。图5：最常见OTA和其他OTA的印象计数。OTA。由于我们不能透露OTA的名称，我们只区分了最常见的OTA和其他OTA。 最常见的OTA至少在前15个位置上的CTR总是显著高于其他OTA的CTR，这意味着用户更喜欢该OTA。这种偏好的一个原因可能是最常见的OTA可能更受用户信任。OTA组之间CTR的这种差异，加上图5中报告的每个OTA组的建议数量，可以解释两种策略之间SCTR的差异。从图5a中，我们可以看到，重新排名策略推荐了具有最常见OTA的属性，而不太频繁地处于排名靠前的位置，而更频繁地倾向于其他OTA，图5b。因此，通过支持较低价格的报价，重新排名政策将知名度较低的OTA推到了排名靠前的位置，并使它们受到了更高级别的用户然而，他们被点击的可能性较低，似乎抵消了积极的价格效应，导致SCTR的整体下降。第三个研究问题的答案是肯定的.虽然价格和排名位置被认为是影响用户决策的最重要因素在我们的案例中，OTA可能会影响用户最后，在我们的案例中，一个基于价格的重新排名算法，也保持了OTA功能的平衡，可能会改善基线，而只考虑价格就足以实现边际改善。6. 结论在本文中，我们研究了价格如何影响用户的点击行为在网上酒店搜索。我们首先分析了在元搜索预订平台中收集的历史数据集，正如预期的那样，价格对CTR有很大的影响为了验证这一事实，我们在该公司的网站上进行了一项在线A/B测试结果表明，重新排名策略提高了顶级位置的CTR 这证实了价格是影响用户点击行为的关键因素，根据以前的工作（如Lockyer [ 23 ]和Stávková等人。[ 24 ]），许多因素影响用户的决策，如清洁度和物业质量。然而，在登记册的背景下，通常很难或几乎不可能评估物品的真实质量。相反，我们发现，即使是一个更可识别的特征，如与属性相关的OTA，也会影响用户的决定。例如，在我们的案例中，与其他OTA相比，最常见的OTA在每个排名位置上都实现了更高的CTR，并且似乎更受用户青睐。因此，这项工作突出了在线旅游搜索中用户决策的许多影响因素和偏见，这些因素和偏见在大多数离线数据集中被忽视，通过呈现基于价格的重新排名策略的结果。引用[1] J. Borràs， A.莫 雷 诺 ， A.Valls， 智 能 旅 游 推 荐 系 统 ： 调 查 ， 专 家系统与应用41（2014）7370-7389。[2] K. Chaudhari，A. Thakkar，对旅行推荐系统的全面调查，工程计算方法档案27（2020）1545[3] Q. Liu ， Y.Ge ， Z.Li ， E.Chen ， H.Xiong ， Personalized travel packagerecommendation，in：2011 IEEE 11th international conference on data mining，IEEE，2011，pp.407-416[4] F. Lorenzi ， S.Loh ， M.Abel ， Personaltour ： a recommender system for travelpackages，in：2011 IEEE/WIC/ACM International Conferences on Web Intelligenceand Intelligent AgentTechnology，第2卷，IEEE，2011，pp.333-336[5] Z. Yu，H. Xu，Z.扬湾，澳-地Guo，基于众包用户足迹的具有多兴趣点推荐的个性化旅行套餐，IEEE人机系统学报46（2015）151[6] T. Ruotsalo，K. Haav，A.斯托扬诺夫，S。Roche，E.法尼河Deliai，E. Mäkelä，T. 考皮宁，E. Hyvönen，Smartmuseum：A mobile recommender system for the web of data，Journal of Web Semantics 20（2013）50[7] W.- S. 杨 ， S.- Y. Hwang ， itravel ： A recommender system in mobile peer-to-peerenviron-ment，Journal of Systems and Software 86（2013）12-20.[8] C. Binucci，F.De Luca，E.Di Giacomo，G.Liotta，F.Montecchiani，设计旅游推荐系统的内容分析器，专家系统与应用87（2017）199[9] A. Gupta，K.Singh，基于位置的移动环境个性化餐厅推荐系统507-511[10] J. Zeng，F.Li，H.刘，J.Wen，S.Hirokawa，基于移动环境中用户偏好和位置的餐厅推荐系统，2016年第五届IIAI高级应用信息学国际大会（IIAI-AAI），IEEE，2016年，第116页。55比60[11] P.雷斯尼克，N.亚科武，M。Suchak，P. Bergstrom，J. Riedl，Groupens：一种网络新闻协同过滤的开放式架构，1994年计算机支持的协同工作会议论文集，1994年，pp. 175-186。[12] R.萨加岛Hayashi，H. Tsuji，Hotel recommender system based on user2437-2442[13] M. 尼拉希岛bin Ibrahim，N.Ithnin，N.H. Sarmin，使用期望最大化（EM）和PCA-ANFIS的旅游领域多标准协同过滤[14] Z. Zhang，Y.Morimoto，基于评论意见的主题和情绪的协同酒店推荐，载于：第9届信息与工程论坛论文集，DEIM，2017年。[15] D. Jannach，M.Zanker，M.Fuchs，利用多标准客户反馈进行满意度分析和改进建议，J。INF. Technol. 旅游. 14（2014）119网址：https://doi.org/10.1007/s40558-014-0010-z。doi：10.1007/s40558-014-0010-z。[16] M. J. Pazzani ， D.Billsus ， Content-based Recommendation Systems ， in ： TheAdaptive Web，Springer，2007，pp.第325-341页。[17] M. P. O'Mahony，B. Smyth，学习推荐有用的酒店评论，在：第三届ACM推荐系统会议论文集，2009年，pp. 305-308[18] J. Srisuan ， A. Hanskunatai ， The ensemble of naive bayes classifiers for hotelsearching ， in ： 2014 International Computer Science and Engineering Conference（ICSEC），IEEE，2014，pp.168-173.[19] A. Levi，O.莫克林角Diot，N.塔夫脱，在评论的干草堆中找到一根针：冷启动基于上下文的酒店推荐系统，在：第六届ACM推荐系统会议论文集115-122[20] M. Rossetti，F.Stella，M.Zanker，使用主题模型分析旅游业中的用户评论，J. Inf.Technol. Tour。16（2016）5-21.网址：https://doi.org/10.1007/s40558-015-0035-y。doi：10. 1007/s40558-015-0035-y。[21] K.- P. 林角，英-地Y. Lai，P.-C. 陈思Y. Hwang，Personalized hotel recommendationusing text mining and mobile browsing tracking ， 2015 IEEE InternationalConference on Systems，Man，and Cybernetics，IEEE，2015，pp.191-196.[22] T.约阿希姆湖格兰卡湾潘，H. Hembrooke，F. Radlinski，G. Gay，Evaluating theaccuracy of implicit feedback from clicks and query reformations in web search，ACM信息系统交易（TOIS）25（2007）7[23] T. Lockyer，价格作为酒店选择维度之一的感知重要性，旅游管理26（2005）529-537。[24] J. Stávková湖Stejskal，Z. Toufarová等人，影响消费者行为的因素，ZEMEDELSKAEKONOMIKA-PRAHA- 54（2008）276。[25] E. 卡文纳吉湖Camaione，P.米纳西湾Sottocornola，F.Stella，M.Zanker，在线酒店搜索中用户点击行为的分析，在：意大利信息检索研讨会论文集，2022年。