众包多目标推荐系统：任务匹配与满意度提高

13710众包多目标推荐系统�0EimanAldhahri田纳西州孟菲斯大学孟菲斯，田纳西州aldhahri@memphis.edu0VivekShandilya佛罗里达州杰克逊维尔大学杰克逊维尔，佛罗里达州shandilya@ju.edu0SajjanShiva田纳西州孟菲斯大学孟菲斯，田纳西州sshivi@memphis.edu0摘要0众包是一种雇主在线招募具有不同能力的工作者来处理任务以获取货币奖励的方法。每天发布大量任务，满足工作者、雇主和服务提供商（众包系统的利益相关者）对于其成功至关重要。为了实现这一目标，该系统应该解决三个目标：（1）将工作者与适合其兴趣和技能的任务匹配，并提高工作者的奖励和评级，（2）为雇主提供更可接受的解决方案，降低成本和时间，并提高雇主的评级，（3）提高接受任务的比率，从而提高服务提供商的聚合佣金并相应提高注册用户（雇主和工作者）的平均评级。为了实现这些目标，我们提出了一种机制设计，能够使用多目标推荐系统实现整体满意度。相比之下，所有以前的众包推荐系统都是为解决可能是工作者或雇主的利益相关者之一而设计的。此外，我们的独特贡献是将每个利益相关者视为自我服务。考虑到每个利益相关者的自私行为，我们为每个利益相关者提供了更合格的推荐。0关键词0众包，推荐，任务匹配。0ACM参考格式：Eiman Aldhahri，Vivek Shandilya和SajjanShiva。2018年。众包多目标推荐系统。在WWW '18Companion：2018年Web会议伴侣，2018年4月23日至27日，法国里昂，Jennifer B. Sartor，Theo D'Hondt和Wolfgang DeMeuter（编辑）。ACM，纽约，纽约，美国，第4篇，9页。https://doi.org/10.1145/3184558.319157901 引言0众包是一种雇主将任务外包给大型网络众包工作者群体以获取货币奖励的过程。众包的优势在于雇主能够访问大量高技能工作者的人才库，以在较短的时间和成本内处理外包任务，相比内部员工[4，9，18]。最近，众包系统呈现出显著的趋势，并出现了几个主要的众包平台0� 生成许可块和版权信息0本论文发表在知识共享署名4.0国际许可证（CC BY4.0）下。作者保留在个人和公司网站上传播作品的权利，并附上适当的归属。WWW '18Companion，2018年4月23日至27日，法国里昂，© 2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可证发布。ACM ISBN978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.31915790已经出现了一些众包系统，例如ClickWorker，CloudCrowd，UpWork和著名的Amazon MechanicalTurk。众包系统有三个利益相关者：工作者，雇主和服务提供商。雇主在截止日期和货币奖励下将任务发布给众包。工作者申请可以增加他们的奖励和评级的任务。服务提供商的角色是提供与工作者准确匹配的推荐列表，以最大化接受任务的佣金。由于众包系统上有大量的任务和工作者可用，找到合适的任务（或一组合适的任务）和工作者（或一组工作者）是一项费力且耗时的过程[8，20]。合适的任务主要取决于两个因素：兴趣和技能[8]。兴趣是根据每个工作者的不同加权的多维因素来衡量的：货币奖励和评级分数。此外，即使考虑到工作者的评级分数，选择最合格的工作者也是一个挑战。这个分数可能反映工作者的整体熟练程度而不是专业评级。前述的任务-工作者匹配是消除众包数据管理中的低质量解决方案的重要因素[12]。可能影响利益相关者目标的另一个问题是如果一个工作者同时处理大量任务，这可能会降低解决方案的效率。作为替代方案，这些任务的一部分可以分配给有更多时间的经验较少的工作者，这可能会提高解决方案的效率。在另一种情况下，如果我们向最高效的工作者推荐任务，则雇主的目标将得到满足。然而，工作者可能会忙于处理低报酬任务而错过一些高报酬任务。因此，应构建一个结构良好的推荐系统，以满足所有利益相关者并解决前述困难。这样的系统将使工作者找到他们喜欢的任务，雇主获得更合格的解决方案，服务提供商增加接受任务的比率以提高其平台的收入和知名度。众包系统根据平台的主要功能分为四种原型：众包处理，众包评级，众包解决和众包创作[8]。众包处理寻求不需要特定技能的微任务，例如AmazonMechanicalTurk。众包评级寻求工作者对给定主题的观点，这就是TripAdvisor所做的。众包解决寻求需要某些熟练工作者的任务，其中解决方案是独立获取的，就像InnoCentive一样。众包创作寻求具有不同技能的工作者的定义任务，其中提交的解决方案被汇总以包括整体任务解决方案，就像Wikipedia一样[8]。众包系统还可以根据其行为的性质进行分类，可以是竞争性的或招聘性的[1]。在竞争行为中，任何工作者都可以在没有许可的情况下处理任务。然后，奖品将授予一个或多个0Track: ORSUM: Workshop on Online Recommender Systems and User Modeling WWW 2018, April 23-27, 2018, Lyon, FranceTrack: ORSUM: Workshop on Online Recommender Systems and User Modeling WWW 2018, April 23-27, 2018, Lyon, France13720提供最佳解决方案的工作者。在雇佣行为中，雇主需要在工作者开始处理任务之前授权工作者。然后，雇佣的工作者根据其正确性获得奖励。此外，众包系统中的任务可以分为微任务（例如，标记图像），需要几秒钟，和宏任务（例如，创建分析论文、网页设计），需要更长时间[12]。在本文中，我们考虑雇佣宏任务的众包。由于现有的大多数众包研究都集中在微任务上，我们选择关注被认为是一个重要研究课题的宏任务[12]。我们假设每个利益相关者都以自私的方式来最大化利润。基于这个假设，我们提出了一个基于多目标推荐系统的机制设计，通过以下方式实现整体满意度：将工作者与适合其技能的任务匹配，提高工作者的奖励和评级，为雇主提供更合格的解决方案以降低成本而不影响其评级，提高接受任务的比率，从而相应地增加聚合佣金。本文的主要贡献是0（1）定量制定利益相关者（雇主、工作者和众包服务提供商）的战略互动模型，（2）计算雇主和工作者的推荐算法，（3）数值模拟以评估推荐的有效性。0本文的其余部分组织如下。第2节回顾相关工作，第3节描述工作流程，第4节提出问题的形式化，第5节描述了提出的推荐模型，第6节描述了实验，第7节总结了本文。02 相关工作0我们对众包和其他在线系统中无处不在的推荐系统进行了详细调查和批判性研究[2]。我们的研究表明，大多数通用推荐系统[5, 7, 10, 13,14,16]只涉及一个利益相关者。这些研究的主要贡献是通过利用不同的技术，如用户-项目子群体[5]、专家意见[14]、社交媒体情感[16]和k均值聚类[7]，增强协同过滤方法。另一个主要贡献是使用革命性算法，如遗传算法[10]。同样，所有被审查的众包推荐论文都只涉及一个利益相关者，要么是工作者[3, 6, 15, 19,21]，要么是雇主[22]。一个重要的论文是由Yuen等人[21]提出的，该系统使用矩阵分解从工作者的绩效历史和任务搜索历史中提取工作者的首选任务来推荐亚马逊机械土耳其（Mturk）上的任务。另一个重要贡献是由Lin等人[15]提出的，他们提出了一个基于任务可用性的负隐式反馈的系统。Yuen等人[22]考虑了动态场景来解决冷启动问题，该问题包括新用户和新项目的推荐。Difallah等人[6]已经0根据推动方法而不是目前使用的拉动方法，提出了一种基于众包的不同任务推荐方法。这个想法是利用社交媒体网站Facebook从用户喜欢的页面和完成的任务中收集用户的技能和兴趣。然后，任务会发布在相关工作者的页面上。据我们所知，以前的文献没有考虑满足所有三方利益相关者的目标。此外，没有人考虑到对方的行为以提供更合格的推荐。设计这样一个推荐系统将是有效众包的一个很好机会，正如我们在这项研究中所建议的。03 工作流程0在本节中，我们提供众包平台利益相关者的工作流程概述作为交互场景。0• 雇主 e 1 ，e 2 ，e 3 ，... 注册为会员。• 工人 w 1 ，w 2 ，w 3 ，...注册为会员。• e h 在时间 t 1 ，t 2 ，t 3 ，... 发布任务 a j ，a j + 1 ，.. : h ，j= 0 ，1 ，2 ，..•对于每个任务，雇主可以指定：（1）所需技能，（2）货币奖励和（3）时间截止日期。• 工人 w i ，w i + 1 ，w i + 2 有资格执行任务 a j。• 在时间 t 1 ，t 2 ，t3 ，t 4 ，工人 w i ，w i + 2 申请任务 a j，只要 t j + n > t l ：l = 1 ，2 ，3，4。t j + n是雇主必须在此时间之前回应接受任务的工人的阈值时间，决定是否雇佣。• 雇主e h 在满足两个条件后从可用任务中移除任务 aj：1）任务已分配给所需数量的工人，2）雇主接受了一个或多个工人的任务。•工人 w i ，w i + 2 完成并提交了任务 a j 的工作。• 雇主 e h接受了一个或多个工人对任务 a j 的工作，并支付了相应的奖励。• 在 t l秒内，服务提供商 S 为任务 a j 赚取了 C l 美元的佣金。10• 考虑任务 a j 1  a j 的另一种情况，最终在 t 2 秒内给出 C 2。20• 在给定的时间段 T 内，最大化 � C 1  +  ..  +  C n。•任务完成并雇主接受任务的概率为 P 1。• 服务提供商 S获得佣金 C 1 的概率为 P 1。0推荐系统应该将任务的推荐列表按照工人的期望累积佣金最大化的顺序排列，这意味着最大化 � P 11 C 1  +  P 12 C 2  +  ...  +  P 1 n Cn。01 C 1 是任务 a j 被接受时服务提供商授予的佣金。2 C 2 是任务 a j 1被接受时服务提供商授予的佣金。137304 问题建模0解决这个问题的实际系统应考虑雇主向 m 名工人发布 n个任务，以最大化佣金。这主要不是关于金钱，而是关于整体平台成功的复杂和明确的矩阵。换句话说，最大化佣金意味着最大化接受任务的比率，这是通过给雇主提供合格的解决方案并给予工人相关奖励来满足他们的结果。在下面，我们确定众包平台中每个利益相关者的确切角色。04.1 工人0• 在个人资料上列出技能• �决策� 申请适合个人资料的 n 11个任务中的 n 1 个。• �决策� 完成 n 11 个任务中的 n 1 ‘ 1个。• n 1 ‘ 1  < n 11  < n 1  < n。04.2 雇主0• 发布任务。• �决策� 将任务分配给申请该任务的最佳 m 11名工人之一。0• �决策� 支付提交任务解决方案的 m 1 ‘ 1 ‘ 工人中的 m 1‘1个。• m 1‘1  < m 11  < m 1  < m。04.3 服务提供商0• 对工人排序推荐的任务。• 按照最大化 � c 1 的顺序排序 n1 个任务。 n 1 的排序列表如下：j 1 0 ，j 1 1 ，j 1 2 ，j 13 ，fi。，j 1 n 1。工人以概率 P ( j 1 0 ) ，P ( j 1 1 ) ，P (j 1 2 ) ，fi。，P ( j 1 n 1 ) 接受任务，其中 P ( j 1 y ) ≥ P (j 1 ( y + z ) )，其中 z > 0，Z ∈ I。05 推荐模型0本节描述了提出的模型（图1）。这是一个多目标问题，既涉及工人又涉及雇主。工人的目标是在指定的时间内工作于最大化奖励和评级的任务。雇主的目标是获得更多合格的解决方案，支付更少，并减少负面评级。换句话说，如果雇主为一个任务雇佣了大量工人，获得更多合格的解决方案的概率将增加。然而，在这种情况下，雇主有两个选择。首先，雇主可以为提交合格解决方案的所有工人支付报酬，这将增加成本。其次，雇主可以为提交合格解决方案的一部分工人支付报酬，这将减少雇主的不满意工人评价。提出的模型为每个工人和雇主推荐最佳选择。因此，接受任务的比率将最大化，服务提供者的目标将得到实现。0在提出的模型中有两种情况：Case-0，工人一次只能处理一个任务；Case-1，工人一次可以处理多个任务。05.1 工人的目标0本节详细描述了工人的目标。对于每个工人 w i，步骤1：找到适合他或她兴趣的任务集合。对于每个任务 a j，有所需的技能 Sk [ a j ] = { sk 1 , sk 2 , .. }，每个工人都有一组技能 Sk [ w i ] = { sk 1 , sk 2 , .. } 。如果 Sk [ aj ] � Sk [ w i ] ，那么 a j ∈ Tasks [ w i ] ，其中 Tasks [ w i ]是包含所有适合工人兴趣的任务的集合。步骤2：使用算法1计算列表Tasks [ w i ]中每个任务的预期货币奖励。考虑历史记录，加权考虑未来的期望，我们应用折现因子方程式Eq.(16)。步骤3：使用算法2计算列表 Tasks[ w i ]中每个任务的预期评级。步骤4：使用算法3计算每个任务的类型权重。步骤5：使用算法4向工人推荐最大化奖励和评级的任务。05.1.1 预期支付（ExP）。每个任务 a j都有指定的货币奖励、截止日期和所需技能。除非雇主批准工作，否则不保证支付。通常情况下，如果提交的工作符合所有要求的规格，雇主将批准工人的支付。然而，如果雇主拒绝支付，没有支付的义务。因此，雇主的评级是反映雇主信任度的重要因素。根据工人的历史记录，我们可以预测工人在任务集合 Tasks [ w i ]中每种类型的任务上可能获得支付的概率。此外，根据雇主的历史记录，我们可以估计每个雇主支付工人的可能性。计算预期支付包括两个步骤。首先，从工人的历史记录中，使用以下方程式计算工人在每种技能或任务类型上的熟练程度：0Q j 是工人 w i 完成类型 j 的任务的概率。0Q j = Σ S [ tasks j ] / Σ H [ tasks j ] (1)0对于每个工人，S [ tasks j ] 是类型 j 的提交或完成的任务，H [tasks j ] 是工人被雇佣来处理的类型 j 的任务。0Q j 1 是工人 w i 获得类型 j 任务报酬的概率。0Q j 1 = Σ Paid [ tasks j ] / Σ S [ tasks j ] (2)0其中 Paid [ tasks j ] 是类型 j的已接受任务。工人在类型 j 任务中的熟练程度为0教授 j = Q j * Q j 1 (3)其次，考虑工人的评级作为一个重要因素，计算雇主的信任度。0Track: ORSUM: Workshop on Online Recommender Systems and User Modeling WWW 2018, April 23-27, 2018, Lyon, FranceTrack: ORSUM: Workshop on Online Recommender Systems and User Modeling WWW 2018, April 23-27, 2018, Lyon, France13740图 1：推荐模型0准确的结果。例如，来自五星级工人的评价比来自二星级工人的评价具有更大的影响力，因为评分更高的工人更值得信赖。0从雇主历史记录中：Q h 是雇主 e h 考虑工人评分 R [ w i ]作为权重因素而支付提交解决方案的概率0Q h = (Paid [ w i ] * R [ w i ]) / (S [ w i ] * R [w i ]) (4)0其中，对于每个任务，Paid [ w i ] 是得到报酬的工人数量，S [ w i ]是提交任务的工人数量。然后根据公式 3 和4，我们可以通过以下公式计算工人任务列表中每个任务的期望支付：0ExP [ a j ] = Prof j * Q h * Reward [ a j ] (5)0其中 Reward [ a j ] 是任务 a j 的货币奖励，Prof i 是工人在类型 j0其中 Prof j 是工人在类 任务中的熟练程度。0最大化 ExP ( W i ) =0y0i = 1 ExP [0其中 y 是 Tasks [ w i ] 集合中任务的数量。05.1.2 期望评分(ExR)。众包中的评分系统允许雇主和工人互相评价。评分是一个重要因素，因此优化评分分数非常重要。从雇主的角度来看，工人的评分可以帮助决定应该雇佣哪个工人。从工人的角度来看，评分可以帮助决定应该申请哪些任务。正如我们在雇主评分公式 4中所描述的那样，评估者的评分被认为是综合整体评分分数的因素。为了证明评估者评分因素的必要性，考虑以下例子。由于评分系统是相互的，如上所述，一个不诚实的雇主可能会给工人一个差评以降低他们的整体评分。这种降低的评分将导致工人的评估对雇主的评分在公式 4中没有太大影响。然而，如果我们在评估工人的评分时考虑雇主的评分，评分分数可能更可靠。0算法 1 期望支付01: 输入：任务集合 Tasks [ w i ] = { a 1 , a 2 , ..., a02: 输入：发布任务的雇主集合 E = { e 1 , e 2 , ..., e h }03: 每个任务 a j 是一个包含三个值的元组 { rewards , deadline ,skills }04: Tasks [ w i ] 中的任务类型：T a = { a 1 , a 2 , ..., a05: 输出：Tasks [ w i ] 中每个任务 a j 的期望支付06: 第一步：计算每种类型任务的熟练程度08: 计算 Q j = S [ tasks j ] / H [ tasks j ]09: 计算 Q j 1 = Paid [ tasks j ] / S [ tasks j ]010: 计算 Prof j = Q j * Q j 1 11:end for012: 第二步：计算雇主承诺014: Q h = (Paid [ w i ] * R [w i ]) / (S [ w i ] * R [ w i ])15: end for016: 最后：计算 Tasks [ w i ] 中每个任务 a j 的 ExP017: ExP [ a j ] = Prof j * Q h * Reward [a j ]0雇主可能会给工人一个差评以降低他们的整体评分。这种降低的评分将导致工人的评估对雇主的评分在公式 4中没有太大影响。然而，如果我们在评估工人的评分时考虑雇主的评分，评分分数可能更可靠。0ExR [ j ] =0(n x = 1 R [ a x ] * R [ e h ]) / (n x = 1R [ e h ]) (6)0其中，ExR [ j ] 是类型 j 任务的期望评分，n 是工人之前提交的类型j 任务的总数，R [ a x ] 是任务 x 的评分，R [ e h ] 是雇主 e h的评分。L[j] =Si=1 Paid[aj]S(7)Tw[j] =1L j(8)4:Twtask type.5: Int ins-counter = 0, task-counter = 0;6: for all ai in Ta do7:ins-counter = 0, task-count = 0;8:for all si in S do9:if si contains task from type ai then10:13750算法2 预期评级01:  INPUT: 任务集 Tasks [ w i ]  =  { a 1 , a 2 , a 3 , ...,02:  INPUT: 发布这些任务的雇主 E  =  { e 1 , e 2 , ..., e h }03:  每个雇主都有一个评级分数值 R [ e h ]04:  OUTPUT: 每个任务 a j 的预期评级在 Tasks [ w i ] 中06: 计算 ExR [ j ]  = � n x = 1 R [ a x  ]� R [e h ] � n x = 1 R [ e h ] 7:  end for05.1.3基于技能的工作负载。根据工人的历史记录，我们可以计算每个工人在同一时间内可以成功处理多少任务，即基于任务类型的工人适当的工作负载。例如，当工人 w i在编程任务上工作时，他或她平均可以同时成功处理三个任务，而在设计任务上工作时可以同时成功处理两个任务，以此类推。对于每个工人，计算每个任务类型 j的适当工作负载。对于每个工人，如果在给定实例 s i 中同时完成了k 1个任务，并且给定的任务类型存在，则按照以下方式找到总任务数量的平均值：0其中 L [ j ] 是工人 w i 的任务类型 j 的工作负载，S是实例的总数，Paid [ a j ] 是在实例 s i中接受的任务数量，仅考虑给定任务类型存在的实例。通过应用公式（7），每个工人 w i将具有不同的任务类型的工作负载。每个工作负载将通过以下方程转换为权重得分：0其中 Tw [ j ] 是工人 w i 对任务类型 j 的权重得分。例如，如果工人w i对编程任务的工作量为3，这意味着他或她可以高效地处理两个额外的任务，编程任务的权重得分将等于0.33。05.1.4 工人推荐任务。工人效用函数是 Maximize [ reward , ratinд ]它是一个多目标优化问题（MOP），具有两个目标：奖励和评级。在文献中，研究人员从不同的角度研究了MOP，因此存在不同的解决方案哲学和目标。有三个主要的偏好MOP类别，解决这个问题需要偏好信息。这些类别是先验、后验和交互式，其中涉及决策者（DM）的偏好信息。在先验方法中，DM首先确定偏好信息，然后找到解决方案。在后验方法中，首先找到解决方案，然后DM将从中选择。在交互方法中，DM的偏好信息将在计算过程中指定。0算法3 任务类型权重（Tw）01:  INPUT: 工人 w i 的任务类型集合 T a  =  { a 1 , a 2 , ..., am }03:  每个实例 s i是实例的id和工人在该实例中接受的任务列表的元组。011: 任务计数器 += si中的任务总数;012: 结束如果013: 结束循环014: L[ai] = 任务计数器/插入计数器;015: Tw[ai] = 1/L[ai]016: 结束循环0为了优化工人的目标，在本文中使用了先验方法。工人首先会指定他们的偏好评级分数，这将用作约束值来解决最大化奖励值的问题。新工人可能更有兴趣建立一个强大的历史记录，并将评级约束值设置为四或五星，以增加他们未来与评级高的资深工人竞争的机会。然而，每个工人可以根据兴趣设置评级约束。0最大化f(x) =0n0j = 1 奖励[aj] (9)0满足 R[aj] ≥ R，其中R是工人设置的评级约束值。0在提出的模型中有两种情况：情况0：一次只有一个任务。可以通过根据预期付款对任务进行排序，将预期评级视为约束值来解决。情况1：同时进行多个任务。如果工人想要在指定的时间内工作一组任务以最大化他/她的目标，可以使用动态规划来解决问题。它变成了一个背包问题，在时间限制内尝试最大化价值，考虑到每个任务的权重得分来自算法4，其中总权重得分应等于或小于1。以下是一个示例：如果工人的任务集如表1所示，通过应用Tw算法4，在时间段内的任务演示如图2所示。工人推荐任务算法使用动态规划解决背包问题[17]，其中KnapSack(ExP, Tw, n, T) =推荐的任务集，ExP是项目值，Tw是权重值，n是项目数量，T是总权重。0Track: ORSUM: Workshop on Online Recommender Systems and User Modeling WWW 2018, April 23-27, 2018, Lyon, FranceTrack: ORSUM: Workshop on Online Recommender Systems and User Modeling WWW 2018, April 23-27, 2018, Lyon, France13760表1：任务列表0任务类型 截止时间 Tw i ExP01 编程 30 0.33 30002 编程 90 0.33 60003 网页设计 120 0.5 50004 网页设计 60 0.5 40005 编程 30 0.33 25006 网页设计 90 0.5 3000图2：任务列表0算法4 工人推荐任务01: 输入：任务集Tasks[wi] = {a1, a2, ..., ak}02: 输入：ExP = {ExP[a1], ExP[a2], ...}03: 输入：ExR = {ExR[a1], ExR[a2], ...}04: 输入：Tw = {Tw[a1], Tw[a2], ...}05: 输入：最小评级约束R06: 输入：优化时间TL07: 输出：推荐的任务09:010: 如果aj的截止时间 > TL，则011: 排除一个j 12:结束如果013: 如果ExR[aj] > R，则014: 添加一个j到Wi15: 结束如果016: 结束循环017: 如果工人一次只做一项任务，则018: 根据ExP[aj]的降序对Wi进行排序019: 否则020: TaskSet = KnapSack(ExP, Tw, n, T)021: 结束如果022: 打印TaskSet05.2 雇主的目标0雇主的基本目标是获得更多的合格解决方案，以换取支付和评级。雇佣更多的工人可以增加获得更好解决方案的机会。因此，成本和评级这两个主要目标将会产生负面影响，如第1节所述。通过选择较少的合格工人，可以优化雇主的目标。通过这样做，我们将减少0不满意（由于未按照他们的期望得到补偿）的工人，这可能导致负面评级并降低奖励。另一个重要因素是工人的当前工作负荷。一些工人可能申请了大量的任务，然后选择其中的一部分任务进行处理。其他一些工人可能选择在大量任务上工作，这可能会降低任务解决方案的质量。为了解决雇主的目标，我们将如下处理前述因素。首先，对于雇主 e h 发布的每个任务 a j，会有 k 名工人申请。每个工人 w i都会有这种类型任务的熟练程度从方程3中得到。此外，每个工人都会根据雇主的评估得到一个评级分数。然后，对于每个工人，我们通过以下方式计算潜在成功 (PS)：0PS = Prof i * R [ w i ] 让 x 为任务 a j 的工人数量。任务 a j的预期支出为0F ( x ) = 最小化 x [ 最大化0i = 1 Prof i * R [ w i ]( Reward0(10) 雇主目标函数将是最大化 [ 完成的工作 - 支付 - 负面评级 ]0其次，根据工人当前处理的任务，我们可以根据第5.1.3节中每个任务的权重得分得到当前工人的工作负荷。如果工人 w i 的当前工作负荷(CW) 是0.75，那说明工人仍然可以高效地处理更多任务。然而，如果另一个工人 w j 的 CW 是 0.0，那说明工人 w j可以更好地处理任务，因为相比于 wi，该工人有更多的时间考虑到两个工人的等效或可比的 PS分数。最后，为了优化雇主的目标，服务提供商需要推荐具有更高的PS 分数和较低 CW的工人。为了解决这个多目标优化问题，采用交互式方法如下：0(1) 雇主 e h 设置所需工人的数量。 (2)服务提供商根据工人推荐列表算法找到所有非支配解。 (3)基于此列表，雇主 e h 重新设置所需工人的数量。0服务提供商将建议雇主选择至少两名合格的工人和一些愿意建立历史的新工人。雇佣新工人可以增加获得更好解决方案的机会，即增加工人数量，但对雇主的评级没有太大的负面影响，因为新工人没有足够的评级分数。雇主将根据申请人的 PS 和 CW设置自己的参数来优化他们的目标。如果有两个 0.9的申请工人，雇主可以将所需工人数量设置为两个加上一些新工人来帮助他们建立历史。然而，如果申请工人的 PS 较低且 CW较高，雇主可以增加所需工人的数量。相互评级系统可以帮助最小化雇佣过多的工人并浪费他们处理任务的时间。213 + ..13770具有低接受机会的。0算法5 工人推荐列表01: 输入: 工人集合 W = { w 1 , w 2 , w 3 , ..., a k }02: 每个工人 w i 都有一个熟练度分数 Prof i 和评级分数 R [ w i ]03: 每个工人 w i 都有一个 CW04: ND 列表 = �05: 输出: 所有非支配的工人列表06: 对于所有的 w i 在 W 中执行07: 计算 PS: 通过 Prof i * R [ w i ] 计算 PS [ w i ]08: 结束循环09: 对于所有的 w i 在 W 中执行010: 如果 PS [ w i ] > PS [ w i - 1 ] 则011: 如果 CW [ w i ] < CW [ w i − 1 ] 则012: 将 W i 添加到 ND013: 结束如果014: 结束如果015: 结束循环016: 对于 W 中的所有 w i017: 如果 CW [ w i ] < CW [ w i − 1 ] 则018: 如果 PS [ w i ] > PS [ w i − 1 ] 则019: 将 W i 添加到 ND020: 结束如果021: 结束如果022: 结束循环05.3 服务提供商的目标0服务提供商的目标是通过向工人推荐任务和向雇主推荐工人来最大化聚合佣金。S h ：工人 w i 申请任务 a j 的概率。S h 1 ：工人 w i获得任务 a j 的概率。S ‘ h 1 ：工人 w i 完成任务 a j 的概率。0S ‘ ‘ h 1 ：工人 w i 完成任务 a j 的概率。0最大化任务 ( a j ) =0y �0i = 1 S h S h 1 S ‘h 1 S ‘ ‘ h 1 ( C )0其中 C 为任务 a j 的聚合佣金。服务提供商的效用函数为最大化[佣金 - 负雇佣评级 - 负工人评级]05.4 折扣因子0我们从系统中的人口统计数据中获得了 n 的值 -我们将要考虑的历史深度 -。我们考虑类似任务的历史，直到该状态的影响在概率上小于 ϵ。换句话说，该状态的影响对当前状态来说不再比随机状态更大。如果大多数工人连续完成了三个任务，我们将得到 n =3，这意味着我们将考虑三个历史记录。一旦我们有了n，我们就可以计算折扣因子 β。折扣因子是必需的，因为我们考虑的是过去发生的事情对工人未来态度的影响。0最近发生的事情对工人未来态度的影响更大。0β  + 02 +03 +  ...  +0n (11)0从方程11中，我们可以得到  β  的值，0β = 10n (12)0我们正在寻找工人 w i 现在获得工作 j i 的概率。0P ( ϵ ( j i − 1 )  =  β 0  �  P ( ϵ ( j i )  +  β 1  �  P ( ϵ ( j i 1 )  +  .. βn  ( ϵ ( j i − n ) (13)0其中0n �0k = 1 β k=  10n �0k = 1 β k P ( ϵ ( j i − K + 1 ) (14)0其中0n �0k = 1 β k=  106 实证评估0本节描述了一个模拟众包范式的实验。我们的实验旨在回答三个问题：0(1) 提出的方法与基准模型和最新技术方法相比如何？ (2)提出的推荐模型的计算复杂度是多少？ (3)提出的模型的可扩展性如何？为了证明我们提出的模型的优越性，我们选择了两个模型作为比较的基准：传统模型和最近发表的模型。06.1 基准模型0传统模型使用贪婪算法推荐与工人技能匹配的最高报酬任务。众包中最新的推荐系统依赖于基于工人绩效历史和工人任务搜索历史的矩阵分解 [22]。06.2 数据集0评估我们提出的模型所需的数据需要完整的工人历史和雇主历史。据我们所知，这些数据只能由众包管理员访问，而不是公开可用的。我们使用合成数据集评估我们的模型。为了使数据集真实和无偏，我们从两个分布中生成了它们，二项分布和均匀分布，具有不同的尺度。表2显示了合成数据集的特征。选择二项分布是因为每个提交的任务只有两种可能性，接受或拒绝。评级值使用离散均匀分布生成，只产生整数。生成的数据集使用Python中的numpy.random抽样模块实现[11]。使用该模块，可以从任何具有指定参数的分布随机定制生成数据。0会议：ORSUM：在线推荐系统和用户建模WWW 2018，2018年4月23-27日，法国里昂Track: ORSUM: Workshop on Online Recommender Systems and User Modeling WWW 2018, April 23-27, 2018, Lyon, France13780图3：评估工人的目标0实验在一台标准台式电脑（四核Intel i7 CPU@3.5 GHz）上进行。0表2：数据集的特征0数据集 分布 任务 类别 工人 雇主0D1二项分布 1000 5 50 500D2二项分布 5000 10 100 1000D3均匀分布 1000 5 50 500D4均匀分布 5000 10 100 10006.3实验过程0首先，我们评估了工人的目标。为了比较目标，我们在每个模型中随机选择了五个工人的平均奖励。每个工人与每个技能相关的熟练度和评分都不同。在我们的模型中，我们计算了预期的奖励和评分。然而，在众包模式下，付款并不保证，如前所述。为了模拟众包模式，我们设计了一个随机程序，每次运行10次、20次和50次，每次根据雇主的承诺得分和工人的熟练得分的接受或拒绝的可能性。在每次运行中，生成一个随机数。如果该数字在零和潜在接受得分之间，任务将被视为被接受；否则，将被拒绝。然后，接受次数将乘以实际奖励。最后，我们计算奖励的平均值。潜在接受得分的计算方法是将雇主的承诺得分乘以工人的熟练得分，如算法中所述。我们在每个数据集上运行了10次、20次和50次的模拟，并将所提出模型中选定工人的平均奖励与两个基准模型中相同工人的平均奖励进行了比较。在基准模型1中，使用贪婪方法选择能够最大化工人目标的任务集合。在基准模型2中，考虑了工人的表现，并根据工人的先前表现推荐任务。为了评估基准模型中的潜在接受性，我们考虑了额外的信息，包括雇主的承诺得分和工人的熟练得分。图3显示了每个数据集中选定工人的平均奖励。其次，我们评估了雇主的目标。为了比较目标，我们随机选择了五个雇主，并为每个雇主0图4：评估雇主的目标0雇主我们随机选择了一个任务。为了评估雇主的目标，我们比较了雇主对每个选定任务的每个工人的潜在满意度。为了模拟雇主的角色，我们在每个数据集上运行了10次、20次和50次的模拟，模拟计算了每个选定雇主的潜在满意度的概率。每次运行都有工人根据任务aj的PS得分的成功或失败的可能性。在每次运行中，生成一个随机数。如果该数字在基于PS[aj]得分的工人成功范围内，任务被视为被接受，工人成功。然后，程序计算了工人成功结果的平均值。在运行程序10次、20次和50次之后，计算了每个工人的成功平均值，并与雇主推荐系统的基准进行了比较，该系统推荐具有最高评分的工人。图4显示了每个数据集中雇主对推荐工人的满意度的概率。07 结论0我们提出了一种多目标推荐模型，用于众包模式。算法的计算复杂度为O(nW)。该模型解决了所有三个利益相关者（工人、雇主和服务提供商）的目标。该模型被设计为一个交互式系统，每个工人和雇主都可以设置符合他们目标的参数。所有以前的众包推荐系统都是为了解决一个利益相关者的问题。此外，没有一个众包推荐系统考虑到另一方的行为，