在线禁令规避的检测与预测

2614→→→表征，检测和预测在线禁令规避ManojNiverthi佐治亚理工学院美国佐治亚州亚特兰大市manojniverthi@gatech.edu摘要GauravVerma佐治亚理工学院美国佐治亚州亚特兰大市gverma@gatech.eduACM参考格式：Srijan Kumar佐治亚理工学院美国佐治亚州亚特兰大市srijan@gatech.edu版主和自动化方法对从事破坏性行为的恶意用户实施禁令。然而，恶意用户可以轻松创建新帐户来逃避此类禁令。之前的研究集中在其他形式的在线欺骗上，比如同一实体同时操作多个账户（sockpuppetry），冒充其他个人，以及研究个人和社区去平台化的影响在这里，我们进行了第一次数据驱动的研究，即禁令规避，在网络平台上规避禁令的行为，导致同一用户在时间上对账户的操作不连续。我们策划了一个新的数据集，包含8551个禁令规避对（父母，儿童），并将他们的行为与非回避恶意用户和非回避恶意用户进行对比。我们发现，逃避儿童帐户在几个行为轴上与被禁止的父母帐户表现出相似性-从用户名和编辑页面的相似性到添加到平台的内容及其心理语言属性的相似性。我们揭示了可能逃避禁令的账户的关键隐私属性。基于分析中的见解，我们训练逻辑回归分类器来检测和预测在三个不同点上的禁令规避。禁止规避生命周期。结果表明，我们的方法在预测未来的逃避者（AUC = 0。78），早期发现禁令规避（AUC = 0. 85），以及子账户与父账户的匹配（MRR = 0. 第97段）。我们的工作可以帮助主持人减少他们的工作量，并确定回避对更快，更多比目前的手动和基于人工智能的方法更有效。CCS概念• 信息系统Web日志分析;数据挖掘;·以人为中心的计算协作和社会计算的实证研究;·安全和隐私安全和隐私的人类和社会方面。关键词禁令规避、恶意用户、欺骗检测、在线社区、维基百科两位作者都对本研究做出了同等的贡献。允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上版权的组成部分，这项工作所拥有的其他人比ACM必须尊重。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。请求权限请发邮件至permissions@acm.org。Manoj Nijani，Gaurav Verma，and Srijan Kumar.2022年表征，检测，和预测在线禁令规避. 在ACM Web Conference 2022（WWW '22）的会议记录中，2022年4月25日至29日，虚拟活动，法国里昂。ACM，美 国 纽 约 州 纽 约 市 ， 10 页 。 https://doi.org/10.1145/3485447 的 网 站 。35121331引言由于在线平台在促进信息共享和消费、建立联系和促进讨论方面发挥着核心作用[16]，因此它们也使恶意的个人更容易参与在线滥用[27，42]。现有的研究已经研究了恶意用户的在线行为[21，22]，并且已经开发了几种基于机器学习的自动化工具来帮助审核[4，22，32]。然而，恶意用户经常开发新的策略来规避检测，给整个审核周期增加了更多的复杂性 禁令规避是恶意用户经常采用的一种流行的规避策略。规避禁令是在在线平台上规避暂停的行为[29]，其中被禁止的用户创建另一个帐户以继续他 们 在 平 台 上 的 活 动 。 近 年 来 ， 像 Twit- ter ， Reddit ，Facebook，维基百科，Khan Academy，Discord，Twitch和eBay[29，40，44]这样的平台已经注意到禁令规避者如何通过继续从事从骚扰[39]到传播恐怖主义亲异教徒[5]的恶意行为来威胁在线平台的精神。规避禁令也与现实世界的大规模暴力行为有关[11]。尽管最先进的机器学习模型可以检测到仇恨言论和错误信息的实例，但它们的用途有限，因为恶意行为者可以逃避禁令并继续进行破坏性活动。因此，我们必须了解禁令规避者的行为，并开发可靠的技术来有效地预测和检测他们。虽然在需要个人和敏感信息（电子邮件，银行账户详细信息，IP地址等）在创建像eBay这样的帐户时，当版主无法获得这些信息时（例如在subreddit的情况下），版主）和不以“真实生活”身份为中心的平台上-1此外，目前识别禁令规避者的过程是手动的[46]和基于知识的（例如使用IP地址）[22]，易于出错（例如，同一位置的两个人可以具有相同/相似的IP地址）。为此，我们分析了禁令规避者的行为属性，并开发了基于这些属性检测和预测禁令规避的方法，同时不依赖于仅适用于特定平台的敏感信息。WWW©2022计算机协会。ACM ISBN 978-1-4503-9096-5/22/04。. . 十五块https://doi.org/10.1145/3485447.35121331维基百科等平台并不强制分享个人信息，因为对于一些贡献者来说，他们的“真实生活”身份被发现可能会威胁到他们的“福祉，职业生涯甚至人身安全”。2615WWW在这项工作中，我们在Wikipedia2中策划了一个新的禁令规避数据集- 一个社区驱动的百科全书，它体现了在线社区的我们的禁令规避父母账户禁止逃税时间逃避子帐户数据集是从sockpuppet导出的（即，由同一个人操作的多个未公开的账户）由维基百科版主识别和验证。总之，我们确定了8，551个禁令规避对任务1：被封禁的账号将来会创建一个规避账号吗？任务2：新创建的帐户是否是以前被禁止帐户的规避帐户？任务3：如果检测到一个规避禁令的帐户，请找到它的父帐户。（parent，child）在维基百科上。我们还可以获得与之相关的帐户级元数据（如创建时间、阻止时间和用户名）和编辑相关信息（编辑的页面、添加的文本、删除的文本、编辑评论和时间戳）。我们描述了禁令规避生命周期，并讨论了行为属性（基于元信息和语言信号），（a）表征未来的禁令规避者从非规避恶意行为者，（b）区分禁令规避对控制恶意对，（c）关联规避子帐户与相应的父帐户。我们的分析表明，未来的逃避者与其他恶意行为者在帐户级别的元数据和语言属性（如用户名，编辑次数，使用客观语言）方面有所不同，并且使用较少的脏话，非正式和性词汇。此外，即使一些禁令规避者采取欺骗策略，他们的整体行为，在写作风格和时间签名方面，仍然与他们以前被禁止的同行相匹配。 基于禁令规避生命周期，我们制定了三个分类任务：预测帐户是否会规避禁令，早期检测规避，并将规避帐户与其父帐户进行匹配。对这些基于机器学习的方法的评估表明，它们在预测和检测规避禁令方面是有效的。我们的工作可以直接帮助维基百科版主（i）为他们提供恶意帐户在未来逃避禁令的可能性，（ii）检测可能逃避禁令的新创建帐户，以及（iii）收集与逃避相关的证据以调查报告的恶意帐户。我们打算将禁令规避数据集提供给社区，以帮助维基百科版主未来的研究和开发可操作的工具 我们将在第7节中讨论这项工作的更广泛的视角和相关的道德规范。2相关工作2.1布袋戏Kumar等人（2017 b）将sockpuppetry定义为在在线平台上维护和控制多个帐户的行为。Sockpuppetry，就像禁令规避一样，属于研究在线社区欺骗的更广泛的研究主题[25，38]。虽然早期的研究集中在组成sockpuppet组的帐户的欺骗性[23，47]，但Ku-mar等人（2017 b）发现，在讨论论坛的背景下，sockpuppet帐户可以是伪装者（具有恶意）和非伪装者（在社区中公开可见）。一些研究集中在开发用于检测sockpuppetry的自动化工具[32，33，37]。与sockpuppetry不同，禁令规避涉及在前一个帐户因恶意行为被禁止后严格创建新帐户。时间结构的差异-同时处理用于sockpuppetry的账户和顺序处理用于规避禁令的2数据集可从https://github.com/srijankr/ban_evasion获得图1：规避禁令的生命周期。基于禁令规避的关键阶段，我们制定了三个目标：（i）预测未来的禁令规避，（ii）在创建新帐户后不久检测禁令规避，以及（iii）在禁止规避子帐户时检测和匹配。提供了新的考虑因素，因为规避帐户的行为现在已被先前的禁令及其后果所告知。 我们的研究重点明确禁止规避，而不是sockpuppetry。2.2禁止和退出平台自30年前第一个在线社交网络诞生以来，规避禁令一直是一个问题[10，14]。然而，近年来，由于社交平台的大规模扩展及其促进的互动，这个问题变得更加突出。根据Grimmelmann一些研究集中在理解禁令和去平台化的影响-这些研究发现，虽然禁令和去平台化迫使很大一部分用户放弃平台，但少数用户和社区逃避禁令，继续进行恶意活动，导致与滥用、宣传有关的持续问题，有时甚至导致现实生活中的暴力行为。具体而言，Ali et al. （2021）报告称，因有毒行为而被禁止使用Twitter的用户在Gab上创建了帐户，在那里他们变得更加活跃，但失去了观众。虽然这些研究的重点是执行禁令作为一种适度的技术，并研究其后果，我们的研究重点是了解与禁令规避行为及其检测相关的行为属性除了学术研究之外，Reddit和Twitch等一些关键的社交媒体平台最近讨论了开发专有的自动化工具来检测禁令规避[28，34]。这些讨论进一步强调了解决这一问题的重要性。从更广泛的角度看问题3禁止规避生命周期和我们的任务禁止规避生命周期（如图1所示）始于禁止恶意帐户（该禁令可以由版主或自动算法执行，以限制对在线社区的伤害。在规避过程中，账户所有者会创建一个新账户（“儿童”账户）来绕过禁令，通常是继续滥用社区成员，破坏平台或从事其他恶意活动。我们将这种创建儿童帐户的行为称为禁令规避。恶意账号普通账户账户创建账户禁止2616···（）下一页表征，检测和预测在线禁令规避WWW儿童账户还参与恶意行为，甚至被平台或社区检测到并禁止规避禁令生命周期的三个关键阶段是：禁止父帐户，创建子帐户和禁止子帐户。版主希望在规避生命周期的早期抓住规避者然而，目前主持人遵循的程序有几个缺点。首先，由于可以帮助他们确定帐户是孤立地进行恶意活动还是与先前被禁止的帐户相关联的工具的可用性有限，版主通常无法报告禁令规避活动（即，是否为逃票账户）。事实上，根据Reddit的官方统计数据，版主只识别出10%的逃避者[28]。其次，目前的生命周期只在他们从事恶意行为（也可能是在多起虐待和破坏事件）。我们在规避禁令生命周期的三个关键阶段制定了以下任务，可以大大减少版主的认知负荷，并限制对此类平台上社区成员的伤害任务1.规避预测：给定一个被禁止的帐户对于恶意行为，预测将来是否可能创建逃避子帐户任务2.早期规避检测：给定一个帐户，刚刚创建，检测它是否是任何以前被禁止的帐户的逃避子帐户任务3.Ban-time规避检测和归因：给定一个被报告参与恶意活动的帐户，确定它是逃避子帐户还是孤立帐户。如果是逃避子帐户，请标识其父帐户。4维基百科BAN EVASION数据集我们首先讨论了我们为研究规避禁令而策划的主要数据集，然后描述了阴性样本的构建，以便于比较分析。4.1禁止规避数据集由于没有现有的禁令规避数据集，我们根据维基百科的sockpuppet组数据策划了一个新的数据集。3 sockpuppet被定义为由用户控制的帐户，该用户还控制至少一个其他帐户。维基百科记录了已被识别（使用手动和自动化技术的组合）并由版主严格验证的sockpuppeteering实例的数据 根据2021年3月10日收集的数据，维基百科已经识别并禁止了19，395个“sockpuppet群组”。每个组包含关于单个用户控制的一组帐户（“傀儡”）的信息。我们注意到，sockpuppet组并不都是互不相交的，因此我们采用基于图的方法对数据进行预处理（请参阅附录A.1详细信息）创建真正包含由一个实体（个人或组织）控制的所有帐户的不相交的较大sockpuppet组。这给了我们18,707个sockpuppet组。没有明确的标签的禁令规避帐户对。因此，我们创建了一种新的技术来识别来自sockpuppet组数据的禁令规避帐户。 在每个sockpuppet组中，我们首先按照创建时间对所有帐户进行时间排序。然后，对于特定组中的每个帐户，我们确定了他们的时间3https://en.wikipedia.org/wiki/Wikipedia:Sockpuppet_investigations前任和继任者帐户u的临时前身是指其封禁时间最接近于创建u之前的帐户。帐户v那么，u，v是一个禁止规避对，如果：(a)两个帐户都是同一个Sockpuppet组的一部分，（b）U是V的该过程确保了禁令规避对中的父账户和子账户之间的一对一映射，因为多个账户可以共享相同的临时后继者（例如，当一个父母创建几个逃避账户时）或相同的临时后继者（例如，当多个帐户被禁止，然后创建一个逃避帐户时）。在这对中，u是父帐户，v是子帐户。严格的配对条件和双向配对标准导致32，661个禁令规避对。然而，上述对中的一些可以是同一组的一部分为了避免单个用户重复规避禁令的情况，我们将重点放在每个组中的第一个规避禁令对上，其中该顺序由规避禁令对内的父帐户的创建时间定义。这导致了我们研究的最终一组8，551个禁令规避对。对于这些配对中的每个帐户，我们收集他们在维基百科上的贡献历史（关于所有修订的元信息，维基百科页面上实际贡献的内容，以及修订后留下的评论请注意，虽然被禁止的用户可以创建新帐户，并且此后不参与恶意活动，但我们特别关注由于恶意行为而识别和禁止逃避帐户的情况。后者是一种更严重的情况，需要早期发现。因此，我们的工作集中在父母和孩子逃避帐户都是恶意的情况下因此，策展数据集也仅覆盖适当的实例。4.2 特定于任务的帐户匹配为了描述禁令规避者的行为，并了解他们的行为与良性或其他非规避恶意实体的不同之处，我们需要创建特定于任务的匹配样本，以便对比他们的行为。匹配的用户逃避预测。逃避预测任务的目标是预测被禁止的父帐户将来是否会创建逃避帐户。 此任务涉及比较已知参与恶意行为的两种类型的帐户：(a)将在未来创建逃避帐户的被禁止的帐户（父帐户），以及（b）将在未来不创建逃避帐户为了收集一组非规避恶意用户帐户，我们从Wikipedia中检索了一组1，354，956个被禁止的帐户记录然后我们应用了一组过滤器也就是删除所有被归类为sockpuppets的帐户，这些帐户违反了维基百科的代理策略或被自动阻止，只剩下55，027个非规避恶意用户。为了解释可能影响逃避行为的时间混淆，我们根据父帐户的禁止时间进行匹配：在被禁止的父帐户的禁止时间的7天窗口内被禁止的恶意帐户被匹配在一起。通过这种方式，每个家长帐户平均匹配123.4个非逃避恶意帐户这一过程导致了1，055，257总负所有父母的样本。WWWManoj Nijani、Gaurav Verma和Srijan Kumar2617匹配用户进行早期规避检测。早期规避检测任务涉及比较两类帐户对：（a）由父帐户和规避子帐户组成的真正的规避对，以及（b）由规避禁令的父帐户和不参与恶意活动的良性维基百科帐户组成的匹配对。我们从维基百科的所有正常帐户中检索了10，867，460个帐户，删除了没有编辑的帐户 为了控制时间混淆，我们根据用户的帐户创建时间进行匹配。具体地，如果良性账户u的账户创建时间在子账户创建时间的1天窗口内并且u的创建时间严格地在父账户的禁止时间之后，则良性账户u与逃避子账户匹配由于良性账户过多，我们将每个子账户匹配的良性账户数量限制为100个。平均而言，每个子账户与41.85个良性账户匹配，导致总共357，848个负面样本。匹配用户进行Ban-time Evasion Detection。 该任务涉及比较两类帐户对：（a）禁止规避对，每个由父帐户和子帐户组成，以及（b）匹配对，由相同的父帐户和参与恶意行为而不参与规避的匹配帐户组成。 与前一个任务类似，构建负样本涉及为特定的逃避子账户识别“候选”被禁账户。具体而言，在父帐户的禁令时间之后并且在逃避子帐户的创建时间的7天窗口内创建的非逃避恶意帐户被表示为特定虚假父帐户的虚假子帐户的候选者。 这导致所有父母中总共有1，003，698个阴性样本，平均每个父母有117.4个阴性样本。5BAN规避分析5.1未来的禁令规避者与其他恶意用户有何不同我们将未来逃避禁令的账户（母账户）的行为与非逃避恶意账户的行为进行对比，即，参与恶意活动的帐户，因此也被禁止，但没有逃避禁令（见第4.2节）。帐户持续时间和活动。我们发现，父账户活跃的平均持续时间约为18天，在此期间，他们进行的修改的平均次数为15次（见图2a）。这比非规避恶意账户的行为要高得多-他们在平台上活跃的平均持续时间为4小时，平均修改次数为3次。此外，父母帐户编辑的唯一维基百科页面的中位数高于非规避恶意帐户（7对10）。①的人。父帐户在比其对应帐户高得多的时间间隔后进行编辑（平均间隔为7小时，3分钟）。总的来说，我们发现未来的逃避者在被禁止之前活跃的时间更长在这段时间里，他们会做更多的修改，编辑更多独特的页面，并在他们的编辑之间保持比他们的非回避同行更高的分离。对比一下。 帐户用户名以前曾被证明是恶意行为[22，43]。在这里，通过分析父帐户的用户名，我们发现，与其他恶意帐户相比，他们平均（11. 89对 13岁30个字符; p <0. 001）4. 仔细观察表明，平均而言，父帐户使用较少的非字母数字字符（不包括空格）（0。41对0。49个字符; p <0. 001）。对来自两组的100个随机抽样用户名的手动检查（由论文的一位作者进行）表明，非规避恶意帐户通常使用非字母数字字符来“隐藏”明确和不适当的名称（例如，“A$$ KIKR”和“$hit $on”（这些是来自平台的真实用户名）。三个独立的注释器分别在父帐户集合中发现了1、2和1个不适当用户名实例5（由3个注释器识别的1个常见实例），并且在非规避恶意帐户集合中发现了7、9和8个不适当帐户实例（3个注释器中的7个常见实例）。这一观察结果暗示了未来的禁令规避者的温和行为-虽然一些恶意用户从创建帐户时就具有攻击性和破坏性，但未来的禁令规避者相对不那么明显。通过LIWC进行文本分析。为了对比这些账户的语言行为，我们利用LIWC词汇来获得有关用户的情感、思维方式和注意力集中的有价值信息[26，35]。使用LIWC，我们将单词分类为有意义的心理语言学类别，并将每个帐户添加的文本表示为落入每个LIWC类别的单词的计数我们发现，父母账户往往更关注过去（经常使用的词，如前，做了，谈了）比非逃避恶意帐户（0.049与。0.037; p <<0. 05。05; Cohen部分账户也倾向于使用更多的功能词（0.434vs.0.420;p <0. 05。05;科恩0.14; p <0. 01; Cohen此外，非人称代词的使用率更高（0.022 vs.0.19; p <0. 01;Cohen0.095; p <<0. 05。05;科恩与先前关于抑制恶意行为的发现一致，正如不适当用户名的实例较少所反映的那样，我们发现父母帐户使用较少的脏话（0.0018 vs.0.0026; p <<0. 05。科恩的d = 0.41），更少的0.0693; p <<0. 05。科恩的d = 0.29），较少的0.0394; p <<0. 05。01;Co-hen的d=0.39），和更少的性词语（0.0012vs. 0.0024; p <<0. 05。01;科恩的d = 0.54）比非逃避恶意帐户。总的来说，我们的分析表明，未来的禁令逃避恶魔-策略抑制恶意行为，这种行为比非规避恶意用户更不明确，更5.2规避禁令对与其他恶意对有何不同在本节中，我们考虑了两个规避账户，即，（parent帐户，逃避子帐户），并将它们的特征与包括参与恶意行为但不是逃避帐户的子帐户的对进行对比，即，（家长账号、恶意账号）。这些对是按照前面第4.2节所述创建的，确保在比较“规避子帐户”与“恶意帐户”时考虑到时间混淆。4使用Welch不等方差t检验计算所有p值5注释者被要求识别用户名是否违反维基百科表征，检测和预测在线禁令规避WWW2618文本回避对中的父帐户±（）下一页∈[]∈ []（）下一页禁止回避配对配对m =+0.03禁止回避对禁止回避对m =-0.28账户持续时间（天）（一）账户间持续时间（天）（b）第（1）款标准化编辑距离（c）第（1）款标准化账户间期限（d）其他事项标准化账户间期限（五）图2：禁令规避分析。（a）：规避禁令父母与非规避恶意账户的账户持续时间分布（b）：禁令规避对与匹配对的账户间持续时间分布。（c）账户间持续时间与用户名之间的归一化Levenshtein距离之间的相关性。（d）：禁用规避对的账户间持续时间分布。（e）账户间期限与产权重叠之间的相关性。帐户持续时间和活动。首先，我们研究了禁令规避的时间动力学。 基于8，551对规避账户，我们注意到规避子账户是在大约4天20小时的中位持续时间之后创建的，尽管我们观察到该时间间隔的高方差，标准差为255天。禁止父帐户和创建逃避子帐户之间的持续时间差异很大（见图2b），这可能暗示了创建者的不同意图[22]-虽然有些人可能希望在被禁止后立即加入平台以恢复之前的活动，但其他人可能希望在相对较长的 一旦创建，逃避子账户在平台上的活动时间中位数为3天12小时，明显短于之前的父账户（中位数= 18天）。 在此期间，规避子帐户进行的修改次数的中位数为6。同样，尽管逃避子帐户所做的编辑的原始数量超过了父帐户所做的编辑（中位数= 15），但重要的是要注意，子帐户每天进行更多的修改。由子账户进行的编辑的增加的速率可能意味着用户扩散特定消息的额外动机，并加强了为什么早期检测禁令规避账户是重要的对比一下。接下来，我们分析父帐户和子帐户的用户名之间的相似性。为此，我们计算两个用户名之间的归一化Levenshtein距离6。我们发现，平均而言，在一个逃避对帐户的用户名更相似时，比较匹配的对0。86对0。91，p <0. 001;参见图2c。为了进一步调查，我们分析了归一化Levenshtein距离相对于账户间持续时间的分布。账户间持续时间定义为犯罪者在母账户被禁止后不活动并正常化的时间长度在删除具有大于1，000天（>µ2σ：异常值消除的典型阈值）的账户后，帐户期限。图2d显示，相当多的用户在最初的禁令后不久就使用类似的用户名创建了逃避账户。 对于某些用户，即使空闲时间更长，他们的新用户名也与父帐户非常相似。编辑重叠。 我们现在关注的是回避对编辑的页面。对于每个规避对，我们考虑父帐户编辑的页面集和规避帐户编辑的页面集。6我们将Levenshtein距离度量标准化为0， 1，通过将编辑距离除以所考虑的两个字符串之间的最大长度已编辑子帐户 我们通过计算交集对并集（Jaccard指数）来量化这两个集合之间的重叠。 我们发现，与匹配对相比，在一个eva- sion对中的帐户在其编辑的页面集合中具有更高的重叠0。12 vs. 0。0001，p <0. 001.然而，一个有趣的方面，以康-SIDER是在创建逃避帐户之前的空闲持续时间与编辑页面之间的重叠我们发现回避对的相关性为-0.08（见图2 e）。这一观察结果表明，在父帐户被禁止后不久，在创建逃避子帐户后编辑相同页面的用户相对较多，表明他们打算以类似的动机返回平台。随着帐户间持续时间的增加，逃避子帐户倾向于编辑与父帐户不同的页面。我们还分析了帐户作为其编辑的一部分留下的元评论之间的共性，这些评论应该向版主和其他贡献者描述编辑我们计算逃避子帐户和父帐户留下的评论的一元组之间的Jaccard指数。我们发现，与匹配对相比，真实对中的帐户有更大的重叠unigrams（0. 08对 0。01;P <<0. 05。001）。回避对的语言特征 为了捕捉这些成对帐户的语言特征，我们关注一对帐户中的帐户在维基百科上添加的内容的三个方面：（a）单字的重叠，（b）语义相似性，以及（c）心理语言属性的变化。 由于之前的研究已经证明，sockpuppet账户在许多行为轴上表现出相似性[22，32]，我们评估了这种相似性是否也存在于一个逃避禁令的账户对中，其中逃避子账户的目标正是不被识别并与被禁止的父账户相匹配。Unigram重叠。 由于父母和孩子逃避帐户编辑类似的页面，他们可能会有类似的词汇表。为了验证是否是这种情况，我们量化了它们的单字重叠。对于任何给定的一对账户，我们计算父账户使用的唯一一元组和逃避子账户使用的唯一一元组之间的Jaccard指数（交集 我们发现，回避对有一个Jaccard指数为0。118（95% CI：0. 114，0。122），而匹配对的Jaccard指数为0。046（95%CI：0. 043，0。051）。Jaccard指数之间的差异具有统计学意义（p <0. 05）。001）。真实回避对的Jaccard指数的较大值表明，当与匹配对相比时，回避对使用相似的词回避对中的父帐户非规避恶意账户禁止回避配对配对规避对中的帐户更有可能具有相似的用户名概率概率概率归一化Levenshtein区标题重叠（Jaccard）WWWManoj Nijani、Gaurav Verma和Srijan Kumar2619基于嵌入的相似性。虽然单字重叠是计算语言相似度的一个简单的度量，但它没有考虑语言的语义相似性。要做到这一点，我们计算父母和孩子写的句子的基于嵌入的相似性。 对于给定对中的每个帐户，我们首先取给定帐户的所有BERT [9]句子嵌入的平均值（通过取句子中所有标记嵌入的平均值）。然后，我们计算父帐户和子帐户的平均句子嵌入之间的余弦相似度。我们发现，逃避对具有嵌入为基础的相似性为0。911（95%CI ：0. 909 ，0 。913 ），而匹配对的嵌入相似度为0 。832（95%CI：0. 830，0。833）。 除了相对较高的单字重叠值之外，真对的较高语义相似性指示父账户和子账户添加的内容之间的实质相似性。 回避与匹配对<的嵌入相似度之间的差异有统计学意义（p0. 05）。001）。心理语言学分析。 添加到维基百科页面的内容本身可以映射到几个心理语言学概念。 使用LIWC词典[26]，我们获得了每个帐户添加到平台的所有文本的心理语言学表示。然后，我们通过计算类别的绝对差，然后在所有类别中取平均值，来比较一对中帐户的表示。 我们发现，回避对的总体绝对差异为0。035（ 95%CI ： 0. 034 ， 0 。 036 ） ， 而 匹 配 对 的 则 为 0 。 039（95%CI：0. 038，0。040）。 差异具有统计学意义（P <0.05）。001）。逃避对的平均绝对差异值较低，表明新的逃避账户在向在线平台添加内容时显示出与被禁止账户相似的心理语言学属性。5.3逃税者如何使用儿童帐户改变他们由于禁令规避违反了平台政策，因此规避者被激励调整其行为以避免检测。然而，目前尚不清楚如何规避子帐户的行为相对于父帐户的变化。为了从心理语言学的角度理解这些行为变化，我们分析了一对逃避行为中儿童和父母账户之间LIWC分数的 我们发现，与以前被禁止的账户相比，儿童账户显示出更多的使用表明认知过程的单词（如原因，知道，应该）。066对0。049;p<0. 001）。这可能暗示了他们在维基百科上为自己的主张辩护的努力同样，儿童账户在被禁止后增加了表示社交过程的词语（如兄弟，谈话，朋友）的使用量（0。114对 0。092;p <0. 01）。值得注意的是，平均而言，逃避账户使用类似数量的脏话，但在使用性术语方面略有下降（p <0. 05）。05），这可能是由于他们的恶意活动不太明显是什么让规避禁令的尝试成功？ 理解为什么某些逃避尝试成功而另一些不成功是至关重要的。因此，我们将禁止规避对分为两组。（i）成功的规避对包括子账户比父账户活跃更长持续时间的规避对。相反，（ii）不成功的规避对包括其中子账户比父账户活跃更短的持续时间的规避对。我们注意到，在8,551个回避对中2，718（31.8%）被认为是成功的逃避对，5，833（68.2%）被认为是不成功的逃避对。成功配对的最显著的心理语言学属性之一是他们对脏话的使用-成功配对中的逃避儿童账户与其父母账户相比略微减少了脏话的使用（从父母到儿童使用脏话的变化为-0.007）;另一方面，不成功配对中的逃避儿童账户使用脏话的次数略多于父母账户（父母和孩子是0.003）。这一差异具有统计学意义（p <0. 01）。此外，成功配对中的儿童逃避账户增加了非人称代词的使用（0.021 vs. 0.016; p <0. 001）。05）和与认知过程有关的单词（分享见解，暗示因果关系）（0.096 vs. 0.053; p <<0. 05。05）与他们不成功的对手相比。这可能暗示成功的逃避者努力在他们的贡献中显得更加客观和合乎逻辑。成功规避的子帐户还具有与不成功的规避子帐户相比，与父母的用户名更明显（孩子和父母的用户名之间的标准化Levenshtein距离：0.91vs. 0.84; p <0.01）。有趣的是，成功的子帐户编辑由父帐户编辑的相同页面的程度大于不成功的子帐户（Jaccard<指数：0.136 vs. 0.115; p 0 .05）。01）。因此，我们的分析表明，尽管继续在相同的页面上进行编辑，成功的子帐户可以逃避版主更长的时间，由于他们的限制语言属性和不同的用户名。6上述分析提供了对禁令规避者行为的关键见解在本节中，我们使用这些见解来开发基于机器学习的方法，用于预测和检测禁令规避，这些方法可以（i）在禁止恶意帐户的通知版主未来规避的可能性，（ii）通过标记可疑的规避子帐户来帮助他们，以及（iii）识别父母和子帐户对。功能. 我们使用上述分析中考虑的各种属性作为构建分类器的特征。我们将特征分为几个子类别：（a）时间特征，（b）基于编辑历史的特征，以及（c）语言特征。表1和表2概述了这些功能集。值得注意的是，虽然用户名相似性等一些特征对于解释性分析很好[17]，但它们很容易操作，因此我们不会在预测和检测设置中使用它们。操纵语言属性会给规避者带来相对较高的认知成本在每个任务中（如下所述），我们通过采用递归特征消除[13]来组合三个特征集的特征，并报告最终结果。我们还通过使用各个特征子集训练模型来进行消融研究。为了控制随机性，我们通过设置不同的随机种子，对相同数据对每个模型的性能进行5次价值观我们在所有情况下观察到狭窄的置信区间。6.1规避预测（任务1）我们的第一个目标是预测一个因从事恶意活动而被禁止的帐户是否会在表征，检测和预测在线禁令规避WWW2620功能集特征时间帐户创建时间（星期、月和日），帐户禁止时间（星期、月和日），帐户持续时间编辑历史帐户已编辑的唯一页面数，总页数-缴款率、缴款平均间隔时间、每次缴款语言平均心理语言学分数（LIWC），平均情绪评分（VADER）表1：用于预测的帐户级功能。未来为在线版主提供在尝试出现之前确定哪些账户可能试图规避禁令的能力，将使他们能够积极打击并防止此类违规行为的发生，从而限制整个平台的滥用规模。我们使用表1中描述的分类特征，并训练逻辑回归分类器来执行分类任务。训练和测试数据集。 对于此任务，我们创建阳性样本作为规避禁令的父帐户的集合，并创建阴性样本作为非规避恶意帐户的集合，如我们在第4.2节中所述。 我们暂时将父帐户集划分为训练集和测试集。我们将前80%的父节点（按创建时间排序）分配给训练集，其余的父节点分配给测试集。 我们将每个父母的阴性样本分配到与父母相同的集合中。然后，我们删除了训练集和测试集上阴性样本之间的所有重叠，以避免信息泄漏。总的来说，这在训练中产生了15，695个样本（1：120的禁令规避父母与非规避恶意用户比率），在测试中产生了2，555个样本（1：120的禁令规避父母与非规避恶意用户比率）。结果 如图3（A）所示，分类器实现了0.778的AUC。 这是一个很高的价值，考虑到在作出这种未来的预测，只有有关当前恶意帐户的信息的困难。值得注意的是，特征消融研究表明，编辑历史特征提供了0.724的AUC，提供了最强的信号。其他特征集单独导致接近随机的性能，时间和语言特征都报告AUC值分别为0.487和0.555。6.2早期规避检测（任务2）这个任务的目的是在一个账户创建并进行了k次编辑后，推断该账户是否是一个逃避者账户？为了进行实验，我们选择k的值为3，这大约是儿童逃避账户在被识别之前所做编辑的中位数的一半。 基于表2中讨论的特征集，我们训练了一个逻辑回归分类器来区分逃避儿童和非恶意帐户。为在线版主提供基于新创建的帐户与过去帐户的关系来确定新创建的帐户是否是规避者的能力可以有助于在规避禁令生命周期中尽可能早地对抗规避禁令的情况。训练和测试数据集。我们使用真实的禁令规避对的阳性样本集和与匹配的良性用户配对的禁令规避父母的阴性样本集，如第4.2. 我们使用按父帐户创建时间的时间顺序将整个禁止规避对集暂时划分为训练集和测试集，将前90%的禁止规避对分配给训练集，其余对分配给测试集。我们分配了一个否定的表2：用于检测和排序的成对特征。样本与其相应的阳性样本相同的训练或测试集。我们删除了分配给培训和测试的阴性儿童之间的重叠，以防止泄漏。 这导致216，516个样本在列车中（1：38. 08禁止逃避配对配对比）和34,706个样本（1：56. 84禁止规避配对与匹配配对比率）。检测结果。该模型提供了两个类别之间的高度可分性，当包括所有特征时，AUC为0.853。与之前的任务类似，时间特征集的性能相对较差，AUC为0.499。编辑和语言特征集的表现也类似，其AUC评分如图3（B）所示。这表明该模型可以在创建后不久正确识别规避禁令的子帐户，从而有助于版主防止损害。6.3Ban-time Evasion Detectionand Attribution（任务3）这项任务有一个检测和归因的组成部分。在检测任务中，我们希望检测已被识别为恶意的给定帐户，无论它是逃避帐户还是独立的恶意帐户。在归因任务中，给定一个已知的逃避子帐户，我们希望将其与其父帐户进行匹配。这项任务至关重要，因为它有可能帮助人类主持人收集证据，以支持和告知他们最终的惩罚- 对逃避帐户的处罚更重。我们使用下面描述的训练和测试分割，在表2中详细描述的特征集上训练和测试逻辑回归分类器。训练和测试数据集。 对于该任务，我们使用禁令规避对作为我们的阳性样本，匹配对作为我们的阴性样本（禁令规避父母与未尝试规避的恶意帐户匹配），如第4.2节所述。随后，我们在时间上对禁令规避对的集合进行时间分割，将前90%的对分配给训练集，按照父帐户的创建时间进行排序。然后，我们根据两组中任一组中各自的父帐户的存在情况将负样本分配给各组。消除了分配给训练集和测试集的阴性样本之间的所有重叠 这导致了241，858个样本（1：14. 7禁止逃避配对配对比）和90,293个样本（1：15。1禁止规避对匹配对比率）。检测结果。总体而言，该模型表现出高区分性能之间的逃避者与非逃避者。当包括所有特征时，该模型具有0.902的高AUC（参见图3（C））。为了评估我们的模型对成功逃避者和不成功逃避者的检测能力（见第5.3节），我们进行了分段评估。我们观察到功能集特征时间父项创建时间（星期、月和日）、子项禁止时间（星期、月和日）、子项创建时间（星期、月和日）、子项禁止时间（星期、月和日）、父项持续时间、持续时间子账户间期限编辑历史编辑页面中的重叠（Jaccard），一字组中的重叠发表评论（Jaccard）语言单字重叠（Jaccard），嵌入相似度（BERT），心理语言学分数的绝对差（LIWC），情绪评分绝对差（VADER）WWWManoj Nijani、Gaurav Verma和Srijan Kumar2621图3：检测、预测和归因任务的表现。（A，B，C）：结果显示了在组合所有可能的特征以及仅使用特定类型的特征（时间、编辑和语言）后的总体AUC（D，E）：将检测规避子帐户归因于正确的父帐户（MRR和Recall@5）。相同的模型用0.909 AUC从