自动合成数据高效任务级的弱监督源

2211用于行为分析的多种弱监督源的自动综合Albert TsengNuro，†詹妮弗·J SunCaltechYisong YueCaltech，ArgoAI摘要获取大型训练集的注释是昂贵的，特别是在需要领域知识的设置中，例如行为分析。已经研究了弱监督以通过使用来自任务特定的标签函数（LF）的弱标签来增强地面真值标签来降低注释成本。然而，领域专家仍然需要为不同的任务手工制作不同的LF，这限制了可扩展性。 为了减少专家的工作量，我们提出了AutoSWAP：自动合成数据高效任务级LF的框架。我们的方法的关键是有效地表示专家知识在一个可重用的领域特定的语言和更一般的领域级的LF，我们使用国家的最先进的程序合成技术和一个小的标记数据集生成任务级的LF。此外，我们提出了一种新的结构多样性成本，允许有效地合成不同的LF集，进一步提高AutoSWAP我们评估AutoSWAP在三个行为分析领域，并证明了Au- toSWAP优于现有的方法，只使用一小部分的数据。我们的研究结果表明，AutoSWAP是一种有效的方法来自动生成LF，可以显着减少专家的努力，行为分析。1. 介绍近年来，机器学习已经使许多行为分析领域的大规模数据集研究成为可能，例如神经科学[24，27]，体育分析[30，37]和运动预测[7]。然而，获得标记数据来训练模型可能是困难和昂贵的，特别是当注释需要专业知识时，例如许多行为分析任务[24]。降低注释成本的一种方法是通过弱监督，其使用有噪声的任务级启发式特定任务的LF（任务级LF）由领域专家提供，并应用于获得一组弱标签。弱标记数据可以用于下游设置，例如主动学习[4]和自我训练[17]。*作者在加州理工学院工作期间所做的工作[2]电子邮件：atseng@caltech.edu。图1.我们提出了AutoSWAP，一个框架，用于自动合成不同的任务级标签功能（LF）与一个小的标记数据集和领域知识编码在域级LF和DSL。AutoSWAP通过自动化LF生成显著减少了虽然弱监督在广泛的环境中效果良好[4，10，23]，但尚未充分探索其用于组织或分析任务。首先，LF必须提供标签而不是特征的要求阻止了更一般的领域知识的使用[22]（例如[14，24]中的行为特征）。此外，新的LF必须由领域专家为新任务（例如要研究的新行为）手工制作，限制了人工弱监督的可扩展性[33]。为了应对这些挑战，我们研究了有效的领域知识表示和开发自动化弱监督方法，以减少行为分析设置中的注释瓶颈。我们的方法。我们提出了AutoSWAP（自动S合成WeA k SuP ervision），一个数据高效的框架，自动生成任务级LF使用一种新的多样化的程序合成公式。如图1所示，专家为给定域提供域特定语言（DSL）和域级LF（特定于任务域的LF），例如鼠标行为或车辆运动规划。对于该领域中要研究的每个任务，专家提供一个小的标记数据集来指定任务，AutoSWAP返回一组结构上不同的任务级LF，可以在弱监督框架中使用。域级LF（图2）提供了良好的2212DSL包含粒度、标签空间不可知的新的多样性成本使Au- toSWAP能够生成结构多样的LF，我们和其他人根据经验表明，其在下游任务中优于结构同质的LF[33]。据我们所知，我们是第一个demonstrate自动LF生成程序综合的有效性。用于生成LF的现有工作包括通过反复询问专家以获得反馈来迭代地选择LF [5]，并以指数方式训练许多简单的数学模型[33]，这些模型在可扩展性和易处理性方面存在局限性相比之下，我们的方法表示领域知识的DSL和域级的LF，然后可以用来自动合成LF在一个域中的任意任务与我们的多样化的程序合成器。我们评估我们的方法在三个行为分析领域与序列和非序列数据：[27][28][29]在这些领域，数据收集成本高昂，新任务频繁出现，突出了可扩展性的重要性。我们使用的数据集是基于代理轨迹的，它提供了低维输入，可以轻松创建域级LF。我们表明，使用[14，24]中 现 有 的 专 家 定 义 的 域 级 LF 和 简 单 的 DSL ，AutoSWAP能够用很少的标记数据合成高质量的LF这些LF优于来自前自动弱监督方法的LF [33]，并提供了一种数据有效的方法来减少领域专家的工作。概括起来，我们的贡献是：• 我们提出了AutoSWAP，它结合了程序合成与弱监督，可扩展和有效地生成标记函数。• 我们提出了一种新的程序结构多样性成本，使AutoSWAP能够直接合成不同的标记函数集，我们的经验表明，这比纯粹的最优集更有效。• 我 们 在 多 个 行 为 分 析 领 域 和 下 游 任 务 中 对AutoSWAP进行了评估，并表明Au- toSWAP能够显着提高数据效率并降低专家成本。我们的AutoSWAP实现可以在https://github.com/autoswap/autoswap_cvpr_2022 上 找到。2. 相关工作行为分析。在许多领域中，例如人工神经科学[19，24]，体育分析[36，37]和交通建模[9]，智能体姿势和位置轨迹数据用于行为分析。这些数据通常是使用检测器和姿态估计器[14，24]从记录的视频中提取的;例如，我们分别使用[24]，[14]和StatsPerform的轨迹为了准确地分析复杂行为的数据，通常需要来自领域专家的帧级行为标签。然而，注释大型数据集是耗时且单调的[1]，这激发了标签高效建模的方法。例如，自监督学习[28]和无监督行为发现方法[3，6，19]旨在分别学习有效的行为表示和发现新行为我们的工作是对这些方法的补充，因为这不是弱监督和自我监督之间的相反，我们评估的优点，我们的合成LF在弱监督的背景下学习专家定义的行为。监督不力。在数据编程的背景下介绍了LF的弱监督[23]。从那时起，LF已被应用于各种设置，包括主动学习[4，20]和自我训练[17]任务。我们的工作是对这些工作的补充，因为我们自动学习可以用作现有弱监督框架的输入的LF。我们注意到，我们不是第一个提出从少量训练数据中学习LF的人。例如，IWS迭代地提出规则并在大规模反馈循环中查询领域专家[5]。与我们的工作更相似，SNUBA [33]训练了统计模型，但没有领域知识，并且在运行时具有特征数量的指数。据我们所知，我们是第一个应用程序合成这个问题，我们的框架优于现有的基于模型的方法学习LF。程序合成。传统上，通过示例编程已经被用于从DSL合成程序，该DSL尊重对输入/输出示例的硬约束[15，26]。近年来，越来越多的作品研究了软约束的综合程序，如最小化损失函数[13，21，25，31]。这种宽松形式的程序合成已被应用于许多不同的领域，包括Web信息提取[8]，图像结构分析[12]和学习可解释的代理策略[34]。在这些工作中，学习可微程序的算法，如[25]，在能够有效地同时优化程序架构和参数方面表现出很大的希望。在这里，我们使用的概念，从可微程序合成算法来合成不同的LF集。3. 方法我们介绍AutoSWAP，一个自动生成不同的任务级LF集的框架。在我们的框架中，领域专家提供了一组领域级LF，2213DYYGDGGDG→P′∈PP与任何基于搜索的合成器兼容。在这里，DSL是一个具有可微变量的上下文无关文法。程序由程序体系结构α定义，上下文无关语言 ，以及一组真实的参数-参数θ，表示为D[α]]（ x，θ）：X → Y。合成-图2.领域专家提供领域级别的标记功能，例如上面针对fly领域的功能。一些域级LF（λ1，λ2）标记特定任务（并且将被认为是任务级LF本身），而其他域级LF（λ3）返回特征。a DSL of useful有用relations关系.对于每个要研究的任务，指定一个小的标记数据集，任务级LF自动生成的AutoSWAP多样化的程序synthesizer。然后，这些LF可用于涉及弱监管的下游应用。在以下部分中，我们将提供AutoSWAP中关键组件的背景（第3.1节），详细介绍框架（第3.2节），并描述示例下游应用程序（第3.3节）。3.1. 背景域级标签功能。在弱监督中，用户提供了一组任务级手工制作的语法，称为标签函数（LF）。LF可以是噪声的并且放弃标记，但是LF必须在下游任务的标记空间中输出。我们在Au- toSWAP中放宽了这一要求，允许领域专家提供领域级LF（图2）.这些LF不必输出，这减少了LF创建开销，并允许更有表现力的LF。这也允许我们在同一个域中的多个任务之间重用LF，从而提高可伸缩性。领域特定语言。领域特定语言（DSL）定义了合成程序中允许的子模块和结构，是程序合成算法的关键组成 部分 。许多 最近 的作品 都采 用了纯 功能 DSL[25]，其中DSL项是输出到其他DSL项的输入空间或最终输出空间的函数。在AutoSWAP中，领域专家提供了一个纯功能的DSL，其程序结构可能在生成的LF中有用。我们的经验表明，即使在AutoSWAP中使用非常简单的DSL也可以显著减少专家的工作量。通过神经完成和引导搜索的可微程序综合。我们的程序合成-一个最优的程序。成本函数F和数据集（X，Y）∈（X，Y）等价于（α，θ）= arg min F（[[α]]（X，θ），Y）.（一）α，θ为了找到（α，θ），我们在CFLD上搜索。该搜索空间是一棵树，其中根节点是空体系结构，内部节点是不完整体系结构（具有未知组件的体系结构），叶节点是完整体系结构。中的边表示两个体系结构之间的单个产品。 我们通过将搜索深度限制为m来约束搜索树，并由 于 神 经 完 成 是 可 微 的 ， 因 此 最 小 剩 余 成 本（CTG）w.r.t.通过优化神经完备化的参数可以计算出神经完备化的F此外，这个最小的CTG的神经复杂性是一个可接受的启发式[16]为真正的CTG相应的不完整的架构（证明[25]）。这允许我们使用知情搜索算法来找到方程1的最优解。3.2. AutoSWAP综合不同的程序集。在弱监管的下游应用中，相对于纯最优集合，不同的LF集合已被证明可以提高数据效率[33]。这部分是由于不同的集合具有改进的标签覆盖率（所有LF放弃的数据点较少）[33]，并且下游模型具有更多的学习信号[29]。第3.1节中的程序合成器可以重复运行以获得一组纯最优LF，但不能保证该组LF是多样的。在这里，我们引入了一个结构多样性成本和容许启发式，允许直接合成的不同的程序集使用知情的搜索算法。我们的经验表明，使用多样性成本提高了性能，证实了[33]考虑一个完整的程序P，它是一个变量的组合。通过构造，我们可以将P转换为树TP，其中每个节点都是P中的变量，节点然后，给定一组完全方案P和一个完全方案P，我们定义P相对于P的结构成本CP，P为：模拟是基于NEAR的，它找到了最优的最优解，使用容许搜索算法的可分程序[16，25]。1=q。1公司简介，T′），（2）虽然NEAR是AutoSWAP的一个实例，但我们的多样化合成公式（第3.2节）在理论上是一致的。其中q：R R是用户定义的单调递增函数，ZSS是Zhang-Shasha树编辑距离#da_1 −是否飞行 是 攻击目标def is_attacking（飞， tgt）：f2t_angle = atan（（tgt . y-飞。y）/（tgt . X-飞行。x））rel_angle =|飞翔紧紧abs_angle − f2t_angle|飞回来。speed > 2和 rel_angle 0.1#da_2 −比率 飞行翼展defwing_ratio（fly，tgt）：返回（飞）wing_x / fly . wing_y，4）#da_3 −飞行速度 相对 到 目标速度def 相对速度（飞行， tgt）：返回|飞翔紧紧速度|//下一页|tgt.速度|CP，PPP2214DPD−DD−∥∥≤XL′ ←算法1：AutoSWAP。输入：Λm，，标记的数据集DL，#LFsn输出：任务级LFΛD ←组合ΛM和DPwh←ilen do图3.一个完整的程序及其树形表示.每一个？'表示一个子节点函数。 所描绘的程序是一个实际的AutoSWAP LF的无行为SynPhes≤izePwithD，DL，PendP ← P <${P}Λ ← P，返回Λ。飞域。 该程序可以解释为苍蝇之间的速度小，分类苍蝇的角域水平LF否则，对线速度和位置域级LF的变换的乘积进行请注意，参数（红色）不包括在结构多样性成本中。(TED)[38]第30段。从本质上讲，具有较高平均TED元素的程序会产生较低的多样性成本。由于这种结构成本没有为不完全程序或神经完备化定义，因此CP，P不能用于知情搜索算法以下是admis-算法2：AutoSWAP用于主动学习。输入：Λm，，n，未标记的XU，A。按递增顺序排序A从XU中随机选择A1点XL。XU← XU\ XLYL←获取XL的标签。对于i = 1，…，AΛi←ΛuutoS W AP（Λm，ΛD，（XL，YL），n）.不完全规划的启发式HPI，PI允许我们用（XL′，YL）训练流分类器C i。通过迭代合成程序并将它们添加到P中来创建一组不同的程序。引理3.1.设PI是一个不完全规划，TPI是选择Ai+1Ai点XL′不确定性抽样XU←XU\XL′XL←XL <$XL′使用最大熵已知变量的树TPI保证存在通过构造G.定义HPI，P为：UPI，P′=m−PI+ZSS（TPI，TP′），YL←YL{获取XL′的标签}1=qHPI，P1PP∈PUPI，P′P，选择Λm（X）作为输入特征;我们在实验中采用了后者。利用，AutoSWAP运行多样化程序合成算法n次，以生成一组Λ，其中，P I是PI中已知变量的个数。H PI，P是从G中的PI得到的CTG的可容许启发式。证据 考虑U PI，P ′。 m P I是T PI与PI在G中的任何完全后代P I的树之间的TED的上界。根据三角不等式UPI，P′= m− PI+ZSS（ TPI，TP′）≥ZSS（TPI，TP）+ZSS（TPI，TP′）≥ZSS（T P，T P′）。则当TEDs非负，m ≥ <$PI <$，q非减时，H PI，P CP<$，P.因此，H是从PI得到的结构CTG的一个可容许的启发式.AutoSWAP框架。AutoSWAP使用程序合成来自动化弱监督管道的重要部分，并减少领域专家的工作量。领域专家提供一组领域级LFΛm={λi：X →Yi}、一个纯功能DSLD和一个小的标记数据集（X，Y）∈（X，Y）来指定领域内的任务。为了在用D合成程序时使用Λm，所有λi必须加到D上。这可以通过使用来自D的操作实现每个λi来完成，或者预先计算并nLF。然后，Λ可以用于下游任务，例如在弱监督标签模型中生成弱标签。有关AutoSWAP的详细说明，请参见算法13.3. 下游任务我们描述了两个下游任务，其中可以使用弱我们的实验所基于的这些示例只是现有的许多弱监督学习框架（如ASTRA [17]）的一个子集。主动学习。主动学习是一种范例，其中学习算法可以选择性地查询要标记的新数据在这里，我们使用来自任务级LF的标签作为下游分类器的附加特征下游分类器的预测用于选择用于标记的数据。为了评估在主动学习设置中生成的LF，我们考虑下游分类器在多数据量下的性能给定一个数据量的排序列表A，在每一个数量上，我们生成新的LF，训练下游分类器，并选择用于标记的数据点以形成下一我们的AutoSWAP主动学习设置的准确描述可以在算法2中找到。监督不力。监督框架薄弱，端.XLΛi（XL）2215D←←D∥ ∥∈∪−算法3：AutoSWAP for Weak Supervision。输入：Λm， ，n，标记（X L，Y L），未标记XU，A.ΛAutoSWAP（Λm，，（XL，YL），n）.ΛAbstain（Λ）[33]按递增顺序对A排序。对于i=1，…，一个do从XU中随机选择Ai点XP。XL′←XL<$XPYL′←YL<$Λ（XP）用（XL′，YL′）训练流分类器Ci。端通常依赖于生成标签模型弱标记未标记的样本。不使用地面真值标签，生成模型通过对LF输出Λ（X U）进行建模来产生针对未标记集合X U的真实标签Y U的概率估计（然后，弱标记数据可以用于在下游任务中增强标记数据集。为了在弱监督设置中评估AutoSWAP，我们从一个小的标记数据集DL和一个未标记数据量A的列表开始。使用小标记数据集生成LF，并使用[33]中的方法弃权。然后，使用生成模型从这些LF中为所有未标记的数据生成弱标签。对于每个数据量A i，A，选择Ai个弱标记数据点的随机集合D P L，并且使用训练集合D L D P L来测量下游分类器的性能。我们的弱监督设置的精确描述在算法3中。4. 实验我 们 在 多 个 真 实 世 界 的 分 析 域 中 评 估 了AutoSWAP（第4.1节），并表明我们的框架在弱监督和主动学习设置中优于现有的LF生成方法（第5.1节）。由于研究人员经常在一个领域研究多种行为[14，24]，我们认为每种行为都有自己的任务。4.1. 数据集我们使用来自行为神经科学（老鼠和苍蝇行为）以及体育分析（篮球运动员轨迹）的数据集。这些数据集包括罕见的事件、多行为任务和序列数据，使其成为真实世界行为分析任务的良好表示。每个数据集包含一个训练、验证和测试分割;验证分割仅用于模型检查点选择。Fly vs. Fly（飞）。苍蝇数据集[14]包含两个果蝇之间相互作用的视频的帧级注释我们的训练集、验证集和测试集包含552k、20k和166k帧。我们使用Fly-Tracker [14]跟踪的飞行轨迹，并对6种行为进行评估：弓步，翅膀威胁、扭打、展翼、转圈、交配。 这是一个多标签数据集，我们报告的平均平均精度（mAP）在二进制分类任务为每个被分类器。除交配外的所有行为都是罕见的;在5%的画面中出现了弓步、翅膀威胁和扭打<，在1%的画面中出现了翅膀伸展和转圈<。该数据集的域级LF基于[14]中的特征。CalMS21（小鼠）。CalMS21数据集[27]由来自成对小鼠之间交互视频的帧级姿势和行为注释组成。我们使用任务1中的数据（532k训练，20k验证，119k测试），并对一组3种行为进行评估：攻击，调查，和安装。这些行为是相互排斥的，我们报告这些类的mAP。我们使用的功能的一个子集，[24]作为此数据集的域级LF。篮球.篮球数据集也用于[25，36，37]，包含来自Stats Perform的篮球运动员轨迹序列对于哪个进攻球员（总共5个）在序列的大部分时间里控球的拉贝尔，用[2]提取。我们在下游任务中执行顺序分类，并报告每个进攻球员与防守球员的mAP。其他4。我们的域级LF包括玩家加速度、速度和位置等。我们排除了关于球在域级LF和数据特征中的位置的信息，以专注于分析球员行为。4.2. 基线我们将AutoSWAP与两个主要基线进行比较：来自学生-教师培训的学生网络和来自SNUBA的决策树[33]。我们表明，AutoSWAP在数据效率方面优于两者，需要一小部分数据才能达到或超过性能奇偶校验。对于这两个基线，域级LF被合并为输入特征，以评估AutoSWAP的有效性，而不是域级LF本身。我们不与IWS [5]进行比较，因为IWS是一个人在回路的LF生成系统。我们也没有与ASTRA [17]进行比较，因为ASTRA是一个在自我训练中使用任务级LF的弱监督框架但是，ASTRA可以用作AutoSWAP的下游任务。学生网络学生-教师培训（来自知识蒸馏[35]）已成功用于自我培训。我们采用学生网络的概念，通过训练具有与下游分类器类似能力的模型来作为LF。在弱监督实验中，这些学生LF和标签模型（等式3）用作下游分类器的教师模型。决 策 树 和 SNUBA 决 策 树 已 被 证 明 是 良 好 的 LF[33]，并提供一定程度的可解释性。SNUBA框架[33]通过在所有特征子集上训练2k1决策树，然后基于2216X--. ΣΣi、j∥∥−×∼ ×∼ ×θ我我i、j我联系我们--在分集和性能度量上，其中k是的特征维数。 显然，这对于大k是难以处理的，这通常是行为分析任务的情况。此外，SNUBA不使用领域知识，而是依靠完整的决策树来提高数据效率。关于SNUBA，AutoSWAP可以被视为和 500、1000、1500、2000、3000、4000、5000个序列for the basketball篮球dataset数据集.监督不力。在我们的弱监督实验中，我们使用了[22，23]中提出的因子图模型。XUp θ（Y U，Λ）= Z−1expθ T i（Λ（X U），YU）。（三）i=14.3. 训练设置我们的实验装置包括两个阶段：获得LF并在下游任务中评估所生成的LF。我们的下游任务包括主动学习，其中LF用于选择标记数据，以及弱监督，其中LF为未标记的数据点生成伪标记。4.3.1获取标记函数通过AutoSWAP合成程序。对于每个域，我们使用一个简单的DSL，其中包括加、乘、折叠和可微分的if-then-else（ITE）结构。我们用我们多样化的程序合成器和搜索引擎合成程序。我们的成本函数是来自[25]的F1成本和我们的多样性成本CP，P的总和。设q（x）为x2，m为log2Λm。利用加权交叉熵损失训练程序参数。有关所用DSL的详细信息，请参阅补充材料。学生网络。我们使用神经网络进行帧分类任务，使用LSTM进行场景分类任务。为了在学习的学生网络中引入多样性，我们从[35]中获得灵感，随机设置每层的大小，因此“预期”学生网络与下游分类器具有相似的容量。所有学生网络都使用加权交叉熵损失进行训练。决策树。我们使用基尼不纯作为分割标准来拟合决策树。我们将决策树的深度限制为log2k，因此节点数为O（k）。 我们通过基于覆盖率和性能修剪树的超集来选择不同的决策树集，类似于SNUBA的做法[33]。然而，与SNUBA不同，我们在生成超集时对特征进行分组，如训练2k1决策树对于我们的数据集来说是难以处理的。4.3.2下游任务我们在主要实验中使用3个LF。具有更多LF（5，7）的实验在补充材料中。主动学习。如前所述，我们评估了AutoSWAP在多个数据量下的性能，选择了每个数据量下具有主动学习的额外标记数据（算法2）。我们在下游分类器输出上使用最大熵不确定性采样来选择标记点[18]。我们使 用 {1000 ， 2000 ， 3500 ， 5000 ， 7500 ， 12500 ，25000，50000}帧用于苍蝇和老鼠数据集这里 ，LF 准确 度由 因子 ΔAcc （ Λ， YU ） =1 Λ j（XUi）=YUi建模，并且LFla- bels的数据比例由ΔLab（Λ，YU）=1Λj（XU）建模。-是的对于标记的数据集，我们使用2000帧苍蝇和老鼠数据集，以及500个序列的基础数据集。我们的未标记数据量设置为{1×，2×，3×，4×，5×}标记点的数量5. 结果我们将AutoSWAP的数据效率与行为分析数据集的基线进行了比较。我们不会在Basketball数据集上运行决策树（SNUBA）基线，因为它只包含顺序数据。5.1. 数据效率结果主动学习。在所有数据集上，AutoSWAP LF的数据效率远远高于基线方法，这表明AutoSWAP在主动学习设置中有效降低了标签成本（图4）。这种差异在Mouse数据集中尤为明显，其中AutoSWAP与决策树LF实现了对等，数据量减少了大约30个。在Fly数据集中，AutoSWAP始终4比基线更有效的数据，并且没有基线能够通过50000 个 样 本 （ 整 个 Fly 数 据 集 的 9.1% ） 达 到AutoSWAP的性能平价我们在Basketball数据集中观察到类似的趋势，AutoSWAP为2作为数据效率。我们还观察到，即使使用随机抽样，数据效率也有所提高，并注意到不确定性抽样扩大了AutoSWAP和基线之间的差距。虽然AutoSWAP LF本身在单独评估时不一定比基线LF表现更好（参见补充材料），但它们确实为下游分类器提供了比基线更强的学习信号。这些数据效率差异可以部分归因于DSL中编码的结构域知识，因为域级LF本身的性能明显较差。例如，AutoSWAP LF分类“弓步vs.在图3中可以看到Fly数据集的“无行为”，并且该程序的结构不能容易地用决策树或神经网络来近似。监督不力。与我们的主动学习实验类似，我们观察到AutoSWAP比弱监督设置中的基线更有效（图5）。我们注意到，地面实况标签不是合成器和修剪器阶段的可扩展替代方案2217图4. AutoSWAP主动学习实验。每条线表示自动标记函数方法的5个随机种子的平均值。阴影区域是种子的标准误差。可以看出，AutoSWAP仅使用一小部分数据就可以匹配或优于所有基线方法。请注意，所有图均为双对数标度。图5.AutoSWAP弱监督实验。每条线表示自动标记函数方法的5个随机种子的平均值阴影区域是种子的标准误差灰线显示了将地面真值标签用作弱标签时的性能虽然AutoSWAP在Mouse数据集中优于地面实况标签似乎很奇怪，但在其他作品中观察到弱标签优于地面实况标签[17]。请注意，所有图均为双对数标度。这种设置，因为它们本质上是弱标签匹配地面真实标签的在Fly数据集上，AutoSWAP的性能通常优于两个基线，而在Mouse和Basketball数据集上，在任何评估的注 释 数 据 量 下 ， 没 有 基 线 能 够 匹 配AutoSWAPLFAutoSWAP甚至能够在注释数据的某些级别上超越Mouse数据集中的地面实况标签，这表明学 习 的 LF 特 别 具 有 信 息 性 。 最 后 ， 我 们 观 察 到AutoSWAP通常会随着弱标记数据点的增加而改善，这很有用，因为使用弱标记数据点没有专家注释成本。5.2. 附加结果AutoSWAP多样性成本。多样性成本是AutoSWAP的重要组成部分如图6所示，合成纯最优程序w.r.t.等式1导致比合成不同的程序集更差的性能这反映了[33]中的观察结果，其中使用不同的决策树集可以提高性能。标签功能的可解释性。行为分析的一个重要部分是能够解释学习模型。神经网络和LSTM本质上是不可解释的。决策树提供了一定程度的可解释性，但仅限于分支的if-then-else状态，2218飞行领域：（弓步）地图（加（乘（速度，WingRatio），位置））（扭打）地图（简单ITE（角度，速度，WingDistance）））鼠标领域：Map（Fold（SimpleITE（DistanceM1，AngleM1，SpeedM1）Map（SimpleITE（PositionalM2，SpeedM1，DistanceM1））篮球领域：图6.多样性成本效用比较。合成不同的程序集，而不是纯粹的最优集，提高了Au- toSWAP，显示了结构多样性成本的效用条款。使用AutoSWAP，可以通过使用DSL中的可解释结构来学习复杂但可解释的程序（图3，7，补充材料）。对罕见行为的影响。罕见的行为可能很难分析，因为即使使用大型数据集，也只有很少的数据存在。我们的飞行域结果表明，AutoSWAP大大提高了罕见行为的数据效率，因为我们研究的6种行为中有5种发生在5%的帧中。< 我们注意到交配任务（这并不罕见）不会使我们的飞域数据效率比较，因为所有测试的方法都实现了近乎完美的性能。6. 讨论和结论我们提出AutoSWAP，一个框架，使用程序合成自动合成不同的LF。我们的结果表明，我们的框架在主动学习和弱监督设置和跨三个行为分析设置的有效性我们发现，使用现有的域级LF [14，24]和简单的DSL，AutoSWAP可以合成具有最小标记数据量的高数据效率的任务级LF，从而减少对域专家的注释要求。此外，我们引入了一种新的结构多样性成本和可容许启发式合成程序，图7.AutoSWAP任务级LF示例（仅限架构）。LF由领域级LF和来自DSL的结构关系组成。例如，“Fly Lunge LF”使用苍蝇的速度、翅膀比率和位置域级别LF来标记苍蝇是否正在弓步。有关AutoSWAP LF的更多详细说明，请参见补充材料。这使得AutoSWAP能够通过知情搜索算法可扩展地合成不同这进一步提高了我们的框架在行为分析设置中的性能总的来说，AutoSWAP有效地将弱监督与行为分析集成在一起，并通过从领域级知识自动合成任务级LF来大大减少领域专家的工作量局限性。 虽然我们的DSL和LF是在域级别，但我们的方法需要以小标记数据集的形式的任务级别信息来合成LF。此外，领域专家提供的LF应该是行为的信息（尽管我们确实表明，领域专家研究的当前行为特征[14，24]足以完成这项任务）。在考虑领域专家知识的同时，对我们框架的其他方面进行自动化扩展，例如库学习[11]或集成感知[32]，可能会进一步减少专家的工作量。然而，我们注意到，我们目前的框架已经导致数据需求大幅减少。社会影响。 自动生成可解释的LF以减少专家工作可以帮助跨领域的行为分析，例如神经科学、行为学、运动分析和自动驾驶车辆等。我们的框架利用DSL中的归纳偏差来产生可解释的程序;然而，由于人类创建DSL、解释程序和注释数据，因此用户应该意识到这些步骤中潜在的人类编码偏差。在人类行为领域特别需要额外的关注，例如参与者的知情同意和负责任的数据处理。7. 确认我们感谢微软研究院的Adith Swaminathan和加州理工学院的Pietro Perona对这项工作的反馈和讨论。我们还要感谢微软研究院提供的计算资源。这项工作得到了 NSF Award #1918839 （ YY ） 和 NSERC Award#PGSD 3 - 532647-2019（JJS）的部分支持。2219引用[1] David J Anderson和Pietro Perona。关于计算行为学的科学。Neuron，84（1）：18-31，2014. 2[2] 詹娜·威恩斯阿曼德·麦昆和约翰·古塔格。自动识别球上屏幕。麻省理工学院斯隆体育分析会议，2014年。5[3] Gordon J Berman，Daniel M Choi，William Bialek，andJoshua W Shaevitz.描绘自由移动果蝇的刻板行为。Journal of The Royal Society Inter-face ， 11 （ 99 ） ：20140672，2014. 2[4] Samantha Biegel 、 Rafah El-Khatib 、 Luiz Otavio VilasBoas Oliveira、Max Baak和Nanne Aben。活跃的黄鼠狼：以主动学习改善监管不力。arXiv预印本arXiv：2104.14847，2021。一、二[5] Benedikt Boecking，Willie Neiswanger，Eric Xing，andArtur Dubrawski.互动弱监管：学习有用的数据标记方法。2021年，在国际学术会议上发表。二、五[6] 亚当·J·卡尔霍恩，乔纳森·W·枕头，玛拉·穆尔蒂。对塑造 自 然 行 为 的 内 部 状 态 的 无 监 督 识 别 。 NatureNeuroscience，22（12）：2040-2049，2019. 2[7] Ming-Fang Chang，John Lambert，Patsorn Sangkloy，Jag-jeet Singh ， Slawomir Bak ， Andrew Hartnett ， DeWang，Pe- ter Carr，Simon Lucey，Deva Ramanan，etal. Argoverse：3D跟踪和预测与丰富的地图。在IEEE计算机视觉和模式识别会议论文集，第8748-8757页，2019年。1[8] Qiochu Chen，Aaron Lamoreaux，Xinyu Wang，GregDur- rett，Osbert Bastani，and Isil Dillig.用神经符号程序合成进行网络问答。第42届ACM SIGPLAN编程语言设计与实现国际会议论文集，第328-343页，2021年。2[9] 詹姆斯·科利尔和约翰·哈尔基斯 美国高速公路101数据集。联邦公路管理局（FHWA），技术。代表FHWA-HRT-07-030，2007年。2[10] 贾里德·A.作者：Alexander J. Ratner，Khaled Saab，Nishith Khandwala，Matthew Markert，Hersh Sagreiya，Roger Goldman，Christopher Lee-Messer，Matthew P.作者：Daniel L. Rubin，and Christopher Ré.跨模态数据编程可以实现快速的医疗机器学习。Patterns，1（2）：100019，2020. 1[11] 凯文·埃利斯、卢卡斯·莫拉莱斯、马蒂亚斯·萨布莱-迈耶、阿曼多·索拉-莱扎马和乔什·特南鲍姆。神经引导的机器学习程序诱导的子程序学习库。In S. Bengio，H.Wallach，H.拉罗谢尔湾格劳曼N. Cesa-Bianchi和R. Garnett，编辑，神经信息处理系统进展，第31卷。Curran As-Sociates，Inc. 2018. 8[12] Kevin Ellis，Daniel Ritchie，Armando Solar-Lezama ，and Josh Tenenbaum.学习从手绘图像推断图形程序。InS. Bengio ， H. Wallach ， H. 拉 罗谢 尔湾 格劳 曼 Cesa-Bianchi和R. Garnett，编者，《神经信息处理系统进展》，第31卷。Curran Associates，Inc. 2018. 2[13] 凯文·埃利斯阿曼多·索拉·莱扎马乔什·特南鲍姆程序合成的无监督学习。 2015. 2[14] Eyrun Eyjolfsdottir ， Steve Branson ， Xavier P Burgos-Artizzu ， Eric D Hoopfer ， Jonathan Schor ， David JAnderson，and Pietro Perona.检测果蝇的社会行为。欧洲计算机视觉会议，第772Springer，2014. 一、二、五、八[15] John K Feser，Swarat Chaudhuri，and Isil Dillig.从输入输出示例合成数据结构转换。ACM SIGPLAN Notices，50（6）：229-239，2015. 2[16] 拉里河哈里斯错误条件下的启发式搜索。第内特尔，5：217-234，1974. 3[17] GiannisKaramanolakis ， Subhabrata （ Subho ）Mukherjee，Guoqing Zheng和Ahmed H.阿瓦达拉自我训练，监督不力在NAACL 2021。NAACL 2021，2021年5月。一二四五七[18] David Lewis，Jason Catlett，W.科恩和海姆·赫什。监督学习的异质不确定性采样12 1996年。6[19] 凯文·卢森，法科·福尔曼，约翰内斯·库尔施，斯特凡·雷米，还有帕沃尔·鲍尔.从动物运动的深层变分嵌入中识别行为结构。bioRxiv，2020. 2[20] Mona Nashaat，Aindrila Ghosh，James Miller，ShaidyQuader，Chad Marston和Jean-Francois Puget。混合主动学习和数据编程，用于标记大型工业数据集。在2018年IEEE大数据国际会议（大数据），第46-55页。IEEE，2018年。2[21] Emilio Parisotto ， Abdel-rahman Mohamed ， RishabhSingh，Lihong Li，Dengyong Zhou，and Pushmeet Kohli.神经符号程序合成。arXiv预印本arXiv：1611.01855，2016年。2[22] 亚历山大·拉特纳、布雷登·汉考克、贾里德·邓蒙、弗雷德·埃里克·萨拉、什雷亚什·潘迪和克里斯托弗·雷。训练具有多任务弱监督的复杂模型。AAAI人工智能会议