半监督学习在保健视频加工中的应用

1890稀疏标签顺序数据的半监督学习：应用于保健视频加工弗洛里安·杜博斯特* 1，艾琳·洪* 1、思逸钳子1南迪塔·巴斯哈尔1，ChristopherLee-Messer 1丹·丹尼尔鲁宾11斯坦福大学{floriandubost1，erin.hong17}@gmail.com，{清晰度、鲁宾}@stanford.edu* 等额的贡献摘要标 签 数 据 is a 克 里 蒂 卡 尔 资 源 为 培 训 和 EVAL-UATING机器学习模型。However，许多真实的数据集只是部分标记的。我们提出了一种半监督机器学习训练策略，以改进序列数据上的事件检测性能，就像视频记录一样，当只有稀疏标签是可用的，就像事件开始时，没有他们的对应结束时。我们的方法使用噪音的客人在事件结束的时间列车事件检测模型。停在如何保护他们的客人是，错标样本五月引进的be进入the培训布景。 We弗瑟普罗波塞a用于解释和估计的数学-数学模型递增噪声结束时间估计的分类性能演化。我们展示了神经网络可以在现场展示的内容泰尔检测表演比杠杆作用更多采用无保守近似的数据来模拟不正确标签的高比例。我们适应序列版本的CIFAR-10和MNIST、和使用the伯克利MHAD和HMBD51视频数据集经验主义EVAL-UATE我们的方法，并通过3.5点平均数找到我们的风险容忍策略不良保守估计精密为CIFAR 、 30 波 因 茨 为 MNIST 、 3 MHAD 的 积 分 ，HMBD51的14分。现在，我们利用建议的培训策略来应对一个真实的应用：处理癫痫患者的连续视频记录，并通过平均精确度的17个点显示我们的方法出位基线标记方法，并达到a分类处理表演相似的到that的全权监督的模特们。 We股份部分的the代码为这关注库文章：fpgdubost/CIFAR-10-Sparsely- 标记-序列-数据。1. 导言标签图像和视频数据集阿雷克鲁西亚尔为训练与评估机学习模型。作为一个结果，com-puter视觉研究人员哈夫科普里德斯a号码的标记基准数据集，就像MNIST [20]、伊马赫内特[8]、姆斯科科[22]、动力学[17]、CIFAR [18]、和西蒂斯卡普斯[7]。However，许多应用领域仍然保留着贫穷的覆盖，就像医学影像数据一样，这是一个多么糟糕的例子-就像英国生物库一样[28]。Although medical institutions often possess拥有大量的数据，最容易留下未标记和未利用的数据。为例，为研究目的，重症监护病人视频的某些医院记录小时，但那些视频只剩下穷人了标签在the临床路经、与at百世、the稀疏事件标签。弱监督学习aims使用不完整或不正确的标签来杠杆数据集。周等人。[32]确定弱监察计划的两个亚型：完全和不精确的监督。不完全的超视觉应用当只有训练中的一个部分被标上标签时。对于例程，半监督学习方法是设计为杠杆未标记样本下一个标记样本。当吉文标签不是必须纠正时的失职监督应用（e.g.，众包[23、6]）。郝等人的作品。[12]关于Mam-Mograms和Karimi等人。[16]论脑MRIs是医学深度学习的无精准监督例数据。在这项工作中，我们对杠杆化稀疏标签顺序数据提出了一种方法，即半监督学习和不精确监督相结合。主要任务是侦探序列的事件、吉文只稀疏培训La-Bels，i.e.，他们事件的开始时代。这些事件的结束时间和持续时间。留着未知的，wich先期用certainty抽样任何正向事件（图1891图1. 杠杆作用稀疏视频标签。 杜林培训时代、只事件开始泰晤士报阿雷注释了。 事件结束泰晤士报哈夫到be猜猜的，惠希的决定论the号码N的元素that can be乌塞德美国普西斯韦斯杜林训练。 A保守派模型只乌塞斯a单身元素（N=1）每稀疏标签为阳性，while a风险容忍度使用多元素模型，e.g。N=3。高风险标签策略五月结果在更多不改正的拉贝尔杜林培训（否定分段比因被误标的美国定位者）。 豪韦弗、these高等风险战略可以提供更多的培训数据，在更好的检测性能的结果与不正确的despite培训中发挥最大的作用标签。1）。 为例举、在a蒸煮维迪奥斯数据集、稀疏训练标签烹调指标当烹调一个不正当的开始时间T、但是无阿尼信息关于当the那些不含的东西的烹饪停了。到地址这问题，we普罗波塞制造a噪声ap-事件终结时代的临近。对于each稀疏标签，我们选择a固定号码的consecutive元素在遵循稀疏标签的序列，并将它们作为正训练使用桑普莱斯（essentially普罗维丁a噪声埃斯普马特斯的Dura-tion）。在与烹饪视频的例程之上，我们会在一分钟内猜哪一个烹饪的不是，或1500帧在25帧每秒，并使用所有1500帧美国积极样品。The龙儿the估计猜猜，更喜欢的是我们引入的潜力不正确标记的样品（培训中的错误定位集）。我们进一步提出了一个数学模型，用于解释和估计每共振峰分类的演变，以获得噪声结束时间估计量。这种模型包含两个基于乙状结肠的成分加性噪声标记序列元素对其正负影响的尊重描述表演。We 恩 皮 里 卡 利 评 价 我 们 方 法 论 稀 疏 标 签 序 列CIFAR-10图像、MNIST图像、Bek-ley MHAD Videos和HMDB51，并显示改进的3.5分平均精确度CIFAR、30分MNIST、3分MHAD和14分HMDB51超过基线方法。最后，我们演示了我们的方法在癫痫主脑患者的实时全量化分析任务-视频监测。脑电图（EEG）是记录脑活动和监测病人的一种共有模式。从脑电活动中开发出一种自动方法来检测引起的tomatically [九、24]但在脑电图测量中，它可以从受干扰的手艺中发现问题（e.g.，背上打补丁或摇晃新生儿病人可以触发假阳性捕获检测）。我们的地址脑电图自动检测五阿蒂法特-苏克蒂宁的新生儿、泡菜、摇摆、照顾护士和帕特廷的新生儿-from连续视频记录获得during临床路径。用稀疏标签标注的事件（只有开始时间，没有结束时间），which是临床路线中错误记录标注的通行做法[26]。我们从稀疏标签序列学习的方法可以通过平均精确度的17个点来杠杆那些稀疏标签、不良基线方法。我们展示了我们半监督的东西模型can reach the分类处理的全员超视模型。我们对合并案例中建议模型的pa-分类法的估计也有洞察力班。致总结，我们的主要贡献阿雷：• 稀疏标记序列半监督学习的训练策略数据。• 描述和估计创建噪声结束时间分类性能演变的数学模型估计人。• 一种从稀疏标记的主机磁带连续视频记录自动检测事件的方法新生儿。2. 相关的沃克斯半监督的培训战略哈夫贝恩为一个myriad计算机视觉任务开发的。在图像分类中，最有技术含量的半监督方法是基于自我监督和使用对比学习AP-Proaches的[十三、5]。莫科[13]动态词典的编码和匹配查询图像键。西姆克莱尔[5]伊姆-普罗韦斯乌蓬莫科比卸货the极品的特约Ar-Chitecture。SimCLR的作者声称，数据增强的共同位置在实现一个过程中是非常关键的。高性能。Earlier，混搭[1] had already倡导数据增强对于图像分类的半监督学习的重要性。吉文未标注图像，混搭代a集的增广图片、帕塞德图片报通the网络和盖塞德the标签乌辛中庸的the莫德尔的预测。 The分布的预测是因为猜谜而变得尖锐标签。1892≥{}▲-{}∈-{}半监督学习是否有被提议Se-Mantic图像分割[二、4]。博尔佐娃等[2]专属增强未标记图像，并对输出区段应用反向转换。跨形分段由于一致性损失而被迫与原始相似期限。京等人。[15]提出一种视频分类的半监督学习方法，利用伪标签和标准化未标注视频的概率，以改进分类性能。西贝奇等人。[25]建议a半监督的方法为the分割的稀疏标签的视频数据。我们通过抽样对数据序列性的杠杆作用，while Sibechi等人。通过将其直接包含为它们模型的一个架构组件来杠杆化序列性。总体，稀疏标签的视频数据比成像数据少学习，为一种新颖的半监督学习方法打开了一个正确的，它可以杠杆的序列性。框架。最标准半监督方法破坏了符合样本i.i.d。的标签序列性。在这篇文章中，we杠杆作用the顺序性的the数据比从开始估算事件结束时间泰晤士报。3. 方法3.1. 培训战略我们是无限序列的参与者（x n）n∈N和一个稀疏的标签l指示事件的开始，i.e.，相关正元的一个子序列（x n）n∈[l，l+米-1]，与米比因the杜拉季翁的the事件。The余留元素外的这积极子序列阿雷康西代里德负元素。类型，如果正子序列的长度，米is知道了，we can创建a序列的科伦布尔丁双nary标签（y n）n∈N，何地y n= 1 if n ∈【l、l+米-1]和y n=0奥瑟怀斯。 共同的，both序列（x n）n∈N和（y n）n∈N可以使用火车机器学习模型，以检测积极的事件。多类分类符，带事件从多堂课开始，以后会在方法部分进行复习。在这项工作中，我们喜欢火车下面的模型条件thatthe长米is不知情的和只稀疏标签l指标the开始的the子序列阿雷知道米塞斯米N真正元素x l+N、……，x l+米-1that威尔不be乌塞德为训练。 这can be次优，especially在数据集何地普西斯韦斯阿雷稀有的。论the另一只手，当N>米，这方法引言N-米假正元素作用 x l+米、……，x l+N-1那是不正确的标记为培训阳性。 当N米上，高的价值N是，训练集中不正确标记样本的比例较高和较高风险。抽样负子序列是简单的。负极型canbe采样在序列that做不哈夫积极稀疏标签。在添加中，序列中只生成一个异常阳性事件，负面训练元素可以照样进行be标记时间前安全取样l美国（x n）n∈[0中，l-1]，贝考乌斯（yn）n∈【0中，l-1]=（yˆn）n∈【0中，l-1】。 其他n egat我五e饿了么-门茨can be合情合理萨菲利采样法尔阿瓦伊来自美国《标签时代》（x n） n∈[P 、 ∞]、provided P N。We列车神经网络乌辛集的不正确的拉-贝莱德序列、与a固定里斯克水平N为所有序列，与评价长度在哪里的独立序列的检测性能米is知道了。3.2. 对分类的影响表演数字要素N稀疏标签后的采样对每共振峰的分类可以产生双面影响。美国长美国N<米一个增量N很喜欢改进the分类处理表演比改进召回。当N>M中，我们介绍了错误标签的培训样本，这些样本适合增加错误的后期检测数字。由于这种双面影响，我们呼吁N the里斯克水平。样本数对分类绩效的正向影响已表现为从属本位制（ponential-follow-ponential-follow-ponential-follow-ponential-follow-ponential-follow-to）趋势[10]、怀勒布罗德利埃及阿。‘s实验[3]显示错误标签数据的程度，使指数趋势的准确性一致性良好。我们假设那些分离Phenomans的人可以用乙状结肠功能建模，并遵循一个概率阿普罗阿赫-泰尔同时奥克库伦斯可以将其建模为他们个人概率分布的产品。后果是，我们承诺将其作为一个现有的协定的范本N在作为两个乙状结肠乘积的分类性能职能：杜林培训时间。11到地址这问题，we普罗波塞制造a噪声冰-锡酸盐米中，使用参数N在转折中里斯克与这些估计数相关。我们指派的N元素（x n）n∈[l，l+N-1]它遵循标记正元素x l到be定位者。 这结果在波特蒂亚利不务正业拉贝尔（yˆn）n∈N，与yˆn=1ifn【l，l+N1]和yˆn=0奥瑟怀斯。当N▲米，theN精选 元素x l，...， xl+N-1阿雷真定位者、和无的the训练要素是错误标注的。但当N<米，我们的估计数表演（N）=。，1+ e-α1（N-β1）1 + eα2（N-β2）（一）何地the第一乙格莫伊德（α1和β1）模型the积极伊姆-帕克特的N论the分类处理性能、和the第二乙状结肠（α2和β2）模型具有负面影响。The帕-rameters α1，α2，β1和β2阿雷积极和β1<米<β2。《人物画报》2、对于一个良好的分类任务和数据集，《选择》N模型参数上的depends α1、β1、α2，和β2。有些时候的选择N是临界、i.e为α1= 5，β1= 5，α2= 1，和β2= 10，1893哦，一、∅-|一、||哦，|在其他情况下，N上的影响不大的。Class-Fication表演为a大靶场的价值、i.e. 与α1= 3，β1= 1，α2= 3，和β2= 9。3.3. 多类分类处理1.00.80.6在二元分类问题中，错误标注的元素是自动属于其他类的，并对分类性能造成了后果性伤害。这些对于多类分类来说是更多的复杂，哪里有错误标记的元素做0.40.20.00246810里斯克水平非必要影响分类表演。关于单标记多类分类问题与C类，标签所在的我们参与者（y n）n∈N不是唯一的在其中获取他们的价值C但在C奥。C奥是一组不包含的类在我们分类处理问题（但现在在the数据）、C C奥=还有那个（y n）n∈N把它取值于C C奥。用我们的抽样策略，错误标记的元素鞭拉贝尔阿雷在C奥做不哈夫a否定影响论the分类处理表演为the目标多类问题（只包含类C）。如果所有错误标记的元素中都有它们的标记C奥《风险的影响》水平N在方程式中1可以把它塑造成一个单一的乙状结肠：图2. 模型的the影响的the里斯克水平N论the分类─具有不同参数集的tion性能。Each曲线被重新调整，使其最大等于一。风险水平的最优期望值N模型上的依赖者参数。[14]--二3 × 3卷积的层状物、福洛韦德比a 2 × 2最大汇集层，再两个3 × 3卷积层，一个全局平均统筹层、和a全员连接层遵循乙状结肠激活功能，将不同特征对单一输出的贡献结合在一起【0，1]。前两个卷积层有32个滤镜each，和最后二卷积的层状物、64过滤器伊奇。The车队是零填充的，是由ReLU追随的激活。1表演（N）=1+ e-α 1（N-β1）。（二）我们利用两者投入产出之间的跳跃联系成功卷积的层。为the实验当这对总体分类来说不值得一提的时候性能、资讯科技库尔德奥库尔当检查按类划分的性能。这些焦油序列所在的库尔德指标是大块序列的子集。分类处理问题和惠希is塞尼蒂卡利与其他序列的差异。这样的例子是在医院视频中呈现的实验。论估算错误标注要素对其的影响分类绩效，一个可以估计比例被错误标注的元素的标签是沥青类的C。We note X 米全套错误标签的Ele-ments，和X C奥错误标记元素集which la-bels阿雷在C奥。 The里斯克的 内格 蒂 维利 撞击 作 用 the 目 标分 类 性能 can becomputed as：P多=1X米X C奥/X米X C奥。这个风险是可以照样做的网-推杆类智者。We note X m、c全套错误标签埃尔-ements during正抽样c，和X C奥a、c那些元素中有标签的子集C奥。风险的否定影响联营到the抽样的班c can be计算机美国：P多、c=1-|Xm、c一、XC奥a、c|/|Xm、c哦，XC奥a、c|。（三）3.4. 网络建筑师对于图像的实验，以及MHAD数据集，我们使用了二维卷积神经网络，该网络输入一个二维矩阵，输出一个用于二进制分类配置的单逻辑。 The建筑is领养来自a斯莫尔雷斯内特1 =3，1 =1，2 =0.5，2 = 91 =3，1 =1，2 =3，2 = 91 =0.5，1 =5，2 =1，2 = 251 =5，1 =5，2 =1，2 = 10分类处理表演1894关于医院视频剪辑分类，我们使用一个三维18层ResNet [30]动力学预训练-400 [17]。3.5. 保守者与风险容忍者模型We call保守派使用原始稀疏标签训练的模型，i.e。只使用第一元素跟随稀疏标签l时，which对使用一个级别的风险作出了反应N=1。我们认为这个模型是最基本的。 We call风险容忍度一个使用风险容忍标签训练的模型-ing，i.e。用多于第一元素跟随稀疏标签l。在MNIST和CIFAR实验中，我们的实验中的风险水平[1，9]。在视频实验中，风险容忍模型是通过一个级别的风险训练出来的N=3。建筑、初始化和优化器对所有人都是一样的模特们。3.6. 伪标签标示基线伪标记有被提议为一种简单有效的半监督学习方法[21]间接杠杆熵最小化[11]。对于医院videos的实验，我们比较了伪标签方法的风险容忍模型。风险保守模型用于创建伪标签的预测作为风险容忍模型使用的多训练样本N=100时，which对应的是风险级别中的一个N在布景上达到最高的表现。Subse-Quently，一个新模型就是用它训练出来的标签。1895--∈▲▲▲▲4. 关于CIFAR图像的实验序列到研究在可控环境下提出的训练策略，we创建a托伊数据集乌辛CIFAR-10图片。我们找到了那些容忍风险的标签不良的稀疏标签超过3.5点平均平均数精密。图像序列的实验是设计一致的遵循计划。一个类被选为积极的--我们的汽车（汽车）类实验-和其他类别的阴性-e.g。飞机班。训练集的所有图像都被平等地分割到训练和验证集中，而测试图像是可持续的。We阿伦当the培训图片进入50序列的10伊姆-阿吉斯伊奇比拉延图片at兰登来自the二目标类。 Each序列按整数参数化杜-拉蒂翁米（drawn uniformly from 0米10）《真正要素，与第一》米正阶级与余民的影像绘制10米从否定类中绘制的图像（图3）。我们想在哪里建造一个sce-纳里奥。米它不知道所有的时间化步骤，序列创造是表现相似的验证布景。到构造我们风险依赖型培训标签、we精选A风险等级1N 9超过50个序列和样本N each序列的第一个图像是正位，独立于他们真正的类。If N>M中的这些结果N米用于训练的每个序列的不正确标记图像（图形中的错误位置3）。接下来到这里，50个负面训练图像是直接从负面课取样的。对于预处理，图像强度值在【0，1]乌辛the the伊图格-怀斯最低限度和马克西姆姆到设施-塔特训练。We使用这数据集到列车a卷积的网络用Adadelta优化器[31]并优化二元交叉熵。对于每个时代，消极和积极训练图像的相同比例都显示在网络上，以避免重新平衡失去的功能。培训是验证损失分流后停止的，最好的模式是通通学习的美国the一最小化the验证损失。The训练模型的表演is评价论the向下而上的测试集以及使用召回、精度、F1-score、平均精度-锡安和测量AUC.所有被描述为以上的实验都重复了风险等级的变化N[1，9]。The汽车班is选择美国the积极级、和9个系列的实验是用9个其他类实现的美国阴性、尊重。 在the第一系列的专家--iments，我们创建汽车和飞机序列（图3）。在第二系列实验中，我们创造了汽车和鸟类的序列，就这样。埃奇实验公司is重复10泰晤士报乌辛差速器兰登这就是网络权重的特征化。这个结果在一个总共9个风险等级的时间9类时间10运行相等810实验。细枝末节的结果在餐桌上显露无遗1,附图-乌雷4并在补充材料中。工作服、风险容忍标签不良保留标签（N=1）按风险级别计算的平均精确度为3.5分N=6。的影响N论人物表演的分类4能用参数比对模型α1=3、β1=1、α2=0。5，和β2=9在人物2. 这些指标是早期的积极贡献N以较晚和进步的方式增加否定贡献。在that案例、N接近平均期望的真序列长度是最好的采样米=5。表中的类知性结果1 Indi-Cate是最适合班级的，巅峰表演是价值的。N相互递减[3，7]中，i.e。平均真实序列长度的50%至125%米= 5。5. 关于移动MNIST的实验数字我们设计了一个序列MNIST数据集，在我们在企业中运动和a通知的序列在我们比将我们的主题（在我们的实验中为零的数字）移到视角框的左边。换挡速度是随机抽取的伊奇序列、和the余留图片阿雷左空（图）3）。一个序列的形象是一致的真实波斯-伊蒂韦斯if the主体斯蒂尔阿皮尔尔斯论the图像。 到复杂任务，高斯噪声-1均值和标准2是加在一起的去幻想图片。与CIFAR实验相似，我们表演具有增加风险级别的专家级产品N。对于each风险水平，该实验重复了10次使用网络权重的不同随机倡议。这个结果在总共9个风险等级的时间10运行相等90的经验-门。图5展示each风险水平的平均精度。总装，风险容忍标签不良保存标签（N=1）与风险水平的平均精确度提高到30分N=5。的影响N论人物表演的分类5能用参数比对模型α1=3、β1=1、α2=3，和β2=9在人物2. 这些指标与早期阳性相似。影响和晚否定撞击。 在that案例、N can be萨菲利选择在[1，9]与小到不西格尼菲坎特对分类的影响表演。6. 人类行动实验维迪奥斯我们通过创建基于伯克利多模态人类行动数据库(MHAD)视频数据的其他序列数据集来获取更多的实践任务（https://tele-immersion.citris-uc.org/伯克利_mhad）。We select两个动作，手拍（积极的类）和跳杰克（否定类）、到创建10个相关框架的序列。具有相干拍频帧的Each序列启动和它是交换的 为了序列的休息而随意跳杰克（图3）。1896-图3。汽车序列vs。飞机CIFAR图像（第一排）、MNIST图像（第二排）、伯克利MHAD视频帧（第三排）和ConcentiveHospital视频帧（第四排）。Fro例程，在第一排，风险水平是N=6，和正子序列的真实长度是米=3中的which结果N米=3非正规化标记训练样本（FP）。TP指标真定位、FP假定位和TN真底片。任务：汽车vs.风险等级(N)123456789飞机67.7（1.4）70.8（4.0）77.5（1.2）74.6（2.1）71.9（2.9）74.5（1.3）73.8（1.5）71.7（3.3）65.8（4.0）伯德68.8（2.0）60.1（5.4）66.6（1.7）65.8（1.4）67.6（2.0）64.8（1.5）69.1（2.3）65.6（0.9）67.4（1.3）油漆56.0（0.8）55.1（0.9）61.3（1.9）63.1（1.9）61.2（1.3）63.6（1.5）55.2（1.0）56.2（1.7）57.5（2.2）鹿60.5（3.2）62.9（3.1）59.8（1.9）64.6（2.0）61.8（1.2）59.5（0.8）59.1（1.4）62.1（1.0）62.0（1.0）狗59.3（1.1）56.9（1.5）61.5（1.7）58.9（1.0）58.2（1.6）59.6（2.6）57.0（1.7）60.6（1.1）60.2（2.2）青蛙50.0（1.3）51.9（0.6）56.8（2.6）53.5（2.0）53.1（1.7）59.5（3.2）53.1（0.7）51.2（1.3）49.2（0.8）马55.4（1.9）52.4（1.4）54.0（0.8）55.7（2.6）53.0（1.5）60.8（4.3）66.0（2.1）63.9（2.6）55.4（1.7）船66.9（1.1）67.3（1.3）72.2（1.6）70.5（0.7）71.4（0.9）72.3（2.6）69.8（1.5）67.6（1.3）69.6（0.5）卡车55.7（0.8）62.8（4.7）56.0（2.3）54.4（4.9）51.5（2.0）60.9（2.9）47.9（0.4）58.7（2.2）63.9（1.4）表1. 平均精密为the CIFAR-10数据集。 米安斯（标准报）偏离）阿雷计算机为10重复的the实验用不同的权重随机初始化法。最佳统计意义（p值<0.05）结果突出在大胆。基线法，不加杠杆的未标注数据，是首当其冲的列。0.860.840.820.800.780.850.800.750.700.650.600.550.50123456789里斯克水平0.940.930.920.910.900.890.880.870.86123456789里斯克水平123456789里斯克水平图4. 召回阿韦拉格德超过所有810 the CIFAR-10实验，与瓦尔英里斯克级别N。 95%信任感间隔阿雷用计算机计算的引导。 The基线方法、惠希多埃斯不杠杆未标注数据，是为了风险N= 1。We重复the实验设置的CIFAR和MNIST：9级风险的实验N以及each风险级别的10次重复。图5展示each风险水平的平均精度。整体，风险容忍标签不良注意标签（N=1）按风险级别提高平均精确度30分N=5。在与CIFAR和MNSIT实验的对比中，对于MHAD实验，平均精确度持续增长到风险水平阿博夫N=5。这些库尔德被归因于相关图像之间的高度关联。的影响N论人物的类化表现4能用参数比对模型α1=0。5、β1=5、α2=1，和图5. 平均精密美国a功能的the里斯克关卡。 MNIST在左，MHAD在右。95%的信心区间是在光蓝中闪现的。基线法，不加杠杆的未标注数据，是为了风险N= 1。β2= 25在图2,，与a否定影响实质性延迟。 在that案例、the里斯克水平should be采样拉尔格塔恩the平均期待序列长米= 5。在添加到MHAD中，我们在其他华民行动视频数据集上也照样展示结果，HMDB51 [19]、在附则中─材料。7. 医院录像实验病人我们在一个真实的任务中评价我们的方法：从PA-召回美联美联1897TIENTS医院的连续视频记录中进行事件检测，乌辛a数据集库拉特德比我们研究所为这spe-1898西亚菲克项目。我们现在的结果比较风险变异的两个层次N=16（4秒夹在4个FPS上），《保守模型》，到N=10，000《风险容忍模式》，在哪里N是稀疏标签后面的帧数。我们发现我们的风险容忍模型有显著性，用17个点来证明保守模型平均精度。数据集。我们聚集并整理了一个连续的数据集视频记录的医院病人在安癫痫发作儿童和新生儿CEN-TER单元，与IRB一起收集视线过长的和批准。 The数据集包含记录来自59新生儿癫痫患者是临床路径的一部分一家医院。 The录音时代每视频拉茨斯贝特韦恩99证券和720分钟，中位数为33分钟。再-杜斯培训和推论时代、the维迪奥斯阿雷从每秒25帧到4帧（FPS）下采样，帧分辨率从320x240下采样到80x80.美国部分的the临床路经、these视频记录阿雷·斯帕塞利标签比多临床医师到指标the Occur-Rence的事件与回应开始时间。我们确认158个稀疏标签指示五类事件：由护士为新生儿打补丁、由护士为新生儿口饮药水、由新生儿摇动、由新生儿病人为食物，以及最后由护士为病人提供的其他类型的照顾，包含例式用长-英静脉内线。那些事件是选择作为他们可以错误的自动捕获检测系统。稀疏标签集是分裂随机进入训练，渴望和测试集。Each集是类平衡的，不同病人的数据是用于Each集的。此抽样铅为培训用的30个稀疏标签，为验证用的20个和25个为独立报测试。 维迪奥斯在the测试集阿雷全面审查，以确定事件的结束。非重叠4秒长夹是在开始和之间取样的事件的结束，任务被定义为五类视频剪辑分类问题。为了培训和验证，我们提取了N帧跟随一个稀疏标签作为阳性样本为that级、何地N is the里斯克水平迪斯克里贝厄尔-利尔。Ifthe视频is肖特、we停止at the结束。亚序列，4-秒（16帧在4个FPS）长的非重叠剪辑是取样在那范围和给网络。关于数据集能够找到的更多统计数据附录。训练。网络是通过交叉熵损耗训练的功能和随机梯度下降优化器以0.001的学习率和0.9的动量。网络正则化了数据增广包含随机颜色吉特斯与光亮度、对比、和饱和到0.8，顺化到0.4，90分的随机作物图像尺寸在x和y、和兰登横向的翻转。 莫德-埃尔斯阿雷培训为20纪元。 The贝斯特模型is精选作为一与最小化the交叉熵论the验证布景。结果。与其他数据集上的实验相似，我们提高了风险水平N和each的风险水平，该实验重复了10次不同随机倡议。图6展示each风险水平的平均精确度。总装，风险容忍标签标志-斑点出类拔萃保守派标签比向上到17含 风 险 水 平 的 平 均 精 密 度 点 N=75 时 ， which ， 在4FPS，对我们数据集中的事件中值持续时间的响应（24秒）。用分类表现的演变N用Param-Eters对模型的回复α1=5、β1=5、α2=1，和β2=10在人物2. 方程中正负乙状结肠的这种后期影响指标1、通过对后期影响的突然增加和对负面影响的缓慢增加。为了比较，we阿尔索审阅培训和验证视频剪辑到洛卡特the结束的事件和埃纳布勒全员监督培训。对价值的N在[100，1000]中，《建议的半监督方法》将分类性能相似于完全监督的对象训练。在加法中，我们与另外两种比较的风险容忍模型办法：设置the里斯克水平美国the平均我们数据集中事件的长度，以及使用伪标签[21]（图6）。伪标签到达A性能统计数字-与保守模型中的那一个相似的cally（N= 1）。通过活动的平均长度，我们接近最佳表现为N=300中，我们的 建 议 风 险 容 忍 模 型 的 结 果 是 高 的 意 义 （ 引 导95%CI）。类智结果（图6）秀一下，while我们平均班级明智的事件长度要求班级中的某些人达到他们最高的 准 确 性 （ 关 心 ） ， 其 他 班 级 不 遵 循 这 种 模 式（suctioning，补丁）。合并类：苏狄宁。图6展示类智者平均精确度。与他相对立的上课，为教课而作的分类表演避免事后分解N=1000。表现得很轻松。这是反直觉的，因为刺激性事件的中值持续时间为10秒，年龄为14.36秒，标准偏差为14.36秒。在4FPS，这将是最重要的事件中的最后一个没有长120帧，它是非常遥远的N=1000。它出现了最频繁的触发事件作为一个长期事件的一部分，我们可以呼吁“紧急事件”，我们没有记下我们的分类问题。这个紧急事件课是异类课的一部分C奥（方法部分）。去量化这个，为N=1000我们认为视觉上的相似性贝特韦恩框架采样美国普西斯韦斯为吸引─使用结构相似性的ing与其他类的that指数米阿苏雷(SSIM)[29]。 We富因德that the中间SSIM二兰登框架采样美国苏克蒂奥宁was sig-1899半监督的全监督伪拉贝尔N=平均|一、|0.70.400.60.350.50.300.40.30.250.2010010 110 210 3104里斯克水平0.210 010 110 210 310 4里斯克水平图6。左：变异风险水平下医院视频数据集的平均精确度N。Each半监督点平均超过10跑。我们也在绘制完全监督参考、伪标签基线和如果风险级别的亮点结果N它被选为数据集中的平均事件时间。伪标签结果平均超过10次训练跑。95%的信任区间是通过引导进行计算的。权利：医院视频数据集上的Class-wise平均精确度。如果处于风险水平，Dashed Line亮点成果N它选择的是明智的平均事件时间。数据集。尼菲坎特利斯莫勒（p值<0.5）丹a兰登从其他4个类中的任何一个抽取一个帧和一个随机帧。 论the对比、重复这体验为伊奇的the其他克拉塞斯（排他性suctioning）迪德不任一指标西格尼菲坎特差异在SSIM. We can conclude that X m、c X C奥a、c是接近1和P 多、c接近0在等号上3. 后遗症、为the苏克蒂奥宁级、the的影响N论the分类处理表演在方程式1 can be近似的到a单身乙格莫伊德描述the正面影响作用的N美国在方程式2,与a β2相似的到that其他类的，接近N=100。那是我们观察的趋势为苏克蒂奥宁在图6.这科尔伦布德到帕-rameters α1= 0。5，β1= 5，α2=1，和β2= 25在人物2,与a否定影响实质性延迟了。到韦里菲the假说质量、we阿尔索检查注意力地图对教化课的纠正预测的对应。导引-反向传播注意地图[27]为最快的剪辑指定的东西，环绕场景元素的模型焦点指定刺伤设备本身的损害。在对立面上，为考试的咀嚼，模型关注的食物，盘子和手的the病人;为打补丁、the模型焦点论的手照顾者。8. 讨论和限制选择一个风险等级N太高了没有标志性的斑点沃塞尼德the分类处理表演w.r.t that保守模式的。在某些数据集（e.g。MNIST）、a wide靶场的风险等级恩布莱德到达the最优档次化性能。论其他（医院视频数据集），N哈德到be选择阿博夫a切尔泰因门限。 最终、某些数据集（CIFAR）有更多的限制性价值范围N它允许达到最佳分类性能-曼斯。我们用四个参数提出了一个could度量它们模式的模型α1、β1、α2，和β2。科尔-雷克特理解的the目标克拉塞斯和数据库尔德阿尔-低选择这些先验参数进行训练和确定风险水平的最优值N。我们对合并类案例中的那些参数的估计也同样有洞察力。用于Sect中的例程。7.4，用SSIM，我们认得那东西苏克蒂奥宁类是隐类的一个子类紧急情况事件，和conclude that α2和β2can be集达到价值that米尼米泽the否定影响的增加N。莫斯特标准半监督的方法、包罗万象斯坦-达德伪标签、[21]迪斯雷加尔德the顺序性的由i.i.d。的合格样品标记。和后果失败到在我们的真实世界视频数据集上达到一个满意的表现（22地图vs。40图供提出的办法）。我们通过估计事件结束来杠杆数据的序列性泰晤士报来自开始泰晤士报和迪斯库斯the量化的我们提出的方法在图形中的结果6.建议模型的一个极限是稀疏标签l你永远都需要纠正。在我们用连续视频记录进行的实验中，对陡峭数据集外的数据进行审查，揭示稀疏标签的某些部分是不正确的：标签事件在视频中没有找到。到提升影响力的典范N论the分类处理准确性、一库尔德法团公司a方程中的项1稀疏标签存在风险的那个账户不改正的。9. 协奏曲我们提出了一种用于稀疏标签顺序数据的半监督训练策略，并展示了它可以通过八基线模型来验证检测性能的方法。卷积神经网络可利用加式-亮片部分不正确标记-正训练样本有效改进均值前感想。我们在基准数据集和视频事件检测等方面的图像方面演示了这些改进，所建议的方法在哪里达到了与完全监督相似的分类性能接近。苏克蒂奥宁切因摇滚关怀帕特廷地图1900参考资料[1] 大卫·伯特洛、尼古拉斯·卡里尼、伊恩·古德费罗、尼古拉斯·帕佩诺、阿维塔尔·奥利弗和科林·拉菲尔。混搭：整体接近到半监督的学习。 阿尔克西夫预印花arXiv：1905.02249，2019.[2] 格尔达·博佐娃、弗洛里安·杜博斯特、劳伦斯·霍格韦格、约安-尼斯·卡特拉马多斯和马琳·德布鲁伊涅。通过转换下的学习一致性进行半监督医学图像分割。 在国际会议论医学Im-age计算与计算机辅助干预，佩奇810-818.施普林格、2019.[3] 卡拉·E·布罗德利和马克·A·弗里德尔。识别错误标签训练数据。人工智能研究杂志，11：131-167，1999.[4] 苏米克·查特吉、卡蒂克·普拉布、马汉特什·帕塔德卡尔、格尔达·博尔佐娃、弗洛里安·杜博斯特、亨德里克·马特恩、马尔-利恩德布鲁伊内、Ol我五呃斯佩克、和安德烈亚斯Nu▲rnber通用电气r。 Ds6：面向小容器节段的变形感知学习与小、不完美的标签数据集。 阿尔克西夫预印花arXiv：2006.10802，2020.[5] 陈婷、西蒙·科恩布利思、穆罕默德·诺鲁齐和格-奥弗里·辛顿。的对比学习的简单框架视觉代表。在国际会议论玛-正中学习，页1597-1607。PMLR、2020.[6] Veronika Cheplygina 、 Adria Perez-Rovira 、 WieyingKuo、Harm阿瓦姆泰登斯、和马莱恩德布鲁伊内。 早胸ct中众包气道注释的经验-恩斯。在深学习和数据标签为医学应用，第209-218页。施普林格、2016.[7] 马吕斯·科茨、穆罕默德·奥姆兰、塞巴斯蒂安·拉莫斯、蒂莫·雷菲尔德、马库斯·恩兹韦勒、罗德里戈·贝嫩森、乌韦·弗兰克、斯特凡·罗斯和伯恩特·席勒。语义城市场景理解的城市景观数据集。