基于原型网络的小样本情感识别方法

软件影响12（2022）100237原始软件出版物基于序列原型网络的会话中的小样本情感识别Gaël Guibona，b，Matthieu Labeaua，Luce Lefeuvreb，Chloé ClavelaaLTCI，巴黎电信，巴黎理工学院，法国b法国SNCF创新研究方向A R T I C L E I N F O保留字：少样本学习序列标记会话中的情感识别原型网络A B标准在会话背景下检测情感有利于几个工业案例，如客户服务，语音识别的用户评价等。然而，在大多数情况下，研究数据与真实数据不同，他们是私人的，机密的，或者很难贴上标签。在这项工作中，我们提出了ProtoSeq，原型网络能够以少量学习的方式处理序列，减少标记机密数据的需要。代码元数据当前代码版本1.0.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-178Reproducible Capsule的永久链接https://codeocean.com/capsule/4866261/tree/v1法律代码许可证MIT许可证使用Git的代码版本控制系统使用Python的软件代码语言、工具和服务编译要求，操作环境依赖Python>= 3.8.2，具有以下依赖PyTorch 1.7.1; torchtext 0.8.1;torchCRF 1.1.0; termcolor 1.1.0; scikit-learn 0.23.1; tweet-preprocessor 0.6.0. 适用于任何运行Python的操作系统。 我们建议使用至少具有4Go VRAM的Nvidia GPU。如果可用，链接到开发人员文档/手册问题支持电子邮件gael. gmail.com，gael. telecom-paris.fr1. 介绍当前深度学习方法的一个限制是可用性来训练预测模型。在工业领域，公司经常面临这个问题，因为他们处理机密数据，作为医疗数据、安全相关数据或私人通信数据，仅举几例。为了解决这个困难，出现了新的方法，试图通过考虑迁移学习[1]，半监督学习[2]，元学习[3]或少数学习（FSL）[4]来减轻数据大小依赖性。 在这项工作中，我们专注于在私人通信数据通过采用通常用于少量学习的基于度量学习的元学习框架：原型网络[5]。我们提出了一个原型网络的变化，致力于序列，我们命名为ProtoSeq。在其核心中，ProtoSeq由原型网络[5]和情景训练框架[6]组成，两者都适用于实现数据序列通过分享ProtoSeq，我们试图鼓励对话中的情感识别领域考虑使用FSL，而不是所有使用监督学习的研究[7此外，使用ProtoSeq，我们首先在文本上呈现这种方法，本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。*通讯作者：LTCI，Télécom-Paris，Institut Polytechnique de Paris，France.电子邮件地址：gael. telecom-paris.fr，ext.gael. sncf.fr（G. Guibon），matthieu. telecom-paris.fr（M. Labeau），luce. sncf.fr（L.Lefeuvre），champion.clavel@ telecom-paris.fr（C.Clavel）。https://doi.org/10.1016/j.simpa.2022.100237接收日期：2021年12月4日;接收日期：2021年12月27日;接受日期：2022年1月11日2665-9638/©2022作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsG. 吉邦湾 拉博湖 Lefeuvre等人软件影响12（2022）1002372Fig. 1. ProtoSeq模型的架构：从输入FastText [15]静态嵌入到CRF层。每个部分都链接到可再现胶囊中的相关代码。全球培训功能位于code/train/regular.py。图二. 序列的情节训练框架：一个例子情节（2个镜头，3个方向）。会话标签是从话语标签中推断出来���的标签=表情符号。模态，但共享框架，以使其易于适应不同的模态，如语音或视觉，后者从 原始的原型网络[5]源于。2. 描述ProtoSeq可以分为两个主要部分：模型和训练框架。该模型使用基于卷积网络（CNN）[11]的分层编码器进行话语编码，并使用双向这源于最近关于对话中的序列标记和对话中的情感识别的工作[7，13]。通过额外的多层感知器（MLP）和条件随机场（CRF）[14]层的组合，ProtoSeq允许使用两步过程进行序列标记（图1中的概述）。（1）使用来自类原型的编码的话语距离（从图1中的输入到原型话语距离）的顺序感知标记。（2）使用CRF [ 14 ]层的全局上下文感知序列标记，以微调前一步骤（图1中的最后一层- CRF -）。①的人。我们还应用并分享了一个专用于序列的自适应情景训练框架[6]，其中每个类别用于训练的实例数量取决于序列中相关类别的至少一个话语的存在。为了训练模型，我们生成一组随机事件（替换批次考虑到这两个主要特性，我们通过公共PyTorch实现引入ProtoSeq。 软件基础结构受到[16]的启发，但对其进行了扩展，以便以更独立的方式合并多个子结构，例如少数镜头和监督学习任务。因此，我们的适应性情景策略（见图）。 2）可以在code/dataset/parallel_sampler_seq.py中找到，而Bao [ 16 ]实现了Larochelle [ 6 ]的情节策略，非序列的原始版本，可以在code/dataset/parallel_sampler.py中找到。数据实用程序。 我们的ProtoSeq的PyTorch实现期望数据JSON行格式。每一行都应该是一个JSON对象，一次谈话由于数据的分层性质，我们选择了这种格式而不是Pandas1 默认情况下，我们在文本对话数据集[ 17 ]上展示了一个示例用法，我们为此共享了自定义解析器data/parser_gg.py。通过共享这个解析器，我们共享了另一种处理这些数据的方法，这种方法也可以用于格式化Datasets库中的数据。2我们还在emotionClf.py中共享了专门用于数据预处理的函数creaDailyDialogSeq（），以及唯一的完全解析和预处理的数据。 有一个选项专门用来重现它：python3 emotionClf.py--taskprepa_dataset。额外的实现。当比较用于会话中情感识别的现有监督方法时，公共KET [9]实现 3 在应用于我们的私人机密数据集时，微观F1分数从53.37%下降到41.43%。我们试图为CESTa测量它，但没有找到可用的公共实现。因此，我们分享我们个人的CESTa实现4，它是我们按照原始论文的说明从头开始的然而，它在我们的私人机密数据集[18]和DailyDialog [17]上都没有产生好的结果，这似乎与原始论文据我们所知，这是CESTa唯一可用的实现，这就是为什么我们分享它来证明这对我们的特定数据不起作用，但也允许研究社区进行可能的改进，可以重新应用或修改它。我们的可再现胶囊还带有几个ProtoSeq变体，用户可以触发这些变体来尝试不同的编码器，从简单的输入表示平均到多个Transformer [19]编码器层。3. 影响通过ProtoSeq，我们希望提供一个示例解决方案来处理 数据隐私的不足，并有一个指示的差异，在每一个。大多数会话数据都是私有的，未标记的，并且不同并再现几个训练示例的上下文对每个类（方式）进行随机样本（镜头）数量的训练，并对固定数量的元素（查询）进行预测，以计算交叉熵损失。图2显示了一个训练集1 https://pandas.pydata.org/。2 https://huggingface.co/datasets/daily_dialog。3 https://github.com/zhongpeixiang/KET。4可在code/classifier/cesta.py中找到，并带有内联注释。G. 吉邦湾 拉博湖 Lefeuvre等人软件影响12（2022）1002373从现有的研究数据集。因此，我们试图鼓励研究领域通过分享ProtoSeq来考虑使用少量学习来完成这项任务，ProtoSeq在微观f1分数（不包括大多数类）中达到31.81%，而WarmProto-CRF则为26.07%，这是另一种用于序列的FSL方法[18，20]。在我们的实现中，默认数据应该是分层的文本数据（标记的嵌套列表）。然而，它可以被修改以处理任何类型的数据，因为模型不限于文本数据。只要满足属性（分层序列），它就可以用于其他模态。即使我们将自己限制在自然语言处理的范围内，更准确地说，限制在情感分析和情感识别，仍然可以执行多个其他任务：例如命名实体识别，说话人的语音模式识别，词性标注。ProtoSeq被设计用于只有少数标记示例可用的私有数据。此外，它是第一个在会话中进行少量情感识别的软件，这使其成为该研究子领域的先驱。这就是为什么这项工作的动机是学术和工业目标，我们希望它使这个研究领域倾向于真实数据的使用，与人工（因此可共享）数据进行性能比较，而不仅仅是比较后者的性能。该软件旨在为其他研究共享基线，以直接或间接进行比较[21]。为了做到这一点，我们使代码易于重用。4. 当前限制ProtoSeq的两个部分各有一个限制。首先，适应的原型网络具有最终CRF层，其覆盖来自先前分层编码器的顺序信息。这意味着，即使使用顺序来确定表示，序列标记阶段在最后几乎完全忽略它。其次，适应情节设置产生每个类的话语的可变数量。这意味着标准情景策略[6]中的类之间的严格平衡由于序列中每个外部类5. 结论和今后的改进在这项工作中，我们提出了ProtoSeq，这是第一个在对话中进行情感识别的少量学习的应用，希望能促进这种方法在这项任务中的需要。该软件源于工业环境，由于隐私限制，我们无法访问足够的数据。ProtoSeq由分层模型和训练框架组成，我们将尝试减少关于元素顺序的固有限制，以及剧集中话语的可变数量CRediT作者贡献声明Gaël Guibon：软件，方法论，概念化，数据处理，资源，写作马修·拉博：方法论，概念化，写作-评论编辑，监督，项目管理，形式分析，验证。方法论，概念化，写作- Chloé Clavel：方法论，概念化，写作竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢该项目得到了法国国家铁路公司（SNCF）、法国国家研究机构ANR-17-MAOI和巴黎电信法国主席DSAIDIS的资助引用[1]S.鲁德法医彼得斯，S。Swayamdipta，T. Wolf，自然语言处理中的迁移学习，在：计算语言学协会北美分会2019年会议记录：Tuesday，计算语言学协会，明尼阿波利斯，明尼苏达州，2019年，pp。15-https://aclanthology.org/http://dx.doi.org/10.18653/v1/N19-5004[2]J.E. Van Engelen，H.H. Hoos，A Survey on Semi-Supervised Learning，Mach.学习.109（2）（2020）373-440。[3]T. Hospedales，A. Antoniou，P. Micaelli，A. Storkey，神经网络中的元学习：一项 调 查 ， 2020， arXiv ： 2004.05439[Cs ， Stat]。 ArXiv ： 2004.05439 。 网 址http://arxiv.org/abs/2004.05439。[4] Y.王，英-地姚，J.T.郭林明Ni，Generalizing from a few examples：Asurveyonfew-shot learning，ACM Comput. 监视器53（3）（2020）1[5] J. Snell ， K. 斯 韦 尔 斯 基 河 Zemel ， Prototypical networks for few-shotlearning，2004，I. Guyon，U.V. Luxburg，S.本焦，H。瓦拉赫河Fergus，S.维什瓦纳坦河Garnett（Eds.），神经信息处理系统进展30，Curran Associates，Inc.，2017年，页4077-http://papers.nips.cc/paper/6996-[6]S. 拉 维 ， H 。 Larochelle ， Optimization as a model for few-shot learning ，OpenReview（2016）。[7]S. Escherichia coli ， E. 坎 布 里 亚 湾 Hazarika ， N. Majumder ， A. 扎 德 湖 P.Moonlight，用户生成的视频中的上下文相关情感分析，在：计算语言学协会第55届年会论文集（第1卷：长文），2017年，pp。873-883。[8]N. Majumder ， S. Jiang ， D.哈 扎 里 卡 河 Mihalcea ， A. Gelbukh， E. Cambria，DialogueRNN：一个专注的RNN用于对话中的情感检测，在：AAAI人工智能会议论文集，第33卷，2019年，第33页。6818aaai.org/ojs/index.php/AAAI/article/view/4657http://dx.doi.org/10.1609/aaai.v33i01.33016818[9]P. Zhong ， D. Wang ， C. Miao ， 用 于 文 本 对 话 中 情 感 检 测 的 知 识 丰 富 的Transformer，2019，Cs。ArXiv：1909.10681。网址http：//arxiv.org/abs/1909.10681网站。[10] Y. Wang，J. Zhang，J. Ma，S. Wang，J. Xiao，会话中的语境化情感识别作为序列标记，在：话语和对话特别兴趣小组第21届年会论文集，2020年，第100页。186-195.[11] Y. Kim，Convolutional neural networks for sentence classification，2014，arXivpreprintarXiv：1408.5882.[12] Z.黄 ， W. Xu， K. Yu， Bidirectional LSTM-CRF models for sequence tagging ，2015，arXiv：1508.01991。[13] E. Chapuis，P. Colombo，M. Manica，M.拉博角 Clavel，口语对话中序列标记的分层预训练，在：2020年自然语言处理经验方法会议论文集：发现，2020年，pp. 2636-2648[14] J.Laffe ， A. 麦 卡 勒 姆 足 球 俱 乐 部 Pereira ， Conditional RandomFields ： ProbabilisticModels for Segmentation and Labeling SequenceData，2001。[15] P. Bojanowski，E. Grave，A. Joulin，T. Mikolov，Enriching word vectors withsubword information，2017，arXiv：1607.04606.[16] Y.鲍，M。Wu，S.昌河，巴西-地Barzilay，具有分布签名的少镜头文本分类，在：国际学习表示会议，2020年。[17] Y. Li，H. Su，X.沈，W。Li，Z. Cao，S. Niu，DailyDialog：A manually labeledmulti-turn dialogue dataset ， 2017 ， Cs. ArXiv ： 1710.03957 。 网 址http://arxiv.org/abs/1710.03957。[18] G.吉邦湾Labeau，H.弗拉曼湖勒夫尔角Clavel，在与序列原型网络的对话中进行少量情感识别，在：2021年自然语言处理经验方法会议的进展，2021年，第10页。6858-6870。[19] A. 瓦斯瓦尼北沙泽尔，北Parmar，J. 乌斯科赖特湖琼斯，A.N.戈麦斯。凯撒，I. Polosukhin，注意力就是你所需要的一切，在：神经信息处理系统的进展，2017年，第100页。5998-6008[20] A. Fritzler，V. Logacheva，M. Kretov，命名实体识别任务中的少镜头分类，在：第34届ACM/SIGAPP应用计算研讨会论文集，2019年，pp. 993-1000[21] J. Olah，S. Baruah，D. Bose，S. Narayanan，使用少量知识转移的跨域情感识别，2021，arXiv：2110.05021。