没有合适的资源?快使用搜索试试~ 我知道了~
基于预训练模型的个性和反应性预测方法
软件影响12(2022)100296原始软件出版物用于人格和人际反应性预测的李斌,翁逸轩湖南大学电气与信息工程学院中国科学院自动化研究所模式识别国家重点实验室A R T I C L E I N F O保留字:预训练模型个性预测反应性指数预测基于神经网络的学习A B标准本文描述了我们为主观性计算方法研讨会提出的方法,情绪社交媒体分析(WASSA)2022关于个性预测(PER)和反应指数预测(IRI)的共享任务。在本文中,我们采用基于预训练语言模型的学习方法来完成这些任务。具体地,提示被设计为提供额外的个性化信息的知识,以增强预训练的模型。为了获得更好的结果,采用了数据增强和模式集成。此外,我们还提供了在线软件演示和软件代码,以供进一步研究。代码元数据当前代码版本v1.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2022-50可复制胶囊法律代码许可证MIT许可证使用的代码版本控制系统N/A使用Python、Django的软件代码语言、工具和服务编译要求,操作环境依赖性Python 3,PyTorch,Transformer库,Sqlite3链接到开发人员文档/手册README页面问题支持电子邮件N/A1. 介绍个性可以被定义为一组特征(例如,年龄、收入和种族),可以反映个体在思维、情感和行为上的差异[1]。人格的力量值得探索,并渗透到人类生活的各个角落[2]。人格预测是一个跨学科的领域,从心理学到计算机科学。然而,人们的个性不能直接观察和测量的活动模式。 人类倾向于通过语言来学习他们的个性,因为这是当今最突出的方式。为了便于对人格相关性的研究,我们提出了基于预训练语言模型的学习方法,用于人格预测和反应性指数预测(IRI)任务在WASSA@ACL-2022,1和设计的个性检测软件的在线演示。2. 主要方法2.1. 提示设计提示学习[3,4]被认为是为预训练模型提供额外知识的明智方法。出于这个原因,我们手动设计提示以从用于个性预测的预训练模型中提取相关知识,该预训练模型被呈现为固定模板,即,‘‘A 具体而言,此个性化信息被映射到令牌,然后与源*通讯作者:湖南大学电气与信息工程学院.电子邮件地址:libincn@hnu.edu.cn(B. Li)。1https://wassa-workshop.github.io/2022/shared_task/。https://doi.org/10.1016/j.simpa.2022.100296接收日期:2022年4月16日;接收日期:2022年4月19日;接受日期:2022年4月19日2665-9638/©2022作者。由Elsevier B.V.出版。这是一篇开放获取的文章,使用CC BY许可证(http://creativecommons.org/licenses/by/4.0/)。可在ScienceDirect上获得目录列表软件影响杂志 首页:www.journals.elsevier.com/software-impactsB. Li和Y.翁软件影响12(2022)1002962Fig. 1. 所提出的软件的演示。在固定提示中一起输入以学习关节表示。提示设计的代码如下。text=data['eaasy']##dataIs THE 因普乌特 与所有已删除的数据集一起进行分区text_prompt=“A{},具有{}gade ducationis,{}race,ageis{}和dincomeis{}。“的。forrmat(data[text=text_prompt+text##input with prom pt2.2. 数据增强受工作[5]的启发,我们考虑随机标点符号的数据增强,即,六个标点符号{",",“。“”,啊!“,”“,“?“}.我们希望确保至少有一个插入标记用于来自一个作者的更多数据,以便模型性能对于不同的噪声具有鲁棒性。实现代码如下所示importrandompunnctuation=[',','.“,”啊!“,““ ,”?’对于数据中的x:text=x[for_in range(20):## 20TIME S FORRdatataugmentatonnrd=random. randint(0,len(text)−1)text[rd]. replace(text[rd],text[rd]+random.选择(标点符号))2.3. 模型集合我们采用集合方法对logits进行平均以得到最终的预测。具体来说,我们实现了用于人格和人际反应预测的平均logits算法[8],它可以通过平均不同模型产生的预测偏差来有效地减少logits预测的方差。该实现采用了Transformer包2[9],其中的细节如下所示从V2模块的最新版本开始模1=DebertaV2模。from_pretrained(模2=DebertaV2模。from_pretrained(“M 2”)模型3 = D e b e rt a V 2模型。from_pretrained(logits1=model1()[' l og it s ' ] l og it s 2 =mod e l 2() [ ' l og it s ' ] l og it s 3 = mod e l 3()logits=(logits1+logits2+logits3)。我的(1)3. 演示软件基于websocket技术,实现了实时通信[10]。具体来说,我们利用上述主要方法的训练模型进行在线软件演示。引入了以下功能1. 用户输入的示例可以随时发送到后端服务器,并通过后端模型执行实时计算。对于不同的预训练模型[6],更好的选择是改进最终结果是集成预训练模型[7]。 因此,2https://github.com/huggingface/transformers。B. Li和Y.翁软件影响12(2022)10029632. 服务器将使用基于线索的方法分析输入,并能够基于预先训练的模型执行实时个性信息计算。3. 最后,个性和反应性指数的结果通过网站返回,带有实时时间戳,网页可以作为前端呈现如图1.给出了该方法的软件演示。我们使用Django [11]来构建整个页面并自动化分包。其中,后端代码基于python实现,前端是HTML和CSS [12]。基于我们的实现,人格预测演示可以很容易地实现[13]。成功部署项目后,只需输入以下代码即可运行软件。我也是。pyrunserver0. 0的情况。0的情况。0:8000在线软件演示在网站http://med.wengsyx.com/LingShi/,其中软件的代码在https://github.com/WENGSYX/WASSA-ACL-2022上开源。4. 当前限制我们的系统在两个方面有局限性。首先是预先训练的语言模型的黑箱特征,这使得我们很难分析个性和反应性指数预测结果的可解释性。其次,我们提出的方法需要大量的神经元进行拼接和计算,因此很难被迁移到离线移动场景。5. 结论和今后的改进在这项工作中,我们提出了我们的软件人格分类和反应预测,希望能促进这一研究领域的发展与这项任务。该软件源于一个学术竞赛,由于隐私限制,我们缺乏来自现实世界的足够训练数据。该方法由一个预先训练好的模型和前端、后端的演示框架组成。 在未来,我们将专注于更有效的提示设计,以执行人格和人际反应的预测。6. 出版物和影响经验情绪分析研究的日常实践可以通过将重点从工程pytorch[14]模块转移到个性化预测设计空间并研究在这些空间中自动操作的方法来支持。我们的软件是基于Django实现的,通过搭建前端和后端代码,保证了系统的长期运行在未来,我们将专注于更有效的提示设计,以执行人格和人际反应的预测。竞合利益作者声明,他们没有已知的竞争性财务利益或个人关系,可能会影响本文报告的工作引用[1]Hetal Vora , Mamta Bhamare , Dr K. Ashok Kumar , Personality predictionfromsocial media text:An overview,Int.J. Eng. Res 9(05)(2020)352-357。[2]埃 默 里 ·D Beck , JoshuaJ. Jackson , A mega-analysis of personalityprediction : Robustness and boundary conditions , J. Personal. 122 ( 3 )(2022)523.[3]李文,等.基于完形填空的文本分类与自然语言推理.北京:计算机科学出版社,2000,21(3):117 - 118.[4]刘鹏飞,袁伟哲,傅金兰,姜正宝,林广明,Graham Neubig,预训练,提示和预测:自然语言处理中提示方法的系统调查,2021,CoRR abs/2107.13586,arXiv:2107.13586。[5]Akbar Karimi , Leonardo Rossi , Andrea Prati , Aeda : An easier dataaugmentationtechnique for text classification,in:Findings of the Association forComputationalLinguistics:EMNLP 2021,2021,pp. 2748-2754。[6]Jacob Devlin,Ming-Wei Chang,Wendon Lee,Kristina Toutanova,Bert:用于语言理解的深度双向转换器的预训练,2018,arXiv预印本arXiv:1810.04805。[7]不可逆性理论中的Entrance方法,J.Chem. Phys. 33(5)(1960)1338-1341。[8]Atsushi Inoue,Lutz Kilian,Bagging在预测经济时间序列中有多有用?美国消费者价格通胀的案例研究。103(482)(2008)511-522。[9]Thomas Wolf,Lysandre Debut,Victor Sanh,Julien Chaumond,Clement De-langue , Anthony Moi , Pierric Ciudad , Tim Rault , Rémi Louf , MorganFuntowicz,Joe Davison,Sam Shleifer,Patrick von Platen,Clara Ma,YacineJernite , Julien Plu , Canwen Xu, Teven Le Scao , Sylvain Gugger , MariamaDrame,Quentin Lhoest,Alexander M.拉什,变形金刚:最先进的自然语言处理,在:2020年自然语言处理经验方法会议论文集:系统演示,计算语言学协会,在线,2020年,pp。38-https://www.aclweb.org/anthology/[10] K.E.奥贡代伊角Yinka-Banjo,WebSocket在实时应用中的应用,Nigerian J. 38(4)(2019)1010-1020.[11] 放 大 图 片 作 者 : JeffForcier , Paul Bissex , Wesley J. Chun, Python WebDevelopment with Django,Addison-Wesley Professional,2008。[12] Jon Duckett , HTML& CSS : Design and BuildWebsites , Vol. 15 ,WileyIndianapolis,IN,2011.[13] Julio Cezar Silveira Jacques Junior , Yaummur Güçlütürk , Marc Pérez , UmutGüçlü, Carlos Andujar, Xavier Baró, Hugo Jair Escalante, Isabelle Guyon,Marcel AJVan Gerven,Rob Van Lier,et al.,第一印象:基于视觉的明显人格特质分析的调查,IEEE Trans. 感情。Comput. (2019年)。[14] Adam Paszke,Sam Gross,Francisco Massa,Adam Lerer,James Bradbury,Gregory Chanan , Trevor Killeen , Zeming Lin , Natalia Gimelshein , LucaAntiga , Alban Desmaison , Andreas Kopf , Edward Yang , Zachary DeVito ,Martin Raison , Alykhan Tejani , Sasank Chilamkurthy , Benoit Steiner , LuFang , Junjie Bai , Soumith Chintala , PyTorch : An imperative style , high-performance deep learning library,in:H.沃勒克,H。 拉罗谢勒A. 贝盖尔齐默,F. d' Alché-Buc,E. 福克斯河,巴西-地Garnett(Eds.),神经信息处理系统进展,第32卷,CurranAssociates,Inc.,2019年,URLhttps://proceedings.neurips.cc/paper/2019/file/bdbca288fee7f92f2bfa9f7012727740-Paper.pdf。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功