Prediction-Core：情绪检测开源框架及其潜在影响

软件影响10（2021）100179原始软件出版物Prediction-Core：一个用于情绪检测研究的开源框架Nurudin Alvarez-Gonzaleza，a，Andreas Kaltenbrunnera，b，Vicenván Gómezaa西班牙巴塞罗那庞培法布拉大学b意大利都灵ISI基金会自动清洁装置保留字：自然语言处理情感检测多标签分类研究展示A B标准从文本中识别情感对于各种现实世界的任务至关重要。我们描述了一个开源框架，用于训练，评估和展示文本情感检测模型。我们的框架由两个组件组成：情感分类和情感识别UI，这使得研究人员可以轻松地扩展和重用现有的情感检测解决方案。我们讨论了我们的软件项目的潜在影响，包括最近发表在自然语言处理经验方法国际会议（EMNLP 2021）的结果。我们的代码可供感兴趣的研究人员免费使用代码元数据当前代码版本v1.0.1用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-161Reproducible Capsule的永久链接https://codeocean.com/capsule/8318602/tree/v1法律代码许可证MIT。使用git的代码版本控制系统使用Python、Bash、JavaScript、Vue.js、AWS S3（公共部署）的软件代码语言、工具和服务编译要求、操作环境依赖性通过requirements.txt（情感分类）和package.json进行（注释UI）。如果可用，链接到开发人员文档/手册不可用。问题支持电子邮件nuralgon@gmail.com1. 高级功能和用途给定一个文本片段，其中可能存在哪些情绪，它们表达的强度如何？目前，还没有开源框架来回答这些问题，提供使用大规模数据集的预训练模型，同时易于使用和扩展。在这篇文章中，我们提供了一个开源工具集，用于使用各种数据集、建模技术和评估方法来训练、评估、部署和展示情感检测模型。它由两个独立的子项目组成：情感分类和情感UI，如图所示。1.一、1.1. 情感分类：建模和部署后端Emotion Classification是一个Python项目，包含用于训练、评估和部署机器学习模型以进行情感检测的软件工具。功能分为两个主要程序：• run.py：单参数程序，从JSON文件执行实验配置（声明确定性的• serve.py：一个Web服务器，通过REST API公开发布就绪的研究模型，以便可以使用简化的Web界面（如AppltionUI）探索情感检测模型。本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。*通讯作者。电子邮件地址：nuralgon@gmail.com（N. Alvarez-Gonzalez），kaltenbrunner@gmail.com（A. Kaltenbrunner），vicen. upf.edu（V. Gómez）.https://doi.org/10.1016/j.simpa.2021.100179接收日期：2021年11月14日;接受日期：2021年11月19日2665-9638/©2021作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsN. Alvarez-Gonzalez，A.Kaltenbrunner和V.戈麦斯软件影响10（2021）1001792图1.一、 核心组件流程图。该图显示了RepublicationUI中各个系统的输入和输出，包括run.py中的运行配置和输入数据、内部处理和输出指标、serve.py的ReleaseModel实例的准备以及RepublicationUI的常见用法。运行配置确定如何生成和评估情绪检测模型，具有四类参数：1. 数据加载。初始随机种子、训练集、验证集和测试集的分割大小，或定义不同分割的数据集中2. 文本表示。定义如何编码文本-目前支持统计文档表示（Bag-of-Words，TF- IDF），单词嵌入（FastText）或Transformer LM（BERT）。3. 建模方法。描述（流）建模al-出租m和超参数，依赖于文本表示。包括对传统机器学习方法（逻辑回归，朴素贝叶斯，随机森林）和深度学习方法（深度神经网络和双LSTM）的支持4. 输出和序列化。指定文件系统路径以存储模型评估结果、调优的分类器阈值和用于部署的训练模型。1.2. ExhibitionUI：Showcase和可视化界面QuestionUI是一个包含单页Web应用程序的JavaScript项目，用于展示和探索使用情绪分类程序训练的情绪检测模型。它提供了一个用户界面 提交文本片段单独和批量，与工具，以可视化的预测情绪和情绪类别的分布，如果可用。 公共接口如图所示。 二、2. 研究影响Prediction-Core允许研究人员以完全可重复的方式快速实验情感检测数据集、文档表示和建模方法。平台的设计作为在两个最大的情感分类语料库上对情感检测模型进行基准测试的手段：GoEmotions [2]和Vent [3]。目前，Prediction-Core仅支持流式多标签建模方法，并具有自动评估模块，以确保所有方法之间的公平比较。在Prediction-Core框架中，建模者不需要为每个数据集重新实现模型相反，实验方法可以通过提供数据或匹配简单接口的新实现来扩展：• 数 据 格 式 。 Emotion 数 据 集 只 需 要 两 列 ： text 和emotion_index。实验者可以通过相应地预处理列来使用新的数据集。还提供了对管理数据集拆分以及使用已提供的拆分的最小支持• 文档表示和模型。表示和模型工厂允许集中定义如何表示文档并从中训练模型。提取器和模型类，并将它们注册到相应的工厂。3. 局限性、扩展应用和今后的工作情感分类目前为用户提供现成的配方来训练，评估和序列化模型。然而，部署模型目前是一项手动工作，需要用户通过ad-hoc过程（例如，使用交互式Python REPL或自定义脚本）。发布-模型实例可 以 序 列 化 到 磁 盘 上 ， 并 由 www.example.com 自 动 提 供 服 务serve.py，而无需额外的工作。未来的版本旨在添加自动化的ReleaseModel支持，使用户不必将序列化的结果字典与序列化的模型结合起来进行手动导出AppltionUI 提 供 了 一 个 Web 界 面 来 评 估 和 探 索 通 过serve.pycomRESTAPI 提供的Re-leaseModel实例。目前，RESTAPI的主机名不能实时配置，在调试模式下设置为本地端点，远程生产环境中的公共版本。 这限制了实验者使用不同的环境一次评估多个版本的容易性。未来的版本将增加对配置API端点池的支持，以允许实验者从Web界面中测试替代的ReleaseModel实例4. 相关出版物，使用的核心Prediction-Core是[4]中用于对情感检测模型进行基准测试的平台，该平台从读者和作者的角度分析了两个最大的情感检测语料库上的情感检测限制。N. Alvarez-Gonzalez，A.Kaltenbrunner和V.戈麦斯软件影响10（2021）1001793图二. 公共配置UI的截图[1]。 用户可以使用在不同数据集上训练的模型，使用各种文档表示和建模选择来提交要分类的文本。公开发布仅公开每个数据集上性能最好的模型竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢Andreas Kaltenbrunner感谢Intesa Sanpaolo创新中心的支持资助者在研究设计、数据收集和分析、发表决定或手稿准备根据LCF/PR/PR16/51110009 协 议 ， Vicenián Gómez 获 得 了 “la Caixa” 基 金 会 （ ID100010434）和大众汽车基金会勇气项目（95.566）的资助引用[1]Nurudin Alvarez-Gonzalez，Andreas Kaltenbrunner，Vicenza Gómez，《情感UI：探 索 情 感 检 测 模 型 的 网 络 界 面 》 ， 2021 年 ， URL http ： //emotionui 。nur.systems/，在http://emotionui.nur.systems/公开发布。最后访问于2021年11月8[2] Dorottya Demszky ， Dana Movshovitz-Attias ， Jeongwoo Ko ， Alan Cowen ，GauravNemade，Sujith Ravi，Goemotions：细粒度情感的数据集，在：第58届 计算语言学协会年会，2020年。[3] Nikolaos Lykousas ， Constantinos Patsakis ， Andreas Kaltenbrunner ， ViceniansGómez，大规模分享情绪：喷口数据集，在：第13届国际AAAI网络日志和社交媒体会议，第13卷，（01）2019，pp.611https://www.aaai.org/ojs/index.php/ICWSM/article/view/3361[4] NurudinAlvarez-Gonzalez ， AndreasKaltenbrunner ， ViceniansGómez ，Uncovering thelimits of text-based emotion detection ， in ： Findings of theAssociationforComputationalLinguistics ： EMNLP2021 ， AssociationforComputational Linguistics，PuntaCana ，Dominican Republic ，2021 ，pp. 2560-2583。