TextCL：用于NLP预处理任务的Python包

≥软件X 19（2022）101122原始软件出版物TextCL：用于NLP预处理任务的Python包Alina Petukhova，Nuno Fachada葡萄牙里斯本市Campo Grande，376，ar t i cl e i nf o文章历史记录：收到2021年收到修订版，2022年5月9日接受，2022年保留字：自然语言处理文本过滤离群点检测a b st ra ct预处理用于自然语言处理任务的文本数据集通常是一项耗时且昂贵的工作。通常从诸如但不限于web抓取、扫描的文档或PDF文件的源获得的文本数据通常是非结构化的，并且易于产生伪像和其他类型的噪声。TextCL包的目标是通过提供多种适合文本数据预处理的方法来简化此过程它包括将文本拆分为句子，按语言过滤句子，困惑过滤和删除重复句子的功能。TextCL包提供的另一个功能是离群值检测模块，它允许识别和过滤出与数据集的主要主题分布不同的文本。这种方法允许选择几种无监督离群值检测算法之一，如TONMF（块坐标下降框架），RPCA（鲁棒主成分分析）或SVD（奇异值分解），并将其应用于文本数据。©2022作者（S）。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v1.0.0用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-21-00105Code Ocean compute capsule不适用法律代码许可证MIT使用Git的代码版本控制系统软件代码使用的语言、工具和服务Python编译要求、运行环境依赖性Python≥3.5numpy≥ 1.16.5，1.20.0pandas≥1.0.3torch≥1.5.0，≤1.7.1pytorch_pretrained_bert≥0.6.2langdetect≥1.0.8lxml≥4.6.2protobuf≥3.14.0nltk≥ 3.4.5scikit-learn≥0.24.1如果可用，链接到开发人员文档/手册测试资源2.0.1https://alinapetukhova.github.io/textcl/docs/问题支持电子邮件alina. ulusofona.pt1. 动机和意义每天都有大量的非结构化文本从各种不同的来源生成。信息*通讯作者。电子邮件地址：alina. ulusofona.pt（Alina Petukhova）.https://doi.org/10.1016/j.softx.2022.101122随着数据量的不断增长，对给定领域的数据进行预处理以执行分析、识别相关性并构建自然语言处理（NLP）模型是一项关键任务。NLP是人工智能的一个研究领域，专注于处理和使用文本和语音数据，可能包括预测，类别分类或文本生成模型。质量这些模型的有效性很大程度上取决于输入数据的质量2352-7110/©2022作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxAlina Petukhova和Nuno Fachada软件X 19（2022）1011222根据原始文本的获取方式，可以在原始文本中看到一些常见的缺陷。如果数据来自光学字符识别（OCR）平台，则表和列通常无法正确处理，并且可能会给模型添加噪声。此外，大文本范围的某些部分可能包含来自模型的目标语言以外的语言的句子。在来自多个来源的真实数据中，由于使用模板或重复使用相同的内容块，文本可能包含重复内容。对于文本生成任务，内容重复可能会导致模型过拟合，这必须在预处理管道中考虑。最常用的文本预处理库是spaCy[1]。它是一个用于文本预处理的开源库。库中最常用的功能是标记化、词形化、词性标记、实体识别、标点符号和停用词删除。另一个常用的文本预处理库是NLTK（自然语言工具包）[2]。一般来说，spaCy比NLTK更快，更有效[3]。然而，spaCy不包括用于某些应用的预先创建的模型，例如情感分析，这通常更容易使用NLTK执行。TextCl扩展了spaCy的功能，包括按语言过滤句子、困惑过滤、删除重复句子和离群值检测的功能在文本预处理过程中要考虑的另一个重要问题是数据分布。在非结构化文本数据集中，经常会出现文档不属于文本主题的情况例如，政治新闻数据集中的一篇科学文章这些都是数据分布中离群值的例子，能够以无监督的方式检测它们并将它们过滤出主文本范围是非常有用的。许多用于离群值检测的Python包都是可用的，例如PyOD[4]，PyNomaly[5]和alibi-detect[6]。PyOD包包含40个离群值检测算法，支持最近的算法，如ECOD [7]。异常现象是基于循环（ 局部离群值概率） 方法[8] ， 分数标准化为0-1 。PyOD 和PyNomaly都不支持文本数据作为输入。Alibi-detect专注于离群值、对抗性和漂移检测，支持25种不同的检测方法。算法虽然它可以用于图像或文本等非结构化数据，但不支持文本数据的离群值检测。TextCL的开发就是为了填补这一空白，它提供了几种专门用于检测文本数据中离群值的算法，即TONMF、RPCA和SVD。更一般地说，TextCL的目标是解决文本预处理问题，在一个库中提供语言过滤、相似性过滤、困惑过滤和离群值检测的几种现有算法2. 软件描述2.1. 软件构架TextCL是用Python 3编写的，提供了算法和函数来完成文本数据集的常见预处理和离群值检测步骤。 它遵循过程式编程风格，提供的函数如图所示。1.一、 函数是在高层次上定义的，使用户能够利用几种方法进行文本准备，并研究给定文本数据集的最佳参数。 代码是在成熟的Python库之上开发的，如numpy [9]，sklearn [10]和pandas [11]，同时集成了专门用于深度学习和文本操作的现代库，如nltk [2]，torch [12]，pytorch_pretrained_bert [13]，”[14]《明史》它由两个模块组成，预处理和outliers_detection，前者作为句子级Transformer操作，后者作 为 文 档 级 Transformer 操 作 。 第 一 个 模 块 包 括language_filtering、jaccard_sim_filtering和perplexity_filtering 。 在 使 用 这 些 函 数 之 前 ， 应 该 使 用split_into_sentences函数将初始文本拆分成句子 第二个模块由outliers_detection函数表示，该函数具有用于检测异常值的算法选择，如图11所示。1.一、每个函数都以一致的方式设计，提供参数选择数据框的所需列并指定过滤阈值。输出是标准化的，与pandas数据帧格式兼容。2.2. 软件功能预处理模块包含句子级转换器。以下列表详细介绍了这些功能中的每一个：language_filtering（）此函数用于按语言过滤句子。这个函数的输入应该是一个pandas数据框，包含一个句子列、一个阈值和一种目标语言。阈值（或语言得分）用于筛选，其默认值为0.99.所有低于阈值的句子将被过滤掉。jaccard_sim_filtering（）该函数用于根据Jaccard相似度过滤句子。它将每个句子表示为一个标记数组，并查找两个数组之间的交集。相似度分数是根据句子的交集计算的，如果它低于给定的阈值，句子将被过滤掉。perplexity_filtering（）此函数用于按复杂度过滤句子。第一步创建上下文标记来捕获潜在的句法语义信息，然后使用GPT作为语言模型来计算标记在句子中的顺序的概率。困惑度计算为exp（损失）（其中损失是特定令牌的语言建模损失），并与给定的阈值进行比较更多的细节可以在Ref.[15 ]第10段。第二个模块outliers_detection包括处理作为文本范围一部分的完整文档的函数。它们作为文档级转换器运行，具有以下规格：outlier_detection（）此函数用于使用所提供的几种无监督方法之一来基于上下文信息检测句子列表中的离群值可以被分类为与上下文中的其他句子相比具有显著不同含义的句子。名单输入参数包括带有文本的pandas矩阵和检测不规则文本（默认值 是L2，即欧几里德范数）。第一步是通过将文本嵌入创建为词袋来在向量空间中生成文本表示，然后使用所选择的al-tax m来检测列表中的离群值。该软件包支持几种离群值检测方法：tonmf（）使用TONMF算法确定离群值矩阵。该解决方案是基于非负矩阵分解与块坐标下降框架的扩展[16]。Alina Petukhova和Nuno Fachada软件X 19（2022）1011223图1.一、TextCL 包的体系结构。rpca_implementation （ ） 使 用 鲁 棒 主 成 分 分 析（RPCA）算法来确定离群值矩阵。RPCA使用低秩近似并产生两个矩阵：低秩矩阵L和稀疏矩阵S。归一化后，S矩阵表示文档的离群值[17，18]。svd（）使用单值分解（SVD）来确定离群矩阵，该离群矩阵表示为矩形对角矩阵S和复数酉矩阵V的对角元素的平方根的乘积。3. 说明性实例这些示例演示了如何预处理文本，在建模阶段清理文本。通常，文本预处理是手动执行的，非常耗时。TextCL包有助于识别和过滤出（1）目标语言以外的语言句子，（2）语言上不连接和/或损坏的句子，以及（3）重复的句子。该包的另一个特性是能够从文本范围中识别和过滤出离群值。作为离群值，我们认为文本不属于上下文的主要主题的文本。重要的是能够在没有标记数据的情况下识别这些异常，或者换句话说，能够使用通用方法在非结构化文本中查找离群值。这个例子将使用BBC数据集[19]的一个子集，其中包含手动生成的句子。该数据集在软件包的储存库中提供，以后将被称为修改后的BBC数据集。尽管如此，TextCL可以用于任何作为pandas数据框架加载的文本数据集作为第一步，加载TextCl和辅助数据处理包-年龄（numpy和pandas）：importtextclimportpandas as pdimportnumpy as np从捆绑的修改后的BBC数据集准备输入数据表1中给出了本实施例中使用的初始子集。为了能够从文本中单独处理/过滤句子，有必要将它们拆分为pandas数据框架中的行。split_into_sentences（）函数用于此目的。上一节中加载的数据有一个名为“text”的列。默认情况下，split_into_sentences（）函数期望在此列中查找文本。但是，可以在函数的text_col参数中指定此列的替代名称。因此，将数据集文本拆分为句子如下：DF= textcl.split_into_sentences（input_df）在将文本数据集分割成句子之后，df数据框架将具有表2中所示的结构。3.1. 句子级3.1.1. 过滤语言这个函数的输入应该是一个pandas数据框（带有“sentence”列）、一个阈值和一个目标语言。该函数依赖于langdetect[14]包，返回属于指定语言的句子的概率。所有低于此阈值的句子将被过滤掉。下一个代码语句显示了如何过滤阈值为0.99的英语句子如果应用于修改后的BBC数据集，它将从数据集中删除手动插入的土耳其语和俄语句子。df = textcl.language_filtering（input_df，threshold=0.99，language=3.1.2. Jaccard相似度下面的代码显示了如何应用jaccard_sim_filtering（）函数，通过阈值为0.8的Jac- card相似度来过滤句子。如果相似度得分高于指定的阈值，则将过滤掉句子。关于TextCL该示例将演示包的功能在BBC新闻数据集的子集上。该子集包含5个主题（商业、娱乐、政治、体育、技术），并手动插入文本以演示软件包的功能。将修改后的BBC数据集加载到内存中：input_df =pd.read_csv（' prepared_bbc_dataset. “DF=textcl.jaccard_sim_filtering（input_df，threshold=0.8）3.1.3. 根据困惑分数函数perplexity_filtering（）用于通过复杂度过滤句子，即，当句子在语言上不正确和/或与其余文本不连接时。Alina Petukhova和Nuno Fachada软件X 19（2022）1011224表1BBC数据集的初始子集指数话题文本0业务世界通信老板1业务印度的Reddy博士利润下滑2业务利比里亚经济开始增长利比里亚...3业务UluslararasıPara Fonu（IMF），Liberya ekonomis...4娱乐歌手伊恩布朗5娱乐Blue击败U2成为法国顶级荣誉爱尔兰乐队6娱乐家庭主妇提升第四频道收视率首次亮相的...7娱乐8娱乐家庭主妇频道4 reytinglerini yükseltti A.9政治观察员监督英国选举部长们将...10政治自由民主党突出问题债务人民vulner.11政治部长捍卫狩猎禁令法律禁令...12体育传奇荷兰老板米歇尔斯去世传奇D.13体育康纳斯推动英国网球前世界...14体育Sociedad设置为救援Mladenovic流浪者是.15科技手机游戏时代来临BBC新闻网.16科技PlayStation 3处理器推出的细胞亲.17科技PC照片打印机挑战打印图片的挑战18科技PC照片打印机挑战专业人士家用打印机19科技processor come pros 43 t6 43 Table data 342 5.20科技Janice Dean目前担任高级气象...表2由BBC data set.为了简洁起见，仅示出了索引0处的文本的几个句子索引主题文本句子0商业世通老板世界通信老板0商业世通老板詹姆斯·韦勒姆（James Wareham）是一名律师，他代表一名...0商业世通老板剩下的3600万美元将由董事会支付0商业世通老板但是，纽约检察官的发言人...0商业世通老板公司治理专家表示，如果...一般来说，困惑度是概率分布或概率模型预测样本的程度的度量。在文本数据的情况下，我们将检查下一个单词出现在给定句子中的概率。低困惑度表明概率分布在预测单词方面很好。第一步创建上下文标记来捕获pytorch_pretrained_bert包[20]提供的潜在语法语义信息，该包带有预训练的openai-gpt标记器，并使用GPT作为语言模型，OpenAIGPTLMHeadModel. 困惑计算为exp（损失），其中损失是特定标记的语言建模损失下一个代码块显示了如何使用特定的阈值，通过困惑度从数据帧中过滤句子。DF=textcl.perplexity_filtering （ input_df ，threshold=1000）在对初始子集应用所有预处理函数之后，如前面的代码片段所示，句子的数量从319减少到246。土耳其语和俄语文本、部分重复和 语 言 错 误 的 句 子 被 删 除 。 最 终 输 出 见 表 3 。TextCLhttps://git.io/JsFYT3.2. 异常值滤波孤立点检测是文本数据挖掘中的一项重要任务。它可以帮助我们找到可能有趣的不寻常的模式也很有用文本数据的稀疏性和高维性使得孤立点检测具有独特的挑战性。有许多不同的异常检测技术，但它们通常分为两类：监督或无监督。监督方法需要训练数据集正常和异常的例子，以便学习一个模型，然后可以用来分类新的数据点。无监督表3用TextCL预处理后的修改后的BBC数据集索引文本0世界通信老板1印度的Reddy博士利润下滑2利比里亚经济开始增长利比里亚...4歌手伊恩布朗5Blue击败U2成为法国顶级荣誉爱尔兰乐队6家庭主妇提升第四频道收视率首次亮相的...9观察员监督英国选举部长们将...10自由民主党突出问题债务人民vulner.11部长捍卫狩猎禁令法律禁令...12传奇荷兰老板米歇尔斯去世传奇D.13康纳斯推动英国网球前世界...14Sociedad设置为救援Mladenovic流浪者是.15手机游戏时代来临BBC新闻网站.16PlayStation 3处理器推出的细胞亲.18台PC照片打印机挑战专业人士家用打印机20 Janice Dean目前担任高级气象...方法不需要这样的训练数据集，而是从数据的结构中学习模式以识别离群值。在这个包中，我们使用了基于非负矩阵分解（NMF）[21，22]的方法来以无监督的方式检测文本主题，这样我们就能够在不标记主题的情况下检测离群值。它的工作方式是NMF将高维向量分解为低维表示。这些低维向量是非负的，这也意味着它们的系数是非负的。通过这种方法，我们可以使用NMF类似于概率潜在语义索引（pLSI）[23]和潜在狄利克雷分配（LDA）[24]生成模型的事实。从原始矩阵A，NMF产生两个矩阵W和H。前者表示在文本数据集中检测到的主题，而后者包含那些顶部的权重，集成电路。换句话说，A是文档-词矩阵，W是Alina Petukhova和Nuno Fachada软件X 19（2022）1011225==图二、 使用T e x t C L 中 实 现 的三种 离群值检测方法在 B B C 数 据 集 中 进行离群值检测的ROC曲线。主题词矩阵，H是文档主题矩阵。outlier_detection（）函数用于使用无监督方法基于上下文信息检测句子列表中的异常值。文本嵌入是用一个包创建的词模型作为所实现的算法的输入。该函数的主要输入参数是包含文 本 的 pandas 数 据 帧 、 用 于 离 群 值 检 测 的 方 法 （ 默 认 为TONMF）以及用于规范化所获得的矩阵并检测不相关文本的范数类型（默认为l2outlier_detection（）函数针对“tech "类别进行了测试（索引20）。此离群值包含一个人下一行代码选择主题列中包含“tech”的行4. 影响创建的软件包对社区的主要影响是将不同的过滤方法组合到一个库中。TextCL显著简化了学术和专业背景下各种分类、预测、文本生成和其他NLP任务的文本预处理该软件包提供了TONMF算法的第一个Python实现，并允许选择不同的归一化函数进行离群值检测。包中的所有算法都设计为具有灵活参数的简单调用，允许具有最少Python经验的用户过滤数据帧，并仅利用一个函数生成复杂的低秩近似矩阵并检测异常值。输入参数允许用户对算法进行微调，以获得处理数据集。例如，对于使用的特定数据集df=df[df.topic==与的“技术"新闻选择，我们可以运行outlier_detection（）函数与RPCA算法：在这篇文章中，实验不同的离群值检测算法，得到的曲线下面积从0.531（TONMF）到0.618（RPCA），如图所示。 二、TextCL包最初的设计重点是新闻数据集的字段[19，25- 27 ]。但是，TextCL不是df，_=textcl.outlier_detection（df，method=索引为20的文本被删除，因为它描述了一个人的个人资料，而不是技术新闻。离群值也可以通过使用不同的算法来可视化。代码示例可以在包的教程中找到不同离群值检测技术产生的ROC曲线如图所示。 二、仅限于此特定领域，并可用于各种文本数据集，以提高后期NLP建模的输入质量通过寻找目标数据集区域的最佳参数组合，可以提高预处理的质量5. 结论在本文中，我们介绍了TextCL，这是一个开源的Python库，用于检测和过滤Alina Petukhova和Nuno Fachada软件X 19（2022）1011226文本数据。它可以帮助用户减少在数据预处理上花费的时间，并专注于更复杂模型的实现。软件包的功能以及源代码都有完整的文档。已实现的离群点检测算法被用作该领域的基准，但表现出有限的推广能力。我们相信，这个库的未来方向是开发和/或实现新的算法。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作确认这项工作得到了葡萄牙科学和技术基金会（Fundação para aCiência e a Tec- nologia ， Portugal ） 的 资 助 ， 资 助 号 为UIDB/04111/2020（COPELABS）。引用[1] [10]张晓刚，张晓刚，张晓刚. SpaCy 2：Python中的工业级自然语言处理。2020年，http://dx.doi.org/10。5281/zenodo.1212303。[2] LoperE，BirdS.NLTK：自然语言工具包。http://dx.doi.org/10.48550/ARXIV.CS/0205028，arXiv，URLhttps://arxiv.org/abs/cs/0205028。[3] 作者：Omran FNAA，Treude C.选择一个NLP库来分析软件文档：系统的文献综述和一系列实验。在：第14届国际采矿软件库会议论文集。MSR，第17卷，IEEE Press; 2017，第187-97页。http://dx.doi.org/10.1109/MSR.2017.42.[4] 赵Y，Nasrullah Z，Li Z. PyOD：一个用于可扩展离群值检测的Python工具箱。J Mach Learn Res 2019;20（96）：1-http://jmlr.org/papers/[5] Constantinou V. PyNomaly： 使用局 部离 群概率 的异常 检测 （循 环） 。JOpen Source Softw 2018;3 （ 30 ） ： 845. http://dx.doi.org/10 的 网 站 。21105/joss.00845。[6] 范洛佛恩A，克莱斯J，瓦坎蒂G，科布O，Scillitoe A，Samoilescu R.不在场证 明 检 测 ： 离 群 值 、 对 抗 性 和 漂 移 检 测 算 法 。 2019 年 ，URLhttps://github.com/SeldonIO/alibi-detect。[7] 李志，赵勇，胡新，博塔，约内斯库，陈浩辉. ECOD：使用经验累积分布函数的非监督离群值检测。2022，CoRR，abs/2201.00382arXiv：2201.00382。[8] 李 伟 杰 ， 李 伟 杰 ， 李 伟 杰 . Loop ： 局 部 离 群 概 率 。 In ： InternationalConference on Information and Knowledge Management ， Proceedings.CIKM ， 第 09 卷 ， 纽 约 ， 美 国 ： 计 算 机 协 会 ; 2009 年 ， 第 1649-52 页 。http://dx.doi.org/10.1145/1645953.1646195.[9] Harris CR ， Millman KJ ， van der Walt SJ ， Gommers R ， Virtanen P ，Cournapeau D ， et al. Array programming with numpy. Nature 2020;585（7825）：357-62. http://dx.doi.org/10.1038/s41586-020-2649-2网站。[10]Pedregosa F ， Varoquaux G， Gramfort A， Michel V， Thirion B， GriselO ， et al. Scikit-learn ： Machine learning in Python. J Mach LearnRes2011;12：2825-30.[11] 熊 猫 开 发 团 队 T. pandas-dev/pandas ： Pandas. 2020 年 ， http ： //dx.doi.org/10.5281/zenodo.3509134。[12]Paszke A ， Gross S， Massa F ，Lerer A， Bradbury J， Chanan G ， et al.PyTorch ： An imperative style ， high-performance deep learning library.In：Wallach H，Larochelle H，Beygelzimer A，d'Alché Buc F，Fox E，Garnett R ， editors. 32. 第 32 章 . 柯 兰 联 营 公 司 ; 2019 年 ， 第 8024-http://papers.neurips.cc/paper/9015-pytorch-[13]Wolf T ， Debut L ， Sanh V ， Chaumond J ， Delangue C ， Moi A 等 人 ，Transformers：State-of-the-art natural language processing. 2020年自然语言处理经验方法会议论文集：系统演示。在线：计算语言学协会; 2020年，第38-45页https://www.aclweb.org/anthology/2020.emnlp-[14]ShuyoNjava 语 言 检 测 库 。 2010 年 ， URL http://code.google 。com/p/language-detection/.[15][10]李文辉，李文辉，李文辉. 通过以下方式提高语言理解能力生成预培训。Tech.代表，OpenAI;2018，URLhttps://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf。[16]Kannan R，Woo H，Aggarwal CC，Park H.文本数据的离群值检测：扩展版本。2017年，arXiv预印本arXiv：1701.01325。[17]甘古利湾Robust-PCA。2020年，网址https://github.com/dganguli/robust-pca。[18]Candès EJ，Li X，Ma Y，Wright J.稳健主成分分析？J ACM 2011;58（3）：1-37. http://dx.doi.org/10.1145/1970392.1970395网站。[19]Greene D ， Cunningham P. Practical solutions to the problem of diagonaldominance in kernel document clustering.第23届机器学习国际会议论文集。ICML ， vol. 06 ， New York ， NY ， USA ： ACM; 2006 ， p.377-84.http://dx.doi.org/10.1145/1143844.1143892网站。[20]Wolf T ， Debut L ， Sanh V ， Chaumond J ， Delangue C ， Moi A 等 人 ，Transformers：State-of-the-art natural language processing. 2020年自然语言处理经验方法会议论文集：系统演示。在线：计算语言学协会; 2020年，第38-45页https://www.aclweb.org/anthology/2020.emnlp-[21]Lee D，Seung H.通过非负矩阵分解学习对象的部分。Nature 1999;401：788-91. http://dx.doi.org/10.1038/44565网站。[22]Lee D，Seung H.非负矩阵分解算法。高级神经信息处理系统2001;13.[23]霍夫曼 概率潜在语义索引。 在：第22届年度国际ACM SIGIR会议的研究和发 展 信 息 检 索 ， 卷 。 1999 年 ， 第 50-7 页 。 http://dx.doi 的 网 站 。org/10.1145/312624.312649。[24]Blei DM，Ng AY，Jordan MI. 潜Dirichlet分配 马赫学习研究杂志2003;3：993-1022.http://dx.doi.org/10.1162/jmlr.2003.3.4-5.993，URLhttp://portal.acm.org/citation.cfm? id=944937。[25]雅虎新闻排名多标签语料库，1.0版。2017年，网址https://webscope.sandbox.yahoo.com/catalog.php? datatype=l&did=84&guccounter=1.[26]古利河AG2005年，网址http://groups.di.unipi.it/Aggulli/ag_corpus_of_news_articles.html。[27] 米斯拉河新闻分类数据集。2018年12月28日，http://dx.doi.org/10.13140/RG.2.2。20331.18729。