法律文本摘要: 深度学习句子嵌入法

沙特国王大学学报用于法律文本Deepa Ananda，Rupali WaghbaCMR Institute of Technology，AECS Lay Out，Bangalore 560037，IndiabJAIN（被视为大学），V.V. 印度，班加罗尔，印度阿提奇莱因福奥文章历史记录：收到2019年2019年11月12日修订2019年11月29日接受在线提供2019年保留字：法律文本摘要自然语言处理深度学习句子嵌入A B S T R A C T数字形式的法律判决文件的可用性为信息提取和应用提供了许多机会。由于这些法律文本的结构和复杂性，其自动摘要是一项非常重要和以前在这个方向上的方法依赖于巨大的标记数据集，使用手工设计的功能，利用领域知识，并将注意力集中在一个狭窄的子域上以提高效率。在本文中，我们提出了简单的通用技术，使用神经网络的摘要任务，印度的法律判决文件。我们探索了两种神经网络架构，利用单词和句子嵌入来捕获语义。所提出的方法的主要优点是，它们不依赖于手工制作的功能，或特定领域的知识，也不是他们的应用局限于一个特定的子域，从而使他们适合扩展到其他领域以及。我们通过将训练集中的句子与人类产生的参考摘要相匹配来分配类别/分数，从而解决任务中标记数据不可用的问题。实验评估建立了我们提出的方法与其他基线的有效性。©2019作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍网络上大量文本数据的可用性和访问便利性既是一个机遇，也是一个挑战。数据获取的增加导致了信息过载问题。在促进自动处理在线提供的此类文本方面，已经花费了巨大的研究努力。自然语言理解领域中的一个重要任务是文档摘要-即，将文本的内容压缩为仅捕获文档中的基本概念的简洁形式。法律领域的自动摘要可以有大量的应用，从简化律师在大量法律文件中的工作到有效检索与查询相关的判决。*通讯作者。电子邮件地址：deepanand209@gmail.com（D.Anand），rupali.wagh@christuniversity.in（R. Wagh）。沙特国王大学负责同行审查制作和主办：Elsevier文档摘要方法通常基于两种方法-抽象（Chen和Bansal，2018）和提取（Saravanan等人，2008; Polsley等人，2016年）抽象总结技术产生的摘要涵盖了模仿人类的文档中表达的基本思想，并产生了原始文档中不存在的内容，这些内容可能由不同的语言结构组成。另一方面，提取式摘要技术从文档中识别并提取重要部分，然后逐字复制到摘要中。抽象摘要技术通常比抽取技术更具挑战性，并且在资源和算法复杂度方面要求更高。文档摘要领域的研究已经持续了几十年。一些方法已经基于主题建模和潜在语义分析，LSA完全基于文档中的文本（Allahyari等人，2017年）。通过利用领域知识获得丰富的数据集以改进摘要结果（Saravanan等人，2008年，在一些早期的作品中进行了探索。这些方法基本上是无监督的。使用指示器方法的文本摘要也被有效地使用。这些方法通过特征来表示每个句子。基于图的方法以及TFIDF加权方案用于从句子中提取特征。经典机器学习算法https://doi.org/10.1016/j.jksuci.2019.11.0151319-1578/©2019作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com小行星2142D 阿南德河 Wagh/Journal of King Saud University- Computer and Information Sciences 34（2022）2141- 2150然后使用这些词来决定各个句子的重要性。法律信息科学家对自动摘要进行了广泛的研究，所提出的方法基于广泛的方法。这些方法大多集中在利用标记的数据进行文档分割，以产生摘要或从文本中提取特征以包含在摘要中。法律文本摘要方法大多是抽取式的，并且在存在足够的标记数据的情况下可以被呈现为监督学习方法。在法律领域中，这种标记的数据是不可用的，并且生成起来是昂贵的，因此研究人员已经提出了从可用的未标记的数据生成标记的训练数据的方法。通过利用领域知识自动生成用于法律文本分割的标记训练数据（Wagh和Anand，2020）。在拟议的工作中，我们展示了完全数据驱动的标记数据集生成。我们通过利用部分判决文件中存在的人工生成的注释来缓解标记数据不可用的问题。考虑到基于深度学习的文本摘要方案的巨大成功（Allahyari等人，2017; Sinha等人，2018），我们探索了各种深度学习方法，用于提取法律判决总结的任务，该任务不依赖于领域知识或领域专家来创建标记数据。我们专门测试了我们的方法在印度最高法院判决从1947年到1993年。我们发现，这些简单的建议技术，除了超越形成的基线，也导致合理的一致性摘要。2. 文献综述人工智能和机器学习算法的进步使人类能够利用这些技术来简化许多任务。随着通过互联网产生的文本内容量的指数增长，使用这些技术来提取与用户的信息需求最相关的内容已经变得势在必行自动文摘的目的是为文档生成一个简明扼要的文本，它可以很好地将我们的注意力引导到相关的内容上。自动文本摘要技术已经存在多年，最早的技术被应用于产生科学研究文档摘要（Allahyari等人， 2017年）。产生自动摘要的两种基本技术是抽取和抽象。虽然提取性总结（Kim等人，2012; Kavila等人，2013; Sinha等人，2018）的任务是选择要包含在摘要中的文档的重要部分，抽象摘要技术（Chen和Bansal，2018）考虑整个文档，并以更简单的方式重新措辞摘要，可能使用与原始不同的单词和短语。最早的方法是提取和使用简单的单词和短语为基础的功能，如存在或不存在的线索词在一个句子的选择（Allahyari et al.，2017年）。在计算句子的重要性时考虑了其他特征，例如文档与文档标题的匹配程度以及句子在文档中的相对位置。2019年）。还提出了更先进的技术，例如基于频率的技术、主题建模、潜在语义分析和贝叶斯模型（Allahyari等人，2017年）。近年来，随着深度学习技术的日益普及，对摘要技术的研究也越来越多.这些技术通过识别包含重要事件的片段并将此信息包括在摘要中来利用基于规则的方法。基于树的方法和基于本体的方法被用于抽象摘要（Kasture等人， 2014年）。法律文本的写作风格多样，所讨论的法律问题具有多个维度，这对法律文本的自动摘要提出了挑战。作者在（Kanapala et al.，2019年）。一种不对称加权图（Kim等人，2012）用于法律文本摘要，其中句子被表示为图中的节点。具有高节点值的句子被选择作为摘要的一部分。文档被表示为连接图的集合，其中属于连接组件的句子是相关的。这种方法有助于实现多样性，从而确保连贯一致的流动。Kavila等人，2013）遵循两种技术的混合，即关键字/关键短语匹配以及基于案例的技术。在（Oufaida et al.，2014年）。在（Venkatesh，2013）中提出了一种基于从分层潜在狄利克雷分配（hLDA）获得的主题的聚类法律判断的方法。利用主题和文档之间的相似性度量来执行hLDA，并找到使用相同主题的每个文档的总结。在（Seth et al.， 2016），其中，在每个句子上对句子中的单词的TF-IDF分数求和，并通过句子长度进行归一化以找到重要性分数。对实体名称、日期和段进行特殊处理，类似于章节标题。在（Saravananet al.，2008），其中作者将摘要任务分为两个阶段-通过使用条件随机场的修辞角色识别来分割文档，以及从如此识别的片段生成摘要。在用于识别重要文本的判断内的不同粒度的文本单元的注释的类似方法在（Yamadaet al.，2017年）。这些方法是基于语义相似文本片段的识别和利用法律文本的结构但这些方法完全依赖于标记数据进行分割和注释。近年来，深度学习方法已被应用于完成了文本摘要的任务，并取得了很高的成功率。从简单的多层网络（Sinha等人， 2018年）至复杂神经网络架构（Young等人，2018年）被提议用于文本摘要。但最好的是据我们所知，深度学习技术很少用于法律文档摘要生成。在本文中，我们提出了一种基于深度学习的法律文本摘要方法，使用自动句子标记方法。3. 该方法法院判决书的批注部分概括了案件，但与判决书中的句子没有一一对应的关系我们的方法包括两个主要步骤图1描绘了所提出的方法的概要。我们提出了几种技术来执行这些步骤中的每一个，并比较它们的有效性，以确定最好的本节的其余部分将详细介绍每一种方法3.1. 标记数据集生成一些案件判决书在文件的开头有一个简短的摘要，称为头注。图2示出了具有突出显示的批注的案件判决文档。2fgMHHMHHMD. 阿南德河 Wagh/Journal of King Saud University- Computer and Information Sciences 34（2022）2141-21502143表1论文中使用的符号符号含义L审议中的所有法律文件的集合Dm文档主要部分的句子集Dh文档D2L的批注部分中的句子集文件D2L中批注部分的第iD2L文件主要部分的第jS英语停用词法律领域相似性模拟Di;Dj在Dh中的每个语句Di之间，即集合Fig. 1. 拟定方法概要。表1给出了本文中使用的符号的细节。所提出的用于标记数据集生成的技术将标签分配给句子，使得标签0; 1，其中1表示重要，0表示不重要。这是通过计算对主段中的标题句和句子Dj进行分类，找出与Di最相似的K个句子。 我们使用文档长度的20%（0.2*|DM|）作为k的阈值。例如如果文件的主要部分有100句话，前20句最简单，IAR句子被标记为1，其余句子被标记为0。此外，Dh中的所有句子都标记为1。法律文件通常很长，短句可能无法传达任何重要信息。我们手动检查了200个句子，这些句子长度为50或更少，是从各种情况中随机选择的。在对这些句子进行人工检查因此，只有具有50个或更多字符的句子被考虑用于这种相似性估计，而其他句子被标记图二、印度最高法院的判决书，带有头注。DDIjHnSIM D i;D j2HHMHMHM.Σ小行星2144D 阿南德河 Wagh/Journal of King Saud University- Computer and Information Sciences 34（2022）2141- 2150不重要. S1中，通过包括L中除了S中的停用词之外的前N个最频繁出现的词来构造合法停用词的集合。图3概述了用于标记数据生成的步骤。在以下小节中描述了我们用来计算两个语句之间的相似性的各种方法，sim Di;Dj3.1.1. 基于重要词重叠的相似度（SOIW）这个简单的技术测量的重叠在句子中的重要词的数量比较使用方程。 （1）如下所示3.1.3. 基于Rouge-L评分的相似性（SROUGE）ROUGE是一组用于评估自动摘要质量的指标，通过将自动生成的摘要与人工生成的摘要进行比较来计算（Lin，2004）。ROUGE-L度量属于该评估技术家族，其通过计算以下度量来测量生成的摘要与参考摘要相比的质量：最长公共子序列（LCS）的长度存在于两者中。给定长度分别为m和n的两个文本X和Y，其中X被认为是参考摘要，Y是候选摘要。使用ROUGE-L的召回可以被定义为来自参考摘要的文本的分数，其与生成的摘要中的文本重叠，其中文本的粒度被认为是最长的公共子序列。因此，可以计算.- 是 的D-SH¼M-是的- S使用以下等式LCSX;YRlcs¼mð3Þ注意，这里Di表示句子中的组成词的集合。上面的公式确保在计算相似度的同时去除停用词，并对简单的事实进行编码，即词中的重叠越高，两个词就越相似坦塞斯群岛精度表示当最长公共子序列被视为文本的粒度时，系统生成的摘要中的文本部分也存在于参考摘要可使用以下公式3.1.2. 基于TF-IDF评分匹配的相似性（STFIDF）Plcs¼LCSX;Yð4Þ使用词频（TF）和逆文档频率（IDF）将每个语句转换为向量形式。 在整个语料库L上计算IDF。然后，使用等式2将两个语句之间的相似性计算为这些向量之间的余弦相似性。（2）如下所示。是的。Di;Dj=余弦函数Di;TF-IDFDj2F测度是查准率和查全率的调和平均值。通过使用上述等式（3）和（4），F测度可以使用以下方程计算：. 1b2RlcsPlcsRLCS布雷布山LCS我们认为计算Flcs时的b1/ 4是Hm h m图三. 标签数据集生成。X和Y的相似性。因此，使用SROUGE的相似性可以使用Eq. （6）如下所示是的。Di;DjFlcsDi;Dj63.1.4. 基于句子嵌入的相似度（SSE）NLP的应用长期以来一直面临着捕捉自然语言句子中的语义的挑战。这种语义如果被有效地捕获，则可以具有多种用途，如在当前情况下所要求的那样估计句子之间的相似性。简单的词袋表示，如前两种相似度计算技术中所使用的，不捕获单词的顺序，因此不捕获实际的句子语义。其他技术基于句子的依赖性解析，将句子表示为诸如树或图的结构以捕获句子语义。已经提出了基于这样的表示来估计句子之间的相似性的方法（Özat es等人， 2016）。但在我们的工作中，我们采取了不同的方法，利用深度学习在NLP中取得的快速进步。句子嵌入技术，例如InferSent（Conneau等人，2017）和Sen2Vec（Pagliardini等人，2017）减少一个句子在低维空间中的向量表示。这些方法能够有效地捕捉句子的语义，并产生一个标准的表示，可以直接使用的学习算法。在我们的工作中，我们使用Infersent和Sent 2 Vec产生的句子嵌入来获得使用Python实现的句子的矢量表示（Infersent句子嵌入;通用无监督句子表示）。 设X =（X1，X2. . Xn）是对应于使用InferSent的句子的句子嵌入，并且令X ' =（X' 1，X' 2. . X'm然后，我们通过连接嵌入，即，Y =（X1，ð1ÞM最大值Di-S;Dj公司简介ð5ÞHMð Þ ¼XK.ðÞ¼K第1页KK-1KKHMhM¼D. 阿南德河 Wagh/Journal of King Saud University- Computer and Information Sciences 34（2022）2141-21502145X 2.. . X n，X ' 1，X' 2.. . X句子之间的相似性然后被计算为两个句子的级联嵌入表示之间的余弦相似性，其可以使用等式（1）来计算。（7）如下所示输出层的激活是sigmoid定义的，乙状结肠S11ð10Þ是的。Di;Dj=余弦函数Yi;Yj=余弦函数3.2. 摘要生成我们提出的问题作为一个二元分类问题的总结，分类器学习隔离一个句子作为重要或不重要的。使用第3.1节中的技术生成的数据集用于此目的。与以往的基于领域知识的人工特征工程或大量标注数据的摘要方法不同，我们的方法既不依赖于人工特征工程，也不依赖于大量标注数据，因此可以很容易地应用于人工生成摘要的领域，避免了人工特征加工和标注数据的工作。我们提出了两种基于神经网络（NN）的分类任务方法-前馈NN和基于LSTM的递归NN。这些深度学习技术将在下面解释。3.2.1. 基于前馈神经网络的摘要生成嵌入对应于判决的主要部分中的句子，通过在前一节中详细描述的技术产生，被馈送到一个完全连接的FFNN，包括一个输入层，两个隐藏层和一个输出层，由一个单一的单元。NN的架构如图所示。四、该网络由两个隐藏层组成，具有用于正则化的丢弃输入层接受通过隐藏层传递的句子嵌入隐藏图层或输出图层的输出计算为OII IVation. XNK-1WijOjΣð8Þ引入dropout是为了正则化的目的。机器学习算法易于过拟合，即学习算法倾向于记住训练数据，使得它们在训练数据上表现得非常好，但在测试数据上恶化。Dropout是一种在训练阶段禁用隐藏层中的一些神经元的技术，以确保所学习的知识模式分布在各个神经元上。我们使用0.2的丢弃率，这意味着在特定的训练迭代期间，随机选择的神经元被禁用的概率为0.2并以0.8的概率启用。最后一层的输出位于范围[0，1]内，并被解释为句子重要的可能性。为了训练网络，我们使用二进制交叉熵损失，其定义为：n损失率为1-11/4其中n是训练大小，yi是实际标签，pi是输出神经元预测的为了产生文档D的摘要，通过计算其嵌入，将文档Dm的主要部分中的每个句子转换为向量表示。这样获得的嵌入通过网络运行，并计算概率。如果M是要生成的摘要的大小（计算为案例判断长度的分数），则选择M个最可能的陈述以包含在摘要中。3.2.2. 基于LSTM的摘要在这种方法中，我们使用1D卷积NN（CNN）和递归神经网络（RNN）的组合RNN用于处理输入序列，例如时间序列数据，其中输入的顺序很重要。他们能够捕捉有关过去事件的信息，并在处理当前输入。他们的得分超过传统的神经网络，其中Oi是第K层中第i个神经元的输出对于K = 1，O i I i，即输入的第i个分量。wij是第K-1层的第j个神经元与第K层的第所有隐藏层节点处的激活函数被设置为Relu，定义为能够考虑过去（和未来），并且能够处理可变长度的输入。任何RNN单元都需要两个输入-当前时间步的状态信息捕获关于过去的输入及其交互的历史根据要解决的问题的类型，每个RNN单元可以产生两个输出-如果s>0，则返回s0否则图四、用于重要句子识别的FFNN结构ð9ÞPuts为了克服RNN只能捕获短期记忆的局限性，设计了一种变体LSTM来捕获在处理长句时可能需要的长期依赖关系。 LSTM网络由称为LSTM单元的内存块组成，信息作为单元状态在网络上传播（Understanding LSTM Networks，2015）。如图5所示，典型的LSTM单元是四个相互作用的神经网络层的集合。在每个时间步长t处将输入xt给予细胞，并且使用神经网络层计算细胞状态（Ct）和隐藏状态（ht）。输入门（it）、遗忘门（ft）、输出门（Ot）选择性地允许信息通过网络，并通过查看先前的状态值Ct-1和ht-1来更新当前单元状态（Ct）和当前隐藏状态ht的值。因此，在任何时间步长t，单元状态取决于先前单元状态Ct-1、先前隐藏状态ht-1和输入xt。LSTM单元的上述计算可以使用以下公式集表示itrwi：½ht-1;xt]bift¼r. Wf：½ht-1;xt]bf小行星2146D 阿南德河 Wagh/Journal of King Saud University- Computer and Information Sciences 34（2022）2141- 2150图五、LSTM单元的基本结构（长短期记忆）。Ct¼tanhWC：½ht-1;xt]bCCt¼ftωCt-1itωCtOtrW0：½ht-1;xt]bht<$Otω tanhCt对于给定的单词序列x = {x1，x2，x T}，h T，隐藏的使用上述等式计算的来自架构中的最后一个LSTM单元的状态向量可以被认为是整个输入序列的表示。然后，该向量hT通过一个全连接层，然后进行非线性激活，以获得类概率。卷积神经网络（CNN）将由过滤器定义的卷积运算符应用于输入块，并且通常产生比输入小的输出。它们捕获输入中跨越多个单词的时不变局部模式。在自然语言处理中，CNN通常用作LSTM的特征提取器。在我们的例子中，我们使用卷积和池化层来预处理信息，然后将其馈送到LSTM以对输入进行下采样，并构建更丰富的特征集，以提高处理长句时的效率和有效性（Young等人， 2018年）。在这项工作中，我们使用多对一LSTM网络，其中句子中的单词形成输入序列，输出是句子的类/重要性得分。每个句子都可以看作是一个单词序列。词嵌入是从词到固定大小向量的映射，这些向量捕获词的语义。这些通常是通过在巨大的文本语料库上训练编码器-解码器神经网络来获得的Word 2- Vec和Glove是两种流行的词嵌入方法，并且可以使用预训练的嵌入。我们使用预训练的word2vec和向量大小为300的手套嵌入，以便在将单词作为输入馈送到LSTM网络之前对其进行编码。结果是单个输出，指示句子重要的对数可能性。因此，我们遵循多对一的LSTM架构。我们遵循的建议架构如图所示。 六、我们使用0.2的dropout 在图中，x 1，x 2...是句子中的单词序列，一个接一个地输入网络。每个单词都经过一个嵌入层，该嵌入层产生单词的矢量表示。然后，它成功地进入卷积，最大池化，然后LSTM图六、用于识别重要句子的LSTM架构上述使用FFNN和LSTM的技术可以被视为预测问题，而不是分类问题。当被视为一个预测问题时，网络可以被要求预测它重要的可能性的强度。然后，实际值可以被认为是被标记的句子与来自如在子节3.1中计算的批注的参考句子之间的相似性得分。下面给出的示例解释了这两种方案在生成的摘要中选择语句的差异。例如，表2列出了使用分类和预测方案获得的样本输出，该分类和预测方案使用我们提出的深度学习方法，如上面的子部分所解释的使用表2预测与分类的样本输出。单位来自先前LSTM单元的信息被输入到succes-最后一个LSTM单元的输出被馈送到一个具有一个神经元的密集层。神经元的输出指示句子重要的可能性。网络的训练和测试阶段类似于FFNN。句子二进制输出（方案1）重要性分数（方案2）S1 1 0.45S2 0 0.3S3 1 0.6S4 1 0.58y二维.NJ 2000年2月20日0.05米¼¼D. 阿南德河 Wagh/Journal of King Saud University- Computer and Information Sciences 34（2022）2141-21502147在方案1即分类方法中，句子S1、S3和S4将被选择为重要的。对于指定的摘要长度，例如摘要长度= 2这将不提供在S1、S3和S4之间进行选择明确方法在方案2中，即在预测方法中，可以基于重要性分数来选择重要句子因此，S3和S4将被选择用于汇总长度2。我们测试这两种变体，同时进行我们的实验，以观察性能。我们的实验表明，当将问题设置为分类或回归时，性能没有因此，在剩下的实验中，我们继续对句子进行二进制标记。我们使用Keras（Keras，xxxx）深度学习库来实现所提出的FFNN和LSTM框架。3.2.3. 文本摘要为了与上面提出的技术进行比较几篇论文已经提出了该方案的变型，如（Allahyari等人， 2017年）。训练语料使用TF-IDF技术进行矢量化，但使用次线性词频，通过计算其对词重要性的贡献与词频的对数成比例，减少词频对词的影响。对于每个文档，如果其得分高于文档中所有词的平均tf-idf得分，则选择它们作为重要词，如果它们不属于合法停用词。即I_D_f_x_j_tf__x_j>平均tf_idf_y_g_Sl，其中I（D）是文档D中的重要词的集合。对于文档中的每个句子，如果句子中来自合法停用词列表S1的单词的数量超过4，则丢弃该句子如果合法停用词的数量小于四，则文档D的主要部分的第i句的重要性计算为：选择80%的文档用于培训，20%用于测试。4.2. 评价标签方法总结技术可以用外在或内在的方法来衡量外部技术依赖于该领域的人类专家在没有人工生成摘要的情况下，我们利用内在测量。Rouge度量（Lin，2004）使用Python实现（Rouge度量的完整Python实现）来评估各种技术。Rouge测度计算参考内容在生成的汇总中的存在程度Rouge有几种变体。Rouge-1测量引用和系统摘要中的单字重叠程度类似地，Rouge-2测量二元组的重叠程度Rouge-L根据摘要之间最长的共同单词序列的长度来测量参考和系统摘要之间的接近度在这些实验中，我们评估了3.1节中介绍的各种标记方法，以获得产生标记数据的最佳方法。每种方法产生的标记数据用于训练带有手套词嵌入的LSTM网络。使用这些方法中的每一种获得的测试文件的分数如表3所示。还需要注意的是，在上述所有方案中，平均37%的句子被标记为重要，其余的则为不重要。从评估中可以清楚地看出，句子嵌入方法SSE，是创建标记数据最有效的方法。SOIW和SROUGE这两种直接基于文本的方法具有非常相似的性能，优于基于TF-IDF的方法。因此，使用SSE标记的数据集然后用于训练以下实验中的所有方法。4.3. 摘要长度x x I D和x Diimportance重要性ð12Þ系统生成摘要的长度固定为文档长度的一部分我们先对理想和进行实验jfx jx 2ID gj重要性高于0.5的句子被选择包含在摘要中。这种方法将被称为TBS（基于文本的摘要）4. 实验评价我们通过抓取judic.nic.in网站获得了印度最高法院的判决。在所有判决书中，约有10，000份判决书还包括了“前言”。在我们的实验中只考虑了这些情况。玛丽长度，这导致最佳性能。为此，我们使用带有Glove的LSTM进行单词嵌入。我们将汇总大小改变为文档的1%、5%、10%、20%、30%和40%，我们计算了在信息检索系统中广泛使用的精度、召回率和F测度（Soares Parreiras，2018），以进行性能评估。这些是基于共同选择的文本摘要评估措施，并用于根据其中重要句子的选择来评估生成的摘要（Steinberger&JeEscherzek，200 9）。在存在人类生成的概括精确度（P）的情况下，使用以下给出的等式计算召回率（R）和F测量（F）。4.1. 数据准备所有文件都经过了预处理，删除了所有页眉信息，即批注之前的信息。这些信息包括案件名称、法官和上诉人姓名以及其他与案件有关的信息。除句号符号外的所有标点符号都被删除，多个空格被替换为单个空格。这些段落被分成句子。对于标记化和分割成句子PjSman\Sautoj汽车配件RjSman\Sautojjsman j表3标签数据集生成方法的评价。ð13Þð14Þ我们使用了NLP工具spacy（Tokenizer spaCy API文件）。前言和正文的内容，被分成了两个所有句子都转换成小写，缩写被替换为完整形式。对于例如“V”。或“vs.”被替换成了“对”或“sec.”改为句子相似性方法Rouge-1 Rouge-2 Rouge-L段等。我们遵循80%-20%的列车试验分割，即随机SOIW（使用等式（一）0.3910.1970.315STFIDF（使用等式（二）0.3740.180.304SROUGE（使用等式（六）0.3920.1990.315SSE（使用等式（七）0.4280.2310.382¼小行星2148D 阿南德河 Wagh/Journal of King Saud University- Computer and Information Sciences 34（2022）2141- 2150F2PRP其中，ð15Þ学习阶段中的任务可以被建模为预测问题而不是分类，并且这样学习的模型此后将分别被称为“Predict-InferSent + FFNN”和“Predict-Sent 2Vec- FFNN”。取决于嵌入这个词Sman和Sauto代表人，自动生成（Alguliev和Aliguliev，2007年）。在提议的工作中，我们用一组N个句子代替S人，这些句子被认为是重要的，如第3.1所解释的。较长的摘要通常具有较高的召回率，但准确率较低，而短摘要则相反。因此，我们使用F分数进行比较。图7（a）显示了Rouge-1评分的结果，图7（b）显示了具有不同汇总大小的Rouge-L评分的结果。正如预期的那样，在这两种情况下，随着摘要大小的增加，召回率增加，而准确率降低。Rouge-1的召回率接近70%，而摘要大小接近30%，但准确率同时下降到不到30%。我们注意到，当汇总大小为10%时，两种情况下的F分数都是最好的。对于进一步的实验，我们将摘要大小固定为10%。4.4. 各种技术我们比较了3.2节中介绍的方法及其变体，Rouge-1，Rouge-2和Rouge-L。对于FFNN，我们选择两个变体这些变体将在下文中分别被称为“InferSent + FFNN”和“Sent 2 Vec-FFNN”。如第3.2.2节所述，LSTM -为了与其他机器学习技术进行比较，我们在文档输入特征中使用了句子的嵌入表示，并使用3.1.4生成的标签作为预期类。这样的数据集然后被用于使用朴素贝叶斯和随机森林分类器来训练分类器。我们还使用新 闻 文 章 摘 要 中 使 用 的 简 单 基 线 ， 与 我 们 提 出 的 技 术 进 行 比 较（Saravanan et al.，2008年）。文档中前15%的单词和后8%的单词都包含在摘要中。如果边界落在句子之间，句子就完成了。表4显示了Rouge-1、Rouge-2和Rouge-L上各种技术的比较。从上表可以清楚地看出，在许多情况下，带有手套词嵌入的LSTM表现最好。 Rouge-1F评分为的最好为LSTM+手套密切其次通过LSTM + Word2Vec. Rouge-1精度评分也是如此。Pred-InferSent + FFNN在F分数方面得分最高-召回紧随TBS（基于文本的摘要）。 应该注意的是，如第12节4.3使用LSTM技术，允许摘要大小从10%增加到更高可以导致更高的召回率，几乎在70-80%的范围内，但代价是精度和整体F分数的(a)（b）第（1）款见图7。(a)Rouge 1针对不同摘要长度的评分（用于确定最佳摘要长度）。(b)Rouge L Score for various summary length（用于确定最佳摘要长度）。表4建议方法的比较。方法Rouge-1胭脂-2胭脂红F评分召回精度F评分召回精度F评分召回精度InferSent + FFNN0.3950.4430.3560.1770.2130.1690.330.370.298Sent2Vec + FFNN0.3920.4640.3390.1760.2260.160.3290.390.285Pred0.4070.5070.340.1930.2660.1680.3470.4330.289Pred0.4170.5420.3390.2090.30.1740.3550.4620.288LSTM + Glove0.4360.5190.3760.2450.2830.2170.3820.4460.335LSTM + Word2vec0.420.4910.3670.2350.2730.2070.3740.4380.327朴素贝叶斯0.3850.530.3020.1790.2770.1440.3310.4580.26随机森林0.3450.3820.3150.1350.1610.130.2940.3260.268TBS0.3860.540.30.2090.3240.1540.3470.5010.265基线0.3260.4170.2860.1240.160.1110.2520.3550.243D. 阿南德河 Wagh/Journal of King Saud University- Computer and Information Sciences 34（2022）2141-21502149见图8。 使用建议方法生成的总结。Rouge-2评分的比较结果表明，LSTM + Glove在F-测量、精确度和召回率方面优于其他技术。虽然相同的技术在Rouge-LF评分和精度方面表现最好，但简单的TBS方法在精度方面优于所有在所有的句子嵌入和FFNN方法中，训练用于预测的方法优于分类方法。InferSent语句嵌入似乎在几乎所有参数上都优于Sent2Vec语句嵌入图8显示了所产生的摘要之一（摘要略有变化，以取代个人姓名尽管本文中提出的技术不依赖于先前研究所采用的任何显式特征构造（例如，句子位置、与先前段落的匹配程度等），但所产生的总结具有高水平的一致性，这证明了神经网络模型在形成丰富特征集方面的潜力，而不需要先前方法所采用的费力的手工工程但是，由于所提出的方法，无论是标记的数据，以及句子的重要性评分是基于神经网络，该方法是计算要求。5. 结论在本文中，我们提出了一个数据驱动的半监督方法，提取法律文件摘要使用各种神经网络架构。我们的贡献是双重的所提出的技术执行以及测量的胭脂分数，以及在连贯的摘要结果。我们的方法沿着两个主要阶段进行-在训练数据上学习模型，以将文档的基本组成部分浓缩为摘要。我们提出了四种生成标记数据的方法，并进一步证明了使用句子嵌入优于其他三种方法。对于分类/预测任务，基于LSTM在未来，我们打算执行所提出的方法对人类专家生成的法律文本摘要的评估。法院判决书使用特定的术语和独特的写作风格撰写，因此往往包含非常冗长和复杂的句子。本文旨在探讨摘要的句子简化方法，以提高复杂句和长句的可理解性。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。引用ROUGE 指 标 的 完 整 Python 实 现 （ 不 是 包 装 器 ） 。 检 索 自https://github.com/pltrdy/rouge/。阿尔古利耶夫河，Aliguliyev河，2007.实验研究了F度量作为文本自动摘要的相似性度量。应用程序计算Math.6（2），278-287.Allahyari，M.，Pouriyeh，S.，Assefi，M.，Safaei，S.，特里普，E. D。Gutierrez，J.B.，Kochut，K.，2017.文本摘要技术：一个简短的调查。arXiv预印本arXiv：1707.02268。陈永春，字耀昌，字：Bansal，M.，2018.快速抽象摘要与加强选定的句子重写。arXiv预印本arXiv：1805.11080。Conneau，A.，Kiela，D.，Schwenk，H.，巴罗湖，Bordes，A.，2017年。从自然语言推理数据中监督 arXiv预印本arXiv：1705.02364。通用无监督句子表示。检索自github.com/epfml/sent2vec。无条件的句子嵌入。检索自https://github.com/facebookresearch/InferSent。2150D. 阿南德河 Wagh/Journal of King Saud University- Computer and Information Sciences 34（2022）2141- 2150Kanapala，A.，帕尔，S.，Pamula河，2019.法律文本摘要研究综述。第内特尔Rev. 51（3），371-402.Kasture，N.R.，Yargal，N.，辛格，N. N.，Kulkarni，N.，Mathur，V.，2014.摘要式文本摘要方法综述。国际研究杂志Sci. Technol 1（6），53-57.南达科他州卡维拉Puli，V.，拉朱，GP，班达鲁河2013.一个使用混合系统的法律文件自动摘要与搜寻。智能计算前沿国际会议：理论与应用（FICTA）。施普林格，柏林，海德堡，pp. 229-236。Keras：Python深度学习库。检索自https://keras.io/。Kim，M.Y.，徐，Y.，格贝尔河，2012.具有高内聚性和自动压缩率的法律文本摘要。JSAI International Symposium on Artificial Intelligence（JSAI人工智能国际研讨会）施普林格，柏林，海德堡，pp. 190-204.林振英，2004. Rouge：一个自动评估摘要的软件包。在文本摘要分支。pp. 74比81长 短 期 记 忆。 检 索自 http://primo.a