伪孪生BERT：解决'技术需求'与'技术成果'关联度计算难题

本篇论文主要关注于2019年CCF BDCI（中国计算机学会大数据与人工智能创新竞赛）中的一项任务，即“技术需求”与“技术成果”项目之间的关联度计算。研究者马凯欣，作为东北林业大学计算机技术专业的一年级研究生，利用BERT（Bidirectional Encoder Representations from Transformers，双向Transformer预训练模型）进行模型设计。 论文的核心内容是介绍了一种基于伪孪生网络结构的BERT微调模型。BERT在自然语言处理任务中表现出色，其预训练阶段通过添加特殊标记如[CLS]和[SEP]，并采用WordPiece方法进行分词处理，同时引入段落嵌入和位置嵌入，以捕捉文本的上下文信息。作者尝试使用这种模型来解决项目间的关联度计算问题，但是遇到了过拟合的问题。尽管进行了简单的数据清洗，仅使用替换方法，但增加数据增强策略并未带来理想的结果，可能是因为模型复杂性与有限的数据集之间存在冲突。 作者试图通过一种偏好处理方法来减少预测误差，但论文中没有详述这种方法的具体实现细节。实验结果显示，伪孪生BERT在处理这项任务时相较于标准BERT微调模型表现更优，这表明引入伪孪生网络结构有助于提高模型的泛化能力和关联度计算的准确性。 论文的关键点包括文本关联度的计算、伪孪生网络结构的设计以及BERT预训练的优势。然而，由于时间限制，关于数据增强的进一步探索并未深入展开。这篇论文提供了一个初步的尝试，为后续研究者在这个领域提供了可能的方向，即如何优化BERT模型以更好地适应特定任务，尤其是在处理自然语言推理和项目关联度分析这类任务时。