连续少镜头关系学习：嵌入约束与数据增强策略

嵌入空间正则化和数据扩充的连续少镜头关系学习方法 在当前的自然语言处理领域，关系提取（RE）作为关键任务，其目标是识别文本中实体之间的关系，如"Kamala Harris出生于加利福尼亚州奥克兰，1964年10月20日"中的"出生日期"。传统RE方法通常依赖于固定关系集，但这种做法限制了它们处理开放词汇问题的能力，即关系类型的多样性随新数据增加而扩展。 为了解决这一挑战，论文提出了连续关系学习（CRL）的概念，它允许模型通过一系列任务学习关系知识，关系集随时间变化。然而，实际应用中遇到的主要问题是，获取大量标记数据以支持新任务的训练往往是昂贵且耗时的，这在现实场景中难以满足。 为了应对这种限制，研究者秦成伟和Shafiq Joty提出了连续少镜头关系学习（CFRL），一个更具挑战性和实用性的问题。CFRL假设后续任务的训练数据相对较少，这与CRL不同，后者假设每个任务都有充足的数据。论文的核心贡献在于，通过结合嵌入空间正则化和数据扩充策略，解决了在少量标记数据下学习新关系模式并保持对先前任务知识的记忆问题。 嵌入空间正则化强调了在连续学习过程中维持关系嵌入的稳定性，防止新任务学习导致的特征分布与之前任务不兼容，从而避免了灾难性遗忘。通过这种方法，模型能够更好地适应新任务，同时保持对已有关系知识的有效利用。 另一方面，数据扩充策略通过自我监督的方式增加了额外的相关数据，进一步增强了模型在新任务上的泛化能力。这样，即使在资源有限的情况下，模型也能有效地扩展其关系识别能力，适应不断变化的关系类型。 作者通过大量的实验验证了他们的方法在CFRL设置下的有效性，证明了在有限的标记数据条件下，这种方法能够有效地学习新的关系模式，同时保持对之前任务的良好记忆。这对于那些数据获取成本高昂的领域，如新闻摘要、搜索引擎优化或智能问答系统，具有重要的实际应用价值。这项工作为解决关系提取任务中的数据稀缺问题提供了一种创新且实用的方法。