ClarET：通用事件推理Transformer，推动生成与分类的事件相关研究

事件为中心的推理是自然语言处理领域中的一个重要研究方向，特别是在理解和生成与上下文相关的事件方面。 ClarET（Context-aware Event-to-Event Transformer）是一种创新的预训练模型，专门设计用于解决这一问题。该模型由周玉成、沈涛、耿秀波、龙国栋和姜大新等人合作开发，他们来自悉尼科技大学计算机科学学院人工智能研究所和微软。 ClarET的核心贡献在于提出了一种上下文感知的Transformer架构，它能够捕捉事件之间的相关性，并在事件生成和分类任务中表现出色。模型的关键创新包括三个新颖的事件为中心的目标：整个事件恢复、对比事件相关性编码和基于事件的事件定位。这些目标旨在强化模型在处理各种类型的事件相关性，如因果关系、时间顺序和对比，同时适用于生成和分类任务，如溯因推理、反事实推理和结局预测。 模型的优势在于其通用性，能够在不同类型的推理场景中有效运用，包括但不限于： 1. 事件类型：ClarET能处理多种事件相关性类型，例如识别事件之间的因果联系，或者在时间线上推断事件发生的顺序。 2. 应用场景：无论是在故事生成中添加缺失的事件，还是在文本分类中识别事件的类别，ClarET都能提供准确的结果。 3. 推理类型：模型在多种推理任务中表现出良好的适应性，包括对事件原因的追溯、对不同假设情境的分析，以及预测故事的发展结局。 研究者通过在九个基准测试任务上的实验验证了ClarET的有效性和泛化能力，这些任务涵盖了五个生成任务和四个分类任务，展示了模型在面对不同场景和推理类型时的稳定性能。值得注意的是，这些成果是在微软实习期间取得的，表明模型在实际应用环境中的潜力。 ClarET作为一款预训练模型，革新了事件为中心的推理方法，通过上下文感知和事件相关性建模，提高了生成和分类任务的精度，为理解和生成更加丰富和连贯的故事提供了有力工具。其广泛的应用性和通用性使其在未来的NLP研究中具有重要的价值。