![](https://csdnimg.cn/release/download_crawler_static/88589330/bg4.jpg)
Habendie Hunde,die deine Löwen bewun-
被动:Unsere Papageie beimeinen Di-
表2:具有分层和线性规则转换的泛化集的示例附录A中提供了注释的德语示例。
3
实验装置
3.1
数据
本文对
McCoy
等人的上下文无关文法进行了修
正和补充。 (2020)生成我们的培训和评估
数据。
4
对于每个变换,我们的训练数据由
100,000个示例组成,其中身份示例(其中输
入和输出序列相同)和变换示例之间的比例约
为
50/50
。身份的例子包括所有的陈述或主动
结构(包括句子与
RC/PP
的主题),从而暴露
网络的输入结构,我们测试的所有范围然而,
对于经变换的示例,训练数据仅包括在对象
NP上没有RC/PP或RC/PP的示例,即,与分层
规则和线性规则都兼容的情况我们还生成了分
别由
1
,
000
和
10
,
000
个示例组成的开发和测
试集,其中包含具有与训练中使用的结构类似
的结构的句子;这些用于评估看不见的句子的
分布
对于每个转换,我们还生成了一个由10,
000个转换后的样本组成的通用化集,这些样
本在主题NP上具有RC/PP。对于这样的例子,
依赖于线性规则的模型将不能正确地泛化。
3.2
模型
我 们 用
T5
(
Raffel et al.
,
2020
) 和
BART
(Liu et al. ,2020年),两个英语预训练序列
到序列模 型。 我们还用 它们的多语言变体
mT5 进 行 了 实 验 ( Xue et al. , 2021 ) 和
mBART
(
Liu et al.
,
2020
)。
5
这些是
4
我们生成我们的评估集,使其由语法上但语义上不
可能的句子组成,
基于
12
层变压器(
Vaswani et al.
,
2017
)架
构,具有双向编码器和自回归解码器。虽然我
们使 用 ( m ) T5 的 基 本 尺 寸 , 但 我 们 使 用
(m )BART 的大尺寸来保持模型的尺寸相
似。
当微调(
m
)
T5
和(
m
)
BART
时,我们在
源序列中使用任务前缀。我们用
“quest
:
“
来表
示疑问句,用“passiv:“来表示被动化。与以
前的工作一样,我们还包括恒等变换示例(前
缀为“decl:“),即,模型必须输出未改变的
陈述 句 或 主 动 句 的 示 例 。当 从 头 开 始训 练
seq2seq
基 线 时 , 我 们 遵 循
McCoy et al.
(
2020
)并将任务标记附加到输入序列的末
尾。
对于语法转换的微调,我们使用批量大小
128和初始学习率5 10
−5
。我们对10个epoch进
行微调,每
500
次迭代进行评估我们发现,验
证损失一般收敛在1
为了证实
McCoy et al.
(
2020
)和
Petty and
Frank
(
2021
)的发现,即非预先训练的模型
无法分层泛化,我们还训练了与这些研究中使
用的模型类似的基线seq2seq模型我们实现了1
层和2层基于LSTM的seq2seq模型,以及1层和
2 层 基 于 transformer 的 seq2seq 模 型 , 其 中
transformer
有
4
个
attention heads
。
6
我们发现
1
层
模型在开发集上始终实现更高的序列准确度,
因此我们关注1层基线。 我们重复使用McCoy
等人的所有超参数。 (2020年)。所有基线得
分均为
10
次运行的平均值。
3.3
度量
对于所有的转换,我们主要关心的是
序列的准
确性
:每个token是否在tar中
不太可能出现在自然语言语料库中。这是为了
减轻预训练语料库中标记搭配的混淆
5
我们使用
HuggingFace
实现(
Wolf et al.
,
2020
)。
6
我们的实现基于语法转换为重点的转换库:https:
//github.com/clay-lab/transductions