pre-ln postln
时间: 2023-11-09 13:01:13 浏览: 60
pre-ln 和 post-ln 是什么意思?
pre-ln 和 post-ln 是两种不同的网络结构,用于语言模型的训练。其中 pre-ln 是指在每个残差块的输入之前加入 Layer Normalization,而 post-ln 是指在每个残差块的输出之后加入 Layer Normalization。这两种结构的区别在于 Layer Normalization 的位置不同,因此会影响到模型的表现。
阅读全文