自回归模型(NADE)
时间: 2023-11-13 21:04:49 浏览: 126
自回归模型(NADE)是一种没有潜在随机变量的有向概率模型,其中条件概率分布由神经网络表示。它在语言模型中被应用,使用逻辑回归等简单的神经网络来表示条件概率。
然而,传统意义上的自回归语言模型不具备构建双向上下文信息模型的能力。为了解决这个问题,XLNet模型被提出,它综合了自回归语言模型和BERT模型的优点。XLNet模型基于位置编码的顺序感知,与以前的模型相比,它能够更好地理解语言,避免退化为一堆无序的单词,从而提高了基本的表达能力。<span class="em">1</span><span class="em">2</span><span class="em">3</span>