The wake-sleep algorithm for unsupervised
neural networks
摘要
本文介绍一种在随机神经元组成的多层网络上的无监督学习算法。自下而上的“认知”
连接把输入转化成后续隐层的表示（representaon），自上而下的“生成”连接利用前一层
的表示来重构数据。在 wake 过程，神经元用认知权值来驱动，并调整生成权值来增加下一
层重构正确数据的概率。在 sleep 过程，神经元用生成权值来驱动，并调整认知权值来增加
上一层产生正确数据的概率。
内容
多层神经网络的监督学习算法面临两个问题：需要一个“老师”指出网络的预期输出，
需要一个方法把错误（偏差、残差）信息告诉所有的连接。WS（wake-sleep）算法避免了
这些问题。没有外界指导信号相匹配时，需要一些别打目标来强迫隐藏节点提取潜在的结
构。在 WS 算法中，目标就是学习容易描述但能够使输入精确重构的表示（recognion）。
我们可以量化这个目标，想象一个交互游戏，每个输入向量与接受者进行通信，第一次发
送隐藏的表示，然后发送原始输入向量和他从隐藏表示中获取的的 TD（top-down）重构之
间的差异。学习的目标是最小化“描述长度”，就是用这种方法与输入向量通信需要的总数
据位数。实际上并没有进行交互，但最小化必需的描述长度迫使网络学习经济的（开销少
的）表示，并能够捕捉数据中的规律。
这个神经网络有两组不同的连接。自下而上的“认知”连接是用来把输入向量转化成一
层或多层隐藏节点中的表示。然后，自上而下的“生成”连接是用来从隐含的表示当中重构
一个输入向量的近似。对这两组连接的训练算法可用于多种随机神经元，但简单起见，我
们只用二元随机节点，只有 0 和 1 两种状态。节点
v
的状态是
s
v
，概率如下所示：
Prob
(
s
v
=1
)
=
1
1+exp
(
−b
v
−
∑
u
s
u
w
uv
)
(1)
b
v
是节点的偏置，
w
uv
是与节点
u
的连接权值。有时候节点由生成权值驱动，有时候由认
知权值，但都用这同一个公式（图 1）。
在“wake”阶段，节点自下而上驱动，使用认知权重，在第一隐层产生一个输入向量的
