A Fast Learning Algorithm for Deep Belief Nets (2006)
- 首 次 提 出 layerwise greedy pretraining 的 方 法 ， 开 创 deep learning 方 向 。 layerwise
pretraining 的 Restricted Boltzmann Machine (RBM) 堆 叠 起 来 构 成 Deep Belief Network
(DBN)，其中训练最高层的 RBM 时加入了 label。之后对整个 DBN 进行 fine-tuning。在
MNIST 数据集上测试没有严重过拟合，得到了比 Neural Network (NN)更低的 test error。
Reducing the Dimensionality of Data with Neural Networks (2006)
- 提 出 deep autoencoder，作为数据降维方法发在 Science 上。Autoencoder 是一类通过最小
化函数集对训练集数据的重构误差，自 适应地编解码训练数据的算法。Deep autoencoder
模型用 Contrastive Divergence (CD)算法逐层训练重构输入数据 的 RBM，堆叠在一起 fine-
tuning 最小化重构误差。作为非线性降维方法在图像和文本降维实验中明显优于传统方法。
Learning Deep Architectures for AI (2009)
- Bengio 关于 deep learning 的 tutorial，从研究背景到 RBM 和 CD 再到数种 deep learning 算
法都有详细介绍。还有丰富的 reference。于是也有个缺点就是太长了。
A Practical Guide to Training Restricted Boltzmann Machines (2010)
- 如果想要自己实现 deep learning 算法，这篇是不得不看的。我曾经试过自己写但是效果很
不好，后来看到它才知道算法实现中还有很多重要的细节。对照网上的代码看也能更好地
理解代码。
Greedy Layer-Wise Training of Deep Networks (2007)
- 对 DBN 的一些扩 展， 比如应用于实值输入 等。 根据实验提出了 对 deep learning 的
performance 的一种解释。
Why Does Unsupervised Pre-training Help Deep Learning? (2010)
- 总结了对 deep learning 的 pretraining 作用的两种解释：regularization 和 help optimization。
设计实验验证两种因素的作用。
Autoencoders, Unsupervised Learning, and Deep Architectures (2011)
- 从理论角度对不同的 Autoencoders 作了统一分析的尝试。
On the Quantitative Analysis of Deep Belief Networks (2008)
- 用 annealed importance sampling (AIS)给出一种估计 RBM 的 partition function 的方法，从而
能够估算 p(x)以及比较不同的 DBN。
评论0