变分推断（VariationalInference）最新进展简述.docx_劳荣枝最新进展 - CSDN文库

最新进展简述

需积分: 50 919 浏览量更新于2023-05-27 评论收藏 1.41MB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

变分推断（Variational Inference）最新进展简述

动机

变分推断（）是贝叶斯近似推断方法中的一大类方法，

将后验推断问题巧妙地转化为优化问题进行求解，相比另一大类方法马尔可夫

链蒙特卡洛方法（），具有更好的收敛性

和可扩展性（），更适合求解大规模近似推断问题。

当前机器学习两大热门研究方向：深度隐变量模型（ 

）和深度神经网络模型的预测不确定性（）

的计算求解都依赖于 ，尤其是 。

其中，   的一个典型代表是变分自编码器（  

 ），是一种主流的深度生成模型，广泛应用于图像、语音甚至是文本的生

成任务上；而预测不确定性的典型代表是贝叶斯神经网络（ !"

"#!""）。

当前 ""的一大缺陷是预测“过于自信”，“不知道自己不知道什么”，对于安全

性要求很高的任务来说，难以胜任，而 !""不仅给出预测值，而且给出预测的

不确定性，从而使得模型“知道自己不知道什么”， !""广泛应用于探索与利用

（ $ % $ ）问题（比如：主动学习、贝叶斯优化、

!问题）和分布外样本检测问题（比如：异常检测、对抗样本检测）等。

本文以最经典的 VI 方法 Mean Field VI (MFVI) 为基础，从以下几个角度依次

简述 VI 方法的最新进展:

 如何更好地度量变分后验分布和真实后验分布之间的差异？

 如何使用更复杂的先验分布来描述参数信息？

 如何使用更复杂的后验分布簇来降低 方法的 ？

 如何通过随机梯度估计方法来提升 方法的 ？

问题定义

考虑一个一般性的问题， $是 维的观测变量，&是 '维的隐变量，贝叶斯模

型中需要计算后验分布，如下：

剩余22页未读，继续阅读

评论0

Aray1234

粉丝: 42
资源: 13

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈