没有合适的资源?快使用搜索试试~ 我知道了~
首页学习摘要:Methods for interpreting and understanding deep neural networks
学习摘要:Methods for interpreting and understanding deep neural netw...
需积分: 20 21 下载量 74 浏览量
更新于2023-03-16
评论
收藏 3.58MB PPTX 举报
关于论文“Methods for interpreting and understanding deep neural networks”的学习摘要
资源详情
资源评论
资源推荐
1. 简介
深度网络主要应用场景:
1 、图像分类
2 、语音识别
3 、自然语言处理
可解释性对与医疗、自动驾驶很重要
因为必须保证模型依赖于正确的特征
本文内容:
ML 方法解释的综述
重点关注 DNN
2. 正文前页
事后可解释性:
例如,给定训练好的模型
目标:理解模型预测的(分类),什么是可解释的(输入变量)
Understanding :模型的 functional understanding
seek to 刻画模型的黑箱行为
而不是阐明他的内部运作和内部表示
本文关注:
解释 DNN 的输出,并解释单独的预测
定义 1 :
Interpretation :是抽象概念(预测的类)到某个人类能理解的 domain 的映射
可解释的 domains 的例子:图像(像素矩阵)、文本(单词序列)
不可解释的例子:抽象的向量空间、无事实证明的输入特征(例 - 无意义的单词序列)
定义 2 :
Explanation :是可解释域的特征集合,他们能对于给定一个例子,能帮助产生决策(例 - 分类、回归)
这些组成 explanation 的特征,有相关的 score 来表示每个特征的 contribution
一般 explanation 是真值向量,相关特征是正的,不相关为 0
3. Interpretation DNN 模型
需要解析的通常是 top layer 的表示
因为 top-layer 的神经元是抽象的,且 DNN 输入(图像或文本)通常是可解析的
本部分:
描述如何在输入域内创建 prototype (原型)
这个原型是抽象学习概念的解释器和代表
它可以在 AM 框架中 formulated
3.1 Activation maximization(AM)
AM 是一个分析框架,寻找对于 interest 的,使得模型 input pattern ,使得模型响应最大
可以想象 DNN 分类器,将输入 映射到分类集 ,输出对分类概率编码
类 的表示 可以用 进行最优化
DNN 的类概率模型是带有梯度的函数,所以最优化可以用梯度下降
最右的 规范,实现了对接近 origin 的 inputs 的偏好
当应用到图像分类, prototypes 多是灰度图形式,会产生强烈的类响应
3.2 用 expert 提升 AM
为了得到更有意义的 prototype
可以被更复杂的代替,叫做“ expert” ,它可以是模型
最优化问题变成:
通过解决这个最优化问题得到的 ,将同时产生强烈的类反应,且使得数据类似
应用贝叶斯规则,做误差和常量项目建模
新目标可以被定义为 class-conditioned 数据密度
可能的 expert 是 ,他可以表示复杂的分布,且在输入域有梯度
:
,在原来 regularizer 的位置
, 从 data 中学习到的
在 interpret 类似自然图像分类,需要更复杂的密度模型,例如卷积 RBM/DBMs 、 pixel-RNNs
Expert 的选择,决定了结果 prototype 的 appearance
剩余49页未读,继续阅读
iyangdi
- 粉丝: 320
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- stc12c5a60s2 例程
- Android通过全局变量传递数据
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0