胶囊网络动态路由:一种新型神经网络架构

需积分: 18 1 下载量 124 浏览量 更新于2024-09-09 收藏 899KB PDF 举报
"Dynamic Routing Between Capsules" 在深度学习领域,"Dynamic Routing Between Capsules"是一种先进的神经网络架构,由Sara Sabour、Nicholas Frosst和Geoffrey E. Hinton等人提出,他们均来自Google Brain和多伦多大学。这一概念旨在改进传统卷积神经网络(CNNs)在识别复杂对象和处理位置关系上的局限性。 胶囊(Capsule)是这个体系结构中的核心概念,它是一个包含多个神经元的集合。胶囊的活动向量用于表示特定类型实体(如物体或物体部分)的存在概率及其属性参数。这里的“存在概率”是指通过向量长度来度量的,向量越长,表示该实体存在的可能性越大。而“属性参数”则是通过向量的方向来表达的,例如物体的形状、大小、旋转角度等。 在层次化的胶囊网络中,低层的胶囊通过变换矩阵对高层胶囊的实例化参数进行预测。当多个低层胶囊的预测结果一致时,就激活了高层胶囊。这种方式增强了网络对局部特征与全局结构之间关系的理解。 动态路由(Dynamic Routing)是胶囊网络的关键算法,其工作原理是:低层胶囊的输出更倾向于传递给那些活动向量与来自低层胶囊的预测有大标量乘积的高层胶囊。这是一种迭代的过程,通过共识路由,网络可以自我调整,使得相关的胶囊之间形成更强的连接,从而提高识别精度。 实验结果显示,动态路由胶囊网络在MNIST手写数字识别任务上达到了最先进的性能,并且在识别高度重叠的数字时显著优于传统的卷积神经网络。这一进步意味着胶囊网络在处理具有复杂空间关系和变形不变性的任务上展现出强大的潜力,为深度学习在图像识别、对象检测和场景理解等领域提供了新的研究方向。