知识堆叠降噪自编码器.docx
"知识堆叠降噪自编码器" 知识堆叠降噪自编码器是人工智能领域的一种热点话题,旨在解决知识的表述和推理问题。知识所代表的是数据特征与标签间存在的一般规律。在人工智能发展早期,符号规则用来表述知识并进行推理,但是在大数据时代,以连接主义为核心的神经网络相较于符号系统具有更好的适应性。 深度学习凭借其良好的特征学习性能近些年已经在各个领域得到了广泛应用。其中,深度神经网络领域,Hinton等基于深度置信网络提出非监督贪心逐层训练算法,为解决深层结构优化难题提供了解决办法,并进一步提出了堆叠自动编码器。Lecun等提出了卷积神经网络,利用空间相对关系以减少参数数目来提高反向传播算法的训练效果,在图像识别方面应用前景广阔。 然而,深度学习还出现了一些变形结构,如堆叠降噪自编码器。深度网络凭借其强大的学习能力广泛地应用于各个领域,但同时也据有不可忽视的“黑箱问题”,即人类不能通过了解网络内部的结构和数值特性来得到数据特征和数据标签之间的关系,这一问题从根本上限制了深度神经网络的发展。 近年来,一些研究者开始探究如何将符号系统和神经网络相结合,其中一部分人希望通过符号规则所表示的逻辑关系来解释网络内部的结构和数值特性,另一部分希望将人类已知的知识通过符号系统传入神经网络以提高网络性能。Gallant最先提出了使用IF-THEN规则解释推理结论的神经网络专家系统。其后Towell等提出基于知识的人工神经网络,将MofN规则实现对神经网络的知识抽取和插入,通过这种方式解释网络并增强网络性能。 Garcez等在KBANN的基础上提出了CILP系统,该系统将逻辑规则应用到初始化网络过程中,使网络可以更好地学习数据和知识。Fernando等在KBANN的基础上提出了INSS系统,成功利用包含实数的分类规则初始化人工神经网络。Setiono在前人的基础上从标准的三层前馈神经网络中抽取了IF-THEN规则,该抽取算法最大的亮点在于将隐藏节点的激活值离散化。 袁静等尝试利用符号逻辑语言描述神经网络,并通过激活强度从理论上帮助规则进行推导。钱大群等根据神经网络节点的输出值建立约束并生成规则。这这种规则被用来解释神经网络的行为。黎明等将模糊规则与神经网络相结合以提高模型的模式识别能力。 在深度学习上更进一步的研究中,Penning等提出了神经符号认知代理模型,试图将时间符号知识规则与RTRBM结合实现在线学习。Odense等将受限玻尔兹曼机与MofN规则相结合。深度置信网络是由RBM堆叠形成的,而这一研究的意义则在于这是对DBN网络进行模块化解释的主要基础,也是对神经网络与符号结合的一种新思考。 Tran等在NSCA的基础上将置信度规则与DBN相结合,实现知识的抽取和插入。Li等通过将符号系统与神经网络相结合形成神经符号系统,将符号主义与连接主义的优点集成,形成新的推理学习模型。Garcez等提出了神经符号计算的概念,其中知识以符号的形式表示,而学习和推理由神经元计算。通过这种方式将神经网络的鲁棒学习和有效推理与符号的可解释性相结合。 论文从知识的表示、提取、推理和学习方面进行讨论,并分别对基于规则、基于公式和基于嵌入的神经符号计算方法进行了论述。