Hopfield神经网络在人工智能中的应用

0 下载量 5 浏览量 更新于2024-06-29 收藏 154KB PPTX 举报
"人工智能chapter2.pptx" 本章主要探讨了人工智能中的知识学习,特别是聚焦于神经网络学习这一关键领域。知识学习是人工智能的重要组成部分,它涉及如何让机器从数据中学习和提取知识,以便进行决策和解决问题。本章深入讲解了 Hopfield 神经网络,这是由物理学家 J.J. Hopfield 在1980年代提出的两种类型——离散型和连续型神经网络。 Hopfield 神经网络是一种反馈网络结构,它的独特之处在于引入了“计算能量函数”这一概念,用以评估网络的状态。这个函数对于理解网络的稳定性至关重要。离散型Hopfield网络适用于离散时间系统,其中神经元的状态可以是二进制的(1或0),并且连接权重矩阵是对角线为0的对称矩阵。网络的稳定性是通过分析矩阵的性质来判断的,如果矩阵的对角元素非负且对称,网络将具有串行稳定性;如果矩阵整体非负,那么它具有并行稳定性。 连续型Hopfield网络则允许神经元的输出在0到1的实数值范围内变化,这增加了网络的表达能力。在网络模型中,神经元的传输特性呈现S型曲线,模拟了生物神经元的响应特性。此外,神经元之间的相互作用通过反馈机制实现,既包括兴奋性也包括抑制性联结,这更接近于生物神经系统的运作方式。 Hopfield神经网络在联想记忆和优化计算中有着广泛应用。它们能够模拟大脑的记忆过程,通过网络的能量最小化达到稳定状态,从而实现数据的存储和检索。同时,这些网络也可以用于解决优化问题,通过迭代更新状态,寻找使能量函数最小的解决方案。 总结来说,人工智能chapter2.pptx的内容涵盖了知识学习的基础理论,特别是Hopfield神经网络的原理、结构和稳定性分析。这些知识不仅对于理解人工智能的内在机制至关重要,也为设计和应用神经网络模型提供了理论基础。通过深入学习这部分内容,读者可以更好地掌握人工智能中知识表示和学习的核心概念,并能将其应用于实际问题的求解。
108 浏览量
Introduction To AI 2017年9月25日 人工智能(2)全文共31页,当前为第1页。 AI的定义 人工智能是计算机科学的一个分支,研究领域包括机器人、语言识别、图像识别、自然语言处理和专家系统等。 人工智能(2)全文共31页,当前为第2页。 AI的发展历程 人工智能(2)全文共31页,当前为第3页。 深度学习的发展历程 人工智能(2)全文共31页,当前为第4页。 神经元与人工神经网络 Perceptron Invented by Frank Rosenblatt (1957) Multi-layer perceptron 人工智能(2)全文共31页,当前为第5页。 神经网络模型的步骤 把大象放到冰箱里需要几步? 人工智能(2)全文共31页,当前为第6页。 Define a set of function----神经网络模型 a(l) 表示第 l 层第i单元的激活值。本例神经网络有参数 (W,b) = (W(1), b(1), W(2), b(2),W(3), b(3)),其中W(l)ij是第 l 层第 j 单元与第 l + 1 层第 i 单元之间的联接参数。 向量化表示 人工智能(2)全文共31页,当前为第7页。 Example 手写数字识别 人工智能(2)全文共31页,当前为第8页。 Goodness of Function----损失函数 损失函数: 人工智能(2)全文共31页,当前为第9页。 Pick the Best Function----梯度下降法 找到神经网络的参数θ最小化损失函数L 人工智能(2)全文共31页,当前为第10页。 卷积神经网络 1998, LeNet 传统神经网络的限制: 计算能力限制,神经网络的训练耗时太久 训练优化存在局部最优解问题,即过拟合 梯度弥散问题,反向传播传递给较低层的信息会越来越少 竞争算法SVM的出现 神经网络的研究陷入低谷! 人工智能(2)全文共31页,当前为第11页。 Deng, Dong, Socher, Li, Li, & Fei-Fei, 2009 人工智能(2)全文共31页,当前为第12页。 解决的任务 Classification Detection Semantic Segmentation 人工智能(2)全文共31页,当前为第13页。 ImageNet分类大赛进展 AlexNet掀起了深度学习的浪潮! 人工智能(2)全文共31页,当前为第14页。 LeNet和AlexNet对比 人工智能(2)全文共31页,当前为第15页。 AlexNet Relu非线性 Dropout Max pooling GPU and More Data AlexNet对网络结构和训练方法进行优化,利用GPU和更多标记数据,使CNN的性能得到质的提升! 人工智能(2)全文共31页,当前为第16页。 网络结构的发展 人工智能(2)全文共31页,当前为第17页。 深度学习大爆发的原因 …… Data GPU Network Architecture Packages Research Funding Personalities 人工智能(2)全文共31页,当前为第18页。 人工智能(2)全文共31页,当前为第19页。 USE CASES 人工智能(2)全文共31页,当前为第20页。 自然风格迁移 "Image Style Transfer using Convolutional Neural Networks", CVPR 2016 人工智能(2)全文共31页,当前为第21页。 透射光图像预测荧光显微镜图像 In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images, cell(2018). 人工智能(2)全文共31页,当前为第22页。 诊断黄斑变性和视网膜眼病 Identifying Medical Diagnoses and Treatable Diseases by Image-Based Deep Learning, cell(2018) 迁移学习框架 CNV(脉络膜新生血管);DME(糖尿病黄斑水肿);DRUSEN(玻尤);NORMAL(正常) 人工智能(2)全文共31页,当前为第23页。 基于深度学习的MRI重建 Schematic representations of AUTOMAP image reconstruction Image reconstruction by domain-transform manifold learning, Nature(2018) 人工智能(2)全文共31页,当前为第24页。 DNA甲基化分类中枢神经系统肿瘤 DNA methylation-b
118 浏览量
人工智能课程教学 主要内容: 人工智能的研究与发展 知识表示方法 确定性推理 计算智能 机器学习 你认为人工智能是否能够超过人类智能? 你认为人工智能是否能够超过人类智能? 人工智能全文共314页,当前为第1页。 什么是人工智能? 人工智能—Artificial Intelligence (AI) 众说纷纭 目前还没有统一的定义 AI的严格定义依赖于对智能的定义 即要定义人工智能,首先应该定义智能 但智能本身也还无严格定义 因此,应当首先研究人类的自然智能 一般解释:人工智能就是用人工的方法在机器(计算机)上实现的智能,或称机器智能、计算机智能。 人工智能全文共314页,当前为第2页。 知识与智能 知识 人们通过体验、学习或联想而知晓的对客观世界规律性的认识,包括事实、条件、过程、规则、关系和规律等。 智能 一种应用知识对一定环境或问题进行处理的能力或者进行 抽象思考的能力。 智能机器 能够在各类环境中自主地或交互地执行各种拟人任务的机器。 人工智能全文共314页,当前为第3页。 人工智能的不同定义 AI (能力) 智能机器所执行的通常与人类智能有关的智能行为,如判断、推理、证明、识别、感知、理解、通信、设计、思考、规划、学习和问题求解等思维活动。 AI (学科) 计算机科学中涉及研究、设计和应用智能机器的一个分支。它的近期目标在于研究用机器来模仿和执行人脑的某些功能,并开发相关理论和技术。 人工智能全文共314页,当前为第4页。 2. 人工智能是如何发展的? 孕 育 期 ( 1956年前) 形 成 期 ( 1956-1970年) 暗 淡 期 ( 1966-1974年) 知识应用期 ( 1970-1988年) 集成发展期 ( 1986年至今) 人工智能全文共314页,当前为第5页。 2. 人工智能的起源与发展—孕育期 孕育期 ( 1956以前) 亚里斯多德(公元前384—322):古希腊伟大的哲学家和思想家,创立了演绎法。他提出的三段论至今仍然是演绎推理的最基本出发点。 莱布尼茨(1646—1716):德国数学家和哲学家,把形式逻辑符号化,奠定了数理逻辑的基础。 人工智能全文共314页,当前为第6页。 2. 人工智能的起源与发展—孕育期 图灵(1912—1954):英国数学家,1936年创立了自动机理论亦称图灵机,1950年在其著作《计算机器与智能》中首次提出"机器也能思维" ,被誉为"人工智能之父"。 莫克(1907—1980):美国数学家、电子数字计算机的先驱,1946年研制成功了世界上第一台通用电子数字计算机ENIAC。 人工智能全文共314页,当前为第7页。 2. 人工智能的起源与发展—孕育期 麦克洛奇和皮兹:美国神经生理学家,1943年建成第一个神经网络模型(MP模型)。 维纳(1874—1956) :美国著名数学家、控制论创始人。1948年创立了控制论。控制论对人工智能的影响,形成了行为主义学派。 人工智能全文共314页,当前为第8页。 2. 人工智能的起源与发展—形成期 形成期 (1956-1970) AI诞生于一次历史性的聚会—达特茅斯会议 1956年夏季,年轻的美国学者麦卡锡、明斯基、朗彻斯特和香农共同发起,邀请莫尔、塞缪尔、 纽厄尔和西蒙等参加在美国达特茅斯大学举办 了一次长达2个多月的研讨会,热烈地讨论用机器模拟人类智能的问题。会上,首次使用了 "人工智能"这一术语。这是人类历史上第一次 人工智能研讨会,标志着人工智能学科的诞生,具有十分重要的历史意义。 人工智能全文共314页,当前为第9页。 2. 人工智能的起源与发展—形成期 形成期 (1956-1970) 迅速发展,过于乐观 1956年,塞缪尔在IBM计算机上研制成功了具有自学习、自组织和自适应能力的西洋跳棋程序。 1957年,纽厄尔、肖(Shaw)和西蒙等研制了一个称为逻辑理论机(LT)的数学定理证明程序。 1958年,麦卡锡建立了行动规划咨询系统。 1960年纽厄尔等研制了通用问题求解(GPS)程序。麦卡锡研制了人工智能语言LISP。 1961年,明斯基发表了"走向人工智能的步骤"的论文,推动了人工智能的发展。 1965年,鲁宾逊提出了归结(消解)原理。 人工智能全文共314页,当前为第10页。 2. 人工智能的起源与发展—暗淡期 暗淡期 ( 1966-1974 ) 过高预言的失败,给AI的声誉造成 重大伤害。 "20 年内,机器将能做人所能做的一切。" ——西蒙,1965 "在3~8年时间里,我们将研制出具有普通人智力的计算机。这样的机器能读懂莎士比亚的著作,会给汽车上润滑油,会玩弄政治权术,能讲笑话,会争吵。……它的智力将无以伦比。" ——明斯基,1977 人工智能全文共314页,当前为第11页。 2. 人工智能的起源与发展—暗淡期 塞缪尔的