人工智能与机器学习:历史、原理与应用

版权申诉
5星 · 超过95%的资源 1 下载量 128 浏览量 更新于2024-06-25 收藏 5.41MB PPTX 举报
人工智能与机器学习简介是一份详细的讲解文档,主要涵盖了人工智能的基本概念、与机器学习的关系、发展历程以及机器学习的核心要素。以下是其中的关键知识点: 1. **人工智能概述**: - 人工智能是通过软件或硬件模拟人类智能行为的学科,目标是创造能执行复杂任务的智能系统。 2. **人工智能发展历史**: - 第一阶段(推理期):1956-1960年代,以逻辑推理为主,初期设想依赖于人类逻辑能力。 - 第二阶段(知识期):1970-1980年代,专家系统出现,强调知识工程,但发现难以量化和传授知识。 - 第三阶段(学习期):1990年代至今,机器学习兴起,让计算机通过数据自我学习,解决知识表达难题。 3. **机器学习定义**: - 机器学习是让计算机自主学习的过程,它区别于传统的命令式计算,允许计算机从经验中改进其性能。 4. **机器学习与人类学习的对比**: - 机器学习模仿人类的学习方式,例如通过大量数据和迭代过程不断优化,而非明确指令。 5. **机器学习的重要性**: - 机器学习解决了一些传统编程难以处理的问题,如图像识别、自然语言理解等。 - 数据驱动的崛起、硬件进步和算法优化推动了机器学习的广泛应用。 6. **机器学习框架**: - 包括基础理论如VC维理论、信息论和过拟合/欠拟合平衡。 - 算法模型包括决策树、人工神经网络、支持向量机等。 - 优化算法如梯度下降和牛顿法。 - NFL定理提醒我们,没有绝对的最优算法,选择取决于具体问题。 7. **机器学习种类**: - 监督学习(如分类、回归):有标记的数据用于训练预测模型。 - 非监督学习(如聚类):无标记数据,计算机自行寻找数据内在结构。 - 半监督学习和强化学习也是重要的学习类型。 通过这份简介,读者可以深入了解人工智能的发展脉络,机器学习的核心概念以及如何选择合适的算法来解决实际问题。掌握这些知识对于理解和应用AI技术具有重要意义。
2023-06-01 上传
深度学习 快速推进中的机器学习与人工智能前沿 人工智能与机器学习(1)全文共61页,当前为第1页。 提纲 深度学习(DL)及其应用前沿 DL在CV领域应用的启示 关键算法介绍 Perceptron及学习算法 MLP及其BP算法 Auto-Encoder CNN及其主要变种 关于DL的思考与讨论 2 人工智能与机器学习(1)全文共61页,当前为第2页。 机器学习的基本任务 3 Class label (Classification) Vector (Estimation) {dog, cat, horse,, …} Object recognition Super resolution Low-resolution image High-resolution image 人工智能与机器学习(1)全文共61页,当前为第3页。 源起——生物神经系统的启示 神经元之间通过突触(synapse)连接 层级感受野,学习使突触连接增强或变弱甚至消失 4 Hubel, D. H. & Wiesel, T. N. (1962) 人工智能与机器学习(1)全文共61页,当前为第4页。 第一代神经网络 感知机(Perceptrons)模型[Rosenblatt, 1957] 二类分类,单个神经元的功能(输入输出关系) = f为激活函数,其中: = =1 = =0 5 Frank Rosenblatt(1957), The Perceptron--a perceiving and recognizing automaton. Report 85-460-1, Cornell Aeronautical Laboratory. 人工智能与机器学习(1)全文共61页,当前为第5页。 第一代神经网络 单层感知机(Perceptrons)模型的局限性 Minsky & Papert的专著Perceptron(1969) 只能对线性可分的模式进行分类 解决不了异或问题 几乎宣判了这类模型的死刑,导致了随后多年NN研究的低潮 6 人工智能与机器学习(1)全文共61页,当前为第6页。 2nd Generation Neural Networks 多层感知机(Multi-layer Perceptron, MLP) 超过1层的hidden layers(正确输出未知的层) BP算法 [Rumelhart et al., 1986] Compute error signal; Then, back-propagate error signal to get derivatives for learning 7 David E. Rumelhart,, Geoffrey E. Hinton, and Ronald J. Williams. (Oct.1986). "Learning representations by back-propagating errors". Nature 323 (6088): 533–536 Ʃ Ʃ Ʃ Ʃ Ʃ Ʃ 1 2 3 1 2 人工智能与机器学习(1)全文共61页,当前为第7页。 Error Backpropagation W is the parameter of the network; J is the objective function Feedforward operation Back error propagation David E. Rumelhart,, Geoffrey E. Hinton, and Ronald J. Williams. (Oct.1986). "Learning representations by back-propagating errors". Nature 323 (6088): 533–536 Output layer Hidden layers Input layer Target values 人工智能与机器学习(1)全文共61页,当前为第8页。 2nd Generation Neural Networks 理论上多层好 两层权重即可逼近任何连续函数映射 遗憾的是,训练困难 It requires labeled training data Almost all data is unlabeled. The learning time does not scale well It is very slow in networks with multiple hidden layers. It can get stuck in poor local optima These are often quite good, but for deep nets they are far
2023-06-01 上传
人工智能与智能机器 人工智能与智能机器全文共27页,当前为第1页。 人工智能是什么? 人工智能发展到什么程度? 面临的挑战 人工智能与智能机器全文共27页,当前为第2页。 什么是人工智能? 类人智能 思维 研究如何让计算机具备人的感知、决策、解决问题、 学习能力 e作 研究如何让计算机具备人的行为能力 Artificial Intelligence: a Modern Approach [Russell & Norvig] 人工智能与智能机器全文共27页,当前为第3页。 Can Computers Think? A question raised by Alan Turing in "Computing Machinery and Intelligence", 1950 图灵测试 人工智能与智能机器全文共27页,当前为第4页。 什么是人工智能? 理性智能 思维 研究如何通过计算方法达到合理的感知、决策、解决 问题、学习能力 e作 研究如何通过计算方法形成合理的行为能力 Artificial Intelligence: a Modern Approach [Russell & Norvig] 人工智能与智能机器全文共27页,当前为第5页。 人工智能的研究范畴 知识表示、形式f推理 规划与决策 机器学习 理解文字、自然语言(人类语言2 语音识别与合成 理解图像、视觉感知 机器人控制 人工智能与智能机器全文共27页,当前为第6页。 人工智能现状 在某些具体任d上达到或超过人类能力 通用型智能还有漫漫长路 人工智能与智能机器全文共27页,当前为第7页。 Better than human in GO playing Via deep reinforcement learning and Monte-Carlo tree search 人工智能与智能机器全文共27页,当前为第8页。 Towards human level in Speech recognition 25 20 15 10 5 0 Error rate By 2015.12 DS2 Human Via end-to-end deep learning models Deep Speech 2 [Amodei et. al. 2015] Speech Is 3x Faster than Typing for English and Mandarin Text Entry on Mobile Devices, with 20% - 50% lower error rates. [Ruan et al, 2016] 人工智能与智能机器全文共27页,当前为第9页。 Telling stories in images [Mao et al 2015] [Karpathy et al, 2015] [Kiros et al 2015] [Vinyals et al 2015] [Chen & Zitnick, 2015] A giraffe standing next to forest. 人工智能与智能机器全文共27页,当前为第10页。 Toutiao Xiaomingbot: Automatic Olympic News Writing 16 days 450 articles 1million readers 人工智能与智能机器全文共27页,当前为第11页。 DL algorithms work well for Supervised learning !( ) data X label Y Cat/dog/… .今天天气不错!/ "Today is a nice day" A giraffe standing next to forest .打车去故宫/ 人工智能与智能机器全文共27页,当前为第12页。 Image credit: http://cs231n.github.io/neural-networks-1/ Neural networks: massively connected simple units Inspired by a biological neuron 人工智能与智能机器全文共27页,当前为第13页。 How to model a single artificial neuron? x 1 x2 x3 % w1 w2 w3 input weight Transfer function Activation function 人工智能与智能机器全文共27页,当前为第14页。 Input x Supervised Learning with Neural Nets h 4 y=softmax(w2 h1+b2) h1=tanh(w1 x+b1) 人工智能与