嵌入式机器学习中的近似计算

用于嵌入式机器学习的近似计算杨雪坎引用此版本：杨雪坎。用于嵌入式机器学习的近似计算。电子产品。巴黎理工学院，2021年。英语。NNT：2021IPPAT005。电话：03272594HAL ID：电话：03272594https://theses.hal.science/tel-03272594提交日期：2021年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire626嵌入式近似计算机器学习巴黎理工学院博士论文在巴黎巴黎理工学院第626号博士学校（ED IP Paris）博士专业：电子与光电子论文于2021年3月24日在Palaiseau发表并答辩，作者：杨雪坎评审团组成：帕特里克·吉拉德研究总监，CNRS总裁罗斯林·肖廷索邦大学HDR讲师（LIP6）报告员雅克-奥利维尔·克莱因巴黎萨克雷大学教授报告员法布里斯·蒙特罗洛林大学教授考官阿蒂利奥·菲安德罗蒂都灵大学助理教授考官莉里达·纳文纳巴黎电信（LTCI）教授博士生导师Sumanta Chaudhuri巴黎电信（LTCI）高级讲师，论文共同导师劳伦斯·利克曼·苏莱曼巴黎电信（LTCI）HDR讲师，论文共同导师NNT：谢谢你我走了很长的路，看到了很多风景，然后我来到了这里。我遇到了很多同伴，我得到了很多帮助，然后我成长了很多。J’aime我想感谢所有为我的研究成功做出贡献的人，感谢所有在我写这篇论文时帮助我的人。我也要感谢那些感人的时刻和朋友，他们首先，我要感谢我的论文导师、巴黎电信大学教授Lirida NavinerDe Barros女士，感谢她的耐心、可用性，尤其是她在科学研究方面的明智建议他的鼓励和分享的经历给了我力量，使我无论遇到什么困难都能勇敢地行走我还要感谢我论文的合著者M. Sumanta Chaudhuri，巴黎电信公司高级讲师。在我的整个博士研究过程中，他一直陪伴着我，尽管在禁闭期间，我们保持着频繁的交流。这种交流不仅为我的工作提供了许多新的想法，而且还激励我在远程工作时保持工作的毫无疑问，在它的帮助下，许多有趣的想法可以实现，许多有价值的也非常感谢我论文的另一位Laurence Likforman- Sulem，巴黎电信HDR讲师。她博学而严肃。当我因为困难而停下来时，她总是能用她丰富的知识找到新的解决方案。而且当我头晕目眩地推进我的工作时感 谢 Patrick Girard 、 Roselyne Chotin 、 Jacques-Olivier Klein 、 Fabrice Monteiro 和Attilio Fiandrotti参与我的论文答辩，感谢他们对手稿的仔细审阅和他们总是明智的建议我不会忘记我在学习期间遇到的朋友。Jean-Luc、Tarik和SSH小组的所有其他人，你们是把我带到计算机世界的教授，也是陪伴我走上研究之Maciel，Elaine，Etienne，Sarah和Soumaya，我们有不同的文化，但我们可以携手前进：很荣幸见到你们，认识你们!特别感谢伊莱恩和马西埃尔，他们总是我的许多文章和想法的第一个读者他对这个主题的新手观点对我澄清和完善我的观点有很大的浩、严、杰、云之、泽江、旺凡、嘉利这些在巴黎电信并肩作战的中国同志，我们一起克服了一个又一个困难泽峰，我们一起完成了很多有趣的项目，我非常感谢你们不仅给了我机会和平台，也感谢我们相识以来的我很感激我的家人将永远是我的支持。我想感谢我的父母。我来自中国的一个小镇，但我可以在巴黎学习和生活，巴黎是世界文明的中心之一，这要归功于我父母的坚实基础。即使我离家乡有千里之遥，不能和父母一起去，他们仍然理解我的决定。我也要感谢我的妻子。在他的鼓励下，我决定攻读博士学位。因为他的陪伴，我不会沮丧，遇到困难就放弃。他的存在和鼓励是我是谁和我做什么的基础支柱。我的研究生涯就像一次漫长而艰难的旅程。但是这次旅行的风景是美丽的，我很荣幸能和你一起享受摘要卷积神经网络（CNN）已被广泛应用于图像识别、视频处理和自然语言处理等多个领域。然而，CNN仍然是计算密集型和资源消耗型的。在嵌入式系统上部署时，它们通常会受到性能和内存限制的限制。本博士研究项目旨在提出更适合于低计算资源和内存要求的嵌入式系统的CNN。我们首先将一些最新的机器学习技术（如滴注、批量归一化和不同的激活函数）集成到卷积神经网络中，并回顾了CNN的最先进的压缩和加速方法。在这篇文献综述之后，我们提出了三种加速神经网络运行的方法：选择性二进制化、四近似网络和MinConvNets。选择性二进制化将CNN中具有不同精度的层组合在一起，以实现可接受的速度和精度。基于FPGA的硬件加速器也被提出用于这些优化的结构。我们使用无人机对象检测数据集（DAC-SDC）对Tiny-YOLO CNN进行了训练，它有可能在运行时性能上实现1.68倍的改进，导致IOU（Interception over Union）测量的精度损失可容忍8.99%具有所提议的签名PArameterized剪切激活功能（签名PACT）然后，将CNN量化为3位，然后使用近似乘法器建立无损网络，称为四近似网络。提出了一种也在FPGA中实现的3位乘法近似乘法器，应用于四近似网络时，可实现1.2倍的速度和5.3倍的压缩。除了加速之外，更有价值的是，Quad-Approx表明CNN是某种容错系统，这导致我们提出了MinConvNets。MinConvNet是一组用近似运算代替乘法的非乘法CNN。与通过传输学习的精确图像分类网络相比，MinConvNet可以实现可忽略的预测损失，这意味着简单地消耗更多资源的倍增被更容易实现的操作所取代。简而言之，MinConvNets放弃了传统的压缩思想，为CNN的加速提出了一个新的方向，也就是说，近似方法直接应用于运算符，而不是像传统方法那样应用于操作符。另一方面，使用本工作中提出的标准，将来可以在图像集上评估未经验证的压缩/加速方法，这可以大大节省时间。人类正在推动人工智能时代。 同时，互联网 物联网（IoT）让我们的生活更美好。本文提出了在结构、操作数和操作数方面的优化方法，以解决一个重要的挑战，即如何使资源消耗的CNN更容易部署在资源有限的平台上。这些工作将更复杂的智能算法引入边缘设备，帮助我们创造人工智能物联网（AIoT）的时代。I内容。1引言11.1 背景。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... ...11.2有问题。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...21.3捐款。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...21.4组织。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...32机器学习与卷积神经网络卷积神经网络已经是机器学习领域的强大算法之一。在本章中，我们将讨论它们的全球视野。2.1机器学习。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...42.1.1构建机器学习系统。 . . . . . . . . . . . . . . . ... ...42.1.2通用概念和方法 . . . . . . . . . . . . . . . . . . ... ...62.2卷积神经网络。 . . . . . . . . . . . . . . . . . . . . . . . ... ...82.1计算基元。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...82.2.2构建卷积神经网络112.2.3构建损失函数122.2.4卷积神经网络训练122.3经典卷积神经网络142.3.1勒内142.3.2Alexnet 152.3.3Inception和GoogleNet 162.3.4ResNet 192.3.5SqueezeNet 212.3.6YOLO和YOLO.......................................................................................................2.4神经网络框架242.4.1TensorFlow 252.4.2PyTorch 262.4.3暗网262.4.4其他框架262.5摘要273动机和范围28卷积神经网络已经被广泛使用。但它也带来了挑战。我们介绍了所遇到的困难，并确定了本章的工作范围。3.1神经网络的新挑战3.2任务和方法293.2.1计算机视觉的任务3.2.2图像集303.2.3绩效评估313.3CNN的运行时平台3.3.1CNN的平台和加速器3.3.2FPGA平台和开发工具373.4摘要46II4CNN压缩和加速的最新技术水平47基于CNN 的系统通常是资源密集型和计算密集型的。如何压缩和加快CNN？我们将在本章中讨论这个问题。4.1紧凑型设计474.1.1较浅的深层神经网络4.1.2最小卷积内核474.2量化484.2.1使用定点而非浮点484.2.2使用积分表示浮点494.3修剪和稀疏神经网络514.3.1结构性修剪524.3.2重量修剪524.4使用新的计算基元4.5其他54个4.5.1经典压缩方法544.5.2低阶因式分解544.5.3空间制图554.6比较和结论565基础实验59本章介绍的实验是后续工作的参考和基础。5.1紧凑型设计595.1.1建筑设计595.1.2实验和分析605.2Tiny-YOLO 61的定量5.2.1网络设计625.2.2实验和结果645.3结论646选择性二进制化网络66在本章中，我们使用选择性二进制化方法来构建一个具有容错能力的加速对象检测网络。6.1二进制化方法666.1.1二进制化函数666.1.2通过离散化传播梯度6.1.3构建二进制化网络686.2架构和仿真686.2.1探索建筑6.2.2构建选择性二进制化网络6.2.3模拟716.2.4分析和结论726.3硬件设计和实施746.3.1硬件设计746.3.2在PYNQ-Z1 76上实现6.3.3实验和结果776.4结论777四向网络79本章介绍的Quad-Approx网络可以实现低比特无损量化，从而为压缩和加速提供了另一种选择。7.1四向和四向网络797.1.1PACT构建四人网络797.1.2四人网络817.1.3四近似网络827.2模拟837.3硬件设计和实施85III7.3.1高级语言和VivadoHLS 857.3.2硬件设计857.3.3硬件调整907.3.4实施和实验结果917.4结论928MinConvNets 93算子近似是神经加速的新方向网络。8.1乘法的近似运算8.1.1类似操作938.1.2近似操作978.2构建近似网络988.2.1构建近似卷积988.2.2近似卷积层1008.3实验1018.3.1网络和图像集1018.3.2近似网络1018.3.3迁移学习1028.4比较1028.5结论104我的故事结束了，但我的作品开始了。B.2.1设计紧凑型108B.2.2量化网络B.2.3Elagage网络.....................................................................................................B.3选择性二进制化109B.4四向网络110B.5MonConvNets 111B.6结论1129结论和未来工作105A 科学生产107B 法文扩展摘要108B.1 引言。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...108IV××图列表2.1人工智能时间线。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...52.2大小为3x3x1的单个滤波器的卷积示例。... ... ... ... ... ... ... ... ... ...92.3用于分类11的典型CNN架构2.4CNN的梯度下降训练方法2.5LNet的结构。................................................................................................................142.6AlexNet的结构。.......................................................................................................... 162.7《盗梦空间天真》第17版的结构2.8《盗梦空间》第17卷的结构2.9GoogleNet的结构[1]。................................................................................................. 182.10 剩余网络的一个块2.11 ResNet 20中不同深度层的连接2.12 SqueezeNet 21中的消防模块2.13 SqueezeNet 21的结构2.14 YOLO的结构[2] 222.15 图像被分割成SxS网格（图中S=7）[2] 222.16 边界框内容232.17 Tiny-YOLO 24的结构3.1基本计算机版本任务示例303.2对象检测示例和IOU说明。........................................................................................323.3用于评估分级对象检测的回忆精度计算3.4网格FPGA架构。有 关 FPGA架构的更多详细信息，请参见[3]。....................... 353.5管道技术363.6可配置逻辑块3.73输入逻辑操作393.8用于逻辑运算的3输入LUT3.9Vivado设计套件高级设计流程403.10 Zynq APSoC架构423.11 PYNQ-Z1 443.12 ZCU102板45中的设备和接口4.155内核的视野被33内核取代484.2计算机中医生的格式。................................................................................................494.3连续定量504.4神经网络修剪5.1量化的网络设计6.1在DAC数据集上培训12种架构。................................................................................736.2硬件体系结构概述6.3图像到矩阵（im2col）变换6.4流加速器的详细体系结构。.......................................................................................766.5卷积通道的详细体系结构。.......................................................................................766.6建筑选择及其与屋顶线的解释。................................................................................766.7选择性二进制化体系结构的执行时间。....................................................................777.1值的非均匀分布导致广泛的准确性损失807.2近似2位无符号乘法。..................................................................................................827.32位操作数的标准多路复用器之一7.4四元网络的IOU，然后是四元网络。........................................................................84V7.5纯四近似网络的IOU .....................................................................................................847.6硬件体系结构概述7.7加速器86的详细体系结构VI7.8FPGA第86部分中的图像到矩阵7.9矩阵被分割成块888.1卷积层被认为是一个系统。.......................................................................................948.2由最小选择器构建的近似乘法系统。........................................................................968.3通过精确和近似运算的卷积图像8.4关于L，k，v的数字.....................................................................................................998.5LENET应用于MNIST的前1名准确性。....................................................................1038.6LeNet应用于Cifar10的前1名准确性。.....................................................................1038.7mini-cifar应用于Cifar 10的前1名准确度。............................................................. 103B.1修剪网络............................................................................................................................B.2L’approximation de deuxVII表列表2.1二进制分类的结果。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...72.2LeNet-5C3层的连接浮点数50的表示5.1Tiny-YOLO-v1 605.2Tiny-YOLO-v2 605.3各种分辨率的IOU5.4不同体系结构的性能5.5数据量化的影响6.1用于构建二进制网络的激活函数摘要。.................................................................... 676.2标准CNN、量化CNN（8位）、BWN和XNOR-Net的性能。.....................................696.3从乘法到XNOR 696.4混合Tiny-YOLO网络的12种架构716.5采用Zynq 7020 FPGA的PYNQ-Z1板中的资源利用率。............................................ 777.1tiny-YOLO网络的结构和用于剪切的α. ... ... ... ... ... ...847.2YOLOV2和各种图像集的四近似网络。... .... ... ... ... ... ... ...857.3使用和执行时间。... ... ... ... ... ... ... ... ... ... ...... ... ... .... ... ... ... ... ... ...928.1绝对值的相关系数。... . . . . . . . . . .. ... ... ... ... ... ...958.2操作SMIN（a，b）。. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... .... ... ... ... ... ... ...988.3LNet网络。 ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... .... ... ... ... ... ... ...1028.4迷你Cifar网络。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .... ... ... ... ... ... ...1028.5不同体系结构和映像集的准确性. ... ... ... ... ... .... ... ... ... ... ... ...1021×第一章引言机器学习前所未有的成功将我们带入了一个人工智能时代。 神经网络是机器学习中最好的算法之一，已被用于解决各种问题，如计算机视觉和语音识别。这些问题很难用传统的基于规则的编程来解决。然而，神经网络仍然面临着许多挑战。本文提出了一个重要挑战的解决方案，即如何使资源密集型CNN更容易部署在资源有限的平台上。1.1上下文虽然神经网络自20世纪40年代以来就存在[4]，但重要的突破可以追溯到2012年，当时Alexnet [5]超越了人类编程的图像分类方法。这一成功背后的主要促成因素被认为是云中大型数据集的出现和巨大计算能力（例如GPU）的可用性。自那时以来，自定义神经网络加速器的研究稳步增长，并提出了几种架构[6，7，8，9]，最近，谷歌将TPU（张量处理单元）[10]商业化。如今，强大的云集群及其巨大的计算能力使机器学习算法能够广泛应用于数据挖掘、证券市场分析和医疗诊断等多个领域。然而，随着物联网、无人机、智能城市和可穿戴设备等嵌入式平台的发展，CNN越来越多这些应用程序通常具有实时限制和非常紧的功率预算。 到期日对于嵌入式系统有限的计算资源，CNN总是离线预训练，然后在嵌入式系统中实现，用于推理阶段。然而，大多数神经网络，如卷积神经网络（CNN），由于卷积计算需要大量的乘法-累积（MAC）运算，在无意识阶段仍然是计算密集型和资源消耗型的。例如，AlexNet [5]要求大约1。卷积层中的5G乘法运算将处理224，224个图像。 对于更复杂的任务，如对象检测，乘法运算的数量更高。在计算中，乘法总是更难简化或消耗时间，因此提出了几种方法来加快或压缩网络。量子化是一类使用低精度算术的方法。[8]提出了半精度浮点，[10]使用8位量化权重，[13，14]提出使用二进制权重和特征映射。与最初的32位编码的神经网络相比，量子化网络更小，几位乘法可能会消耗一些特殊平台的计算资源修剪网络是另一种被广泛讨论的压缩和加速神经网络的方法。修剪的主要想法是切断神经网络中多余的神经元，从而减少操作的数量。[15，16，17]中提出了对过滤器进行排序然后删除不重要过滤器的过滤器清理方法。在权重修剪方法[18，19，20]中，每个过滤器中的不重要权重被丢弃并设置为0，因此可以构建稀疏网络并通过稀疏矩阵计算器加速还有一些其他的压缩和加速技术，我们将在第4章中详细讨论21.2有问题虽然许多优秀的工作在这一领域取得了很大的进展，但在卷积神经网络的压缩和加速方面仍然存在许多不足。例如，尽管二进制网络在图像分类方面做得很好，但它们往往会在更复杂的任务中失去准确性，例如需要定位图像中的对象的对象检测。然而，越来越复杂的任务正逐渐被部署到嵌入式系统中，比如需要跟踪物体的无人机，或者需要定位行人的自动驾驶汽车。由于嵌入式系统总是具有有限的资源，因此对于这些更复杂的任务，压缩和加速已经成为一个有吸引力的主题。为了解决当前神经网络优化的缺陷，并使其得到更广泛的应用，提出了以下问题：• 是否有可能优化现有的方法或提出新的方向来加速和压缩CNN，使CNN需要更少的资源，但可以处理更复杂的任务？本文试图回答这个问题。虽然神经网络可以有几种不同的变体，如多层感知子、卷积神经网络（CNN）、递归神经网络（RNN）、长期短期记忆（LSTM）等。1.3贡献为了压缩和/或加速CNN，提出了三种架构：选择性二进制化网络、四近似网络和MinConvNets。选择性二进制化结合了CNC中不同精度的层，以实现可接受的速度和精度。选择性二进制化的贡献如下：• 介绍了由多个精度层组成的CNN结构。 用于 对于每个卷积层，有三种不同的精度级别可供选择：特征映射和权重的半精度浮动;特征映射和二进制权重的半精度浮动;以及二进制特征映射和权重的浮动。在二进制层中，乘法-累积（MAC）运算被转换为加法或/和减法或XNOR-弹出计数逻辑运算。同样，可以使用代替传统MAC操作员的新计算机来加快计算速度。• 在本文中，提出了一种与这三种不同精度兼容的体系结构。可以根据不同的场景为每个层灵活地选择不同的精度，然后应用适当的实现来加速计算。据我们所知，这是第一个提供这种选择的体系结构。• 已经提出了一种用于寻找二进制层的最佳使用的体系结构探索方法，其被称为选择性二进制。AIM使用选择性双稻田来提高性能并降低功耗，同时保持可容忍的精度损失。然后提出了一种适用于深度学习加速器的端到端流架构。四近似网络是具有几位量子化和近似算子的结构。贡献如下：• 将PArameterized Clipping acTivation招待函数（PACT）[21]方法应用于我们的训练过程，并提出了一种用于量子化少位有符号值的有符号PACT方法。• 基于该方法，我们证明了有符号3位量化对于对象检测任务是足够好的。其他人已经表明[14，22]二进制化网络（1位）足以用于分类任务。• 提出了一种用于3位乘法的近似乘法器电路，其可以实现1.2倍的速度。3• 提出了一种将乘法器近似值反馈到训练过程中的训练方法，从而避免了总体精度的损失。最后，提出了MinConvNets。但是，与1.1节中介绍的加速乘法或减少乘法运算次数的经典方法不同，乘法在本文中直接放弃。CNN中的乘法被轻量级运算所取代。这项工作的主要贡献是：• 提出了一套衡量两种运算之间近似程度的准则。基于这些准则，提出了一种近似乘法运算，用于容错系统。• 在所提出的近似运算的顶部，探索了一个没有乘法的近似卷积层来代替传统的卷积层。然后，我们使用名为Min- ConvNets的近似卷积层构建并训练CNN。该基准测试应用于MinConvNets，以显示在图像分类任务中可以实现无损准确性。• 这项工作表明，除了乘法，其他灯光操作仍然可以有效地提取图像特征。这为CNN在未来的压缩或加速工作提供了新的方向。选择性二进制化是一种结合并改进现有压缩方法的结构优化。Quad-Approx Networks对CNN中的操作数进行量化，以解决现有优化方法的一些困难，并基于几位量化应用近似运算符。MinConvNets的工作直接使用近似运算符，为压缩和加速CNN提供了新的方向。这三个工作通过改进CNN的结构、操作数和运算符来回答第1.2节中提出的问题。这些工程减少了CNN所需的资源，并使其更容易部署在资源有限的系统一方面，它丰富了CNN的使用场景我们已经进入了人工智能的时代，就像物联网的时代一样。这项工作可以整合这两个领域，帮助我们创造人工智能物联网的时代1.4组织论文组织如下：• 第二章介绍了机器学习的历史和卷积神经网络的技术。• 第三章描述了CNN面临的挑战，并确定了解决这些挑战的任务和平台。• 在第4章中介绍了最先进的工作，而在第5章中实施了一些方法来测量性能。• 在此基础上，在第6章、第7章和第8章中，分别提出了选择性二进制化、四近似网络和MinConvNets来加快CNN的速度。• 在第9章中，讨论了结论和未来工作。4第二章机器学习与卷积神经网络自上个世纪以来，机器学习和卷积神经网络一直被提出和讨论经过几十年的发展，卷积神经网络已经是当今机器学习领域中功能强大的算法之一。本章介绍机器学习，特别是卷积神经网络。首先，介绍了神经网络的发展历史和卷积神经网络的基本技术。接下来，讨论卷积神经网络的一些经典和重要结构。然后，我们在本章中讨论并比较了广泛使用的神经网络框架。在本章的最后，我们将对它们进行总结。2.1机器学习人类一直在努力使机器变得智能，也就是人工智能。在20世纪50年代，人们相信，如果机器获得了理性的能力，那么机器就会变得智能。例如，《逻辑理论家》（LogicTheorist）是A. Newell et al. [23] [24]是第一个经过深思熟虑设计来执行自动推理的程序，被称为"第一个人工智能程序"。他最终证明了怀特海和罗素的《数学原理》中前52个定理中的38个，并为其中一些定理找到了新的但是，即使机器具有合理的能力，由于缺乏智能，它也离智能很远。知识。因此，在20世纪70年代，人工智能的发展进入了一个在此期间，出现了大量的专家系统，并在许多领域取得了许多成就。然而，在一只手，人们逐渐意识到，这是一个巨大的工作量项目，人们来他们的知识，然后教它的计算机。另一方面，计算机按照人类积累的规则和知识进行操作，这意味着它们永远无法超越它们的创造者。为了解决这个问题，许多学者认为机器可以自己学习知识。机器学习的概念和方法已经提出。图2.1显示了人工智能和机器学习发展的时间线。机器学习现在是一个涉及许多算法、任务和理论的大家族。 它包括但不限于诸如决策树、神经网络、支持向量机（战车）和贝叶斯分类器之类的算法。这些算法试图从大量数据中发现隐藏的规则，并将其用于预测或分类。更具体地说，机器学习可以被看作是在输入（样本数据）和输出（期望的类）之间找到映射函数的算法，但是该函数太复杂而不能以方便的方式表达。2.1.1构建机器学习系统获得此功能的过程称为训练机器学习系统。一般来说，训练神经网络有三个步骤5{}MM我我i=1理由周期20世纪60年代机器具有推理能力。然而，由于缺乏知识，它离真正的情报还很远。知识期20世纪70年代机器学习的知识由人类，他们获得智慧。机 器 学习期20世纪80年代联系主义越来越受欢迎。神经网络正在吸引注意力。图2.1：人工智能时间线选择合适的型号该模型包括函数模型和用于训练的数据集。函数模型的选择通常取决于实际问题，并且需要为不同的任务选择适当的模型。例如，决策树和支持向量机都可以解决二进制分类任务，而卷积神经网络（CNN）通常更擅长处理图像。大多数机器学习算法都有一些参数需要配置。由不同参数引起的性能通常显著不同。即使我们确定了所使用的模型，也需要不断调整模型的参数。这种调整称为参数调整。另一个重要的选择是培训数据集，其中应包含各种各样的样本。例如，当我们想训练一个能够区分猫和狗图片的网络时，训练样本集应该包含尽可能多的不同的猫和狗图片。如果训练集只包含黑狗和白猫的图像，则系统可以学习识别颜色而不是动物。如果数据集只包含猫和狗，则经过训练的网络将无法识别兔子和马。应该指出的是，机器学习的目标是使学习的函数更好地适用于"新"样本，而不仅仅是在训练样本上表现良好学习函数应用于新样本的能力称为推广。为了获得概括性，系统应尝试学习样本的一般特征。如果机器学习系统依赖于样本的特定特征，则可推广性将降低。这称为过拟合。测量系统的性能绩效指标可以反映模型的质量。对于给定样本集D=（x1，y1），（x2，y2），...（xm，ym），其中yi是样本xi的地面真实度，当测量系统f的性能时，需要将预测结果f（x）与地面真实度y进行比较。例如，平均平方误差E（f，D）是回归任务中最常用的性能指标：1−2E（f，D）=（f（x）−y）（2.1）根据任务的不同，测量标准也不同。 例如，第2.3.6节中介绍的YOLO可以对图像进行分类并定位图像中的对象。因此，YOLO的测量标准不仅应评估分类的正确性，还应评估物体位置的准确性。第3.2.3节介绍了分类和对象检测任务的一些测量标准20世纪90年代21美分。统计学习已成为主流。广泛讨论了与支持向量机类似的方法。随着深度学习的发展，连接主义得到了重新强调，深度学习的方法也得到了逐步改进。6查找当我们根据测量标准构建机器学习系统时，我们更喜欢挑选出最好的函数来解决我们的问题。但事实上，这并不容易。例如，一些大型卷积神经网络可能是包含数万亿个参数的非线性系统，并且不可能一个接一个地尝试这些参数并得到最优解。但是，我们可以构建系统的损失函数，该函数可以用性能指标来表示。然后，我们通过专用算法调整参数，以找到损失函数的最小值。通过这种方式，我们将参数选择问题转化为数值优化问题。下一步是使用一些优化方法来找到损失函数的最小值。例如，最小平方法可以应用于优化回归系统，而卷积神经网络通常使用梯度下降算法来最小化其损失函数并优化其大量参数。基于这些步骤，可以训练机器学习系统进行预测。对于不同的任务和方法，实现也不同。2.1.2通用概念和方法接下来，我们将介绍一些在构建机器学习系统时经常提到的概念和方法这些也可以在后面的章节中使用回归、分类和结构化学习这些词表达了机器学习系统的不同目标回归模型的输出是定量变量的值。该模型通常用于根据已知案例预测未知案例。该模型包括二进制分类和多类分类。二进制分类是将给定集合的元素分类为两组的任务，即正/负。 多类是将实例分类为三个或更多类之一的问题。基于不同的问题和结果，二进制分类的输出和测量标准是不同的。表2.1显示了二进制的结果分类。在该表中，列比率为真阳性率MPR=TP/（TP+FN），又名敏感性或回忆，以及假阴性率FNR=FN/（TP+FN）;和真阴性率TNR=TN/（TN+FP），又名特异性或SPC ， 以 及 假 阳 性 率 FPR=FP/