长短期记忆和卷积神经网络的生物学基础：方法综述和比较

⃝⃝可在www.sciencedirect.com在线ScienceDirectICT Express 4（2018）100www.elsevier.com/locate/icte长短期记忆和卷积神经网络真的是基于生物系统吗David Balderas Silva，Pedro Ponce Cruz，Arturo Molina GutierrezTecnologico de Monterrey国家研究部，Puente 222，Del。Tlalpan，墨西哥城，14380，墨西哥接收日期：2018年1月24日;接受日期：2018年在线提供2018年摘要一般来说，预测序列或对图像进行分类不是一个简单的任务，当两者结合时就更成问题了然而，生物系统可以很容易地预测序列，并且擅长图像识别。基于这些原因这些算法已经显示出很好的特性，并显示出一定的相似性，但它们仍然与它们的生物对应物不同本文对这两种方法的生物学基础进行了综述和比较。c2018 韩 国 通 信 与 信 息 科 学 研 究 所 （ KICS ） 。 Elsevier B. V. 的 出 版 服 务 。 这 是 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：分类方法;序列预测;图像分类;视觉;记忆1. 介绍两个自动化问题是复杂输入的分类（即，图像）和序列预测。第一个问题需要通过理解输入中的内容来解释输入，这可以通过找到模式，分解它们并随后指定一个类来解决。另一方面，序列预测需要回忆与所呈现的事件相似的过去事件，建立模式并进行预测。因此，预测复杂输入的序列甚至更成问题因此，要解决这些问题，需要一种算法，可以分解输入并具有某种内存。大脑能够轻松地完成这些事情Hopfield在1988年将人脑定义为由有机材料和湿化学制成的计算机这种说法不应该掉以轻心，而大脑需要更多的努力，数学*通讯作者。电子邮件地址：dc. itesm.mx（D.巴尔德拉斯·席尔瓦），佩德罗·庞塞@ itesm.mx（P。Ponce Cruz），armolina@itesm.mx（A.Molina Gutierrez）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2018.04.001虽然它的运算能力比硅计算机强，但它在物体识别和解码自然语言方面的性能优于大多数机器。大脑是如此强大，可以快速分离不同的输入（视觉，听觉，感官，运动等），处理它们，丢弃信息并决定行动，同时仍然控制器官。目前，大脑还远未被理解，但有几个领域及其工作原理可以作为新算法的灵感来源。比如，听觉区处理音量、音高、声音定位、节奏模式和理解语言的信息;感觉区涉及皮肤和其他感觉;运动区负责肌肉的自主控制;视觉区分解图像以理解空间定位、物体检测、识别、运动和颜色的信息。另一个区域是记忆区，负责收集信息，分离，加强或减少连接等等。长短期记忆和卷积神经网络是两种基于脑区的算法，它们在分类、序列预测和复杂数据分解方面表现出色。更重要的是，这两种算法目前正在结合起来，用于分类更多2405-9595/c2018韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。D. Balderas Silva等人/ICT Express 4（2018）100101复杂数据如前所述，这些领域还没有完全理解，但有许多理论的基础上，他们如何工作。本文旨在对神经、视觉和记忆区域进行综述，以更好地了解它们的工作原理，并对它们目前所缺失的内容提出看法。2. 大脑激活人类接触到大量的信息， 到达许多区域进行处理、储存和丢弃。问题是这些信息中的大部分是多余的，不需要的，需要丢弃。另一个问题是，大多数过程在不同的时间开始完成一项任务（在手指完全配置之前，抓取开始于手臂运动）。为了实现这些并了解大脑内部发生的事情，区分每个信号遵循的路径是很重要的，从外部输入的神经激活开始，到处理中心或存储单元。2.1. 神经激活神经元是大脑中的基本元素，它们与其他神经元的连接可以适应，从而产生表征或处理信息。神经元可以改变它们的连接或准备释放发射器（暂时增加或减少，而不需要神经元中的任何活动），以与其他神经元通信。重要的是要记住，这些连接的变化可以是持久的，也可以是暂时的[2]。一个神经元首先从其他神经元或传感器接收到的信息是通过到达树突的化学物质（神经递质）然后，如果输入足够强，神经元将产生一个脉冲，从胞体开始，通过轴突终末分支传递到其他神经元。神经电脉冲，也称为动作电位，是短暂的电事件，通过改变细胞内外钾和钠的离子浓度，短暂地逆转其膜极性，从负（极化）到正虽然这是真的，但保持传输信息的真正机制仍然是未知的，当呈现信息时，存在频率明显变化的区域如传出（运动）外周系统的频率/强度关系和传入（感觉）中枢神经系统的放电频率增加。此外，还有一些频带的信息被认为是编码。这些频段似乎对不同的精神状态起作用。例如，Delta Rhythm（1-3 Hz）是在深度睡眠状态或昏迷或β节律（13-26 Hz）中存在的状态。值得注意的是，没有充分解释如何进行编纂，以及在特定频率发生了什么或为什么只限于这些频率。此外，神经元适应恒定的刺激，逐渐降低放电率。这意味着恒定的刺激不能与单个速率代码相关联，换句话说，编码不能从简单的刺激或频率中暗示出来2.2. 脑区在正常情况下，人类大脑平均包含1000亿个神经元，平均每个神经元有1000个突触连接（大约1014个），这使得准确了解指令或记忆在大脑中的路径变得复杂。 然而，在大脑内部存在着共同工作的区域。例如，一般区域是：额叶负责解决问题，判断和运动功能;顶叶管理感觉，笔迹和身体姿势;颞叶负责记忆和听力;枕叶负责视觉处理系统。另一个区域位于大脑的不同区域，就像记忆一样，它取决于从眼睛开始到大脑后部结束的输入或视觉2.3. 存储器多年来，了解大脑如何创造记忆一直吸引着许多科学家。Hilgard和Marquis将学习定义为这意味着学习必须通过重复的过程来完成，以加强联系，以便以后使用。某些研究记忆的方法假设，项目是由相同的神经元中不同的活动模式来表示的，而不是占据可以通过关联联系起来的不同位置。这意味着，使用不同的活动模式，一组元素可以代表不同的记忆，这些记忆可以在以后通过生成相同的模式来检索。然后，一个特定的记忆必须由一个微观特征的模式或一组特定的活动单元来表示。换句话说，回忆一段记忆必须涉及从大脑的不同位置重建信息。具体来说，这些位置的痕迹被称为记忆元[5]，作为神经组织中的持久性编码，为记忆的持久性提供了物理基础，换句话说，记忆痕迹。值得注意的是，定位这些痕迹并不简单，但已经定义了某些特征。首先，记忆痕迹是特定经历或事件在大脑中产生的持续变化，它们具有记忆提取（当特定线索接近记忆时触发的记忆提取过程）的潜力，并且，记忆痕迹的内容显示了编码时发生的事情，并预测了在随后的过程中可以恢复的内容。1据信，印迹的形成需要在编码期间活跃的一组神经元中的突触连接上的加强，这产生神经元系综。因此，突触连接的增加增加了用于编码的相同路径将用于1记忆体可能处于休眠状态（甚至在创建或恢复记忆体之前路径就已存在）。102D. Balderas Silva等人/ICT Express 4（2018）100∼∼检索记忆印记必须是分布的和局部的;高度分化和专业化。因此，没有单一的体育中心存在，许多部分参与个别事件。它还涉及有限数量的大脑系统和通路，每个部分对代表的贡献不同。此外，信息存储与负责分析传入信息的处理系统相关联。此存储可以修改发送到类似分析通道的额外数据。例如，如果另一个单词使用相同的语音和定位，则很难回忆起听到的字符串字符[6]，或者在观看字母100 ms后闪烁的灯光可以擦除其记忆[7]。此外，许多需要巨大记忆容量的壮举高度依赖于处理技能。例如，随着玩家的专业知识的增加，棋盘中记住的棋子数量会增加，但只有在之前见过图案的情况下，否则记住的棋子数量类似于天真[8]。重要的是要知道，记忆痕迹是动态的（一些记录是塑料的），已经建立的记忆可以用新的信息更新或改变，或者检索记忆可能会暂时破坏先前巩固的记忆痕迹[9]。这种动态行为的一个例子是反向学习，其中处理第二次辨别，但最初的2所有类型的学习都表明，这并不容易，并且需要研究神经基质（分子、突触、神经元、神经元集合和/或脑回路和网络的水平）的变化。Ramon y Cajal [10]是最早研究这种变化的人之一，他正确地假设轴突与神经元在突起（树突棘）处连接，并提出经验诱导的修饰将发生在这些连接处（后来被确定为突触）。在Ramon y Cajal的步骤之后，Donal Hebb [4]说，同时放电的单位之间的连接强度会增加，从而产生神经元集合。学习的特征在于神经元结构的变化，并且依赖于生物化学或生物物理事件的突触修饰，并且可以伴随着神经元结构的形态学改变其他的变化出现在突触化合物中;在胞体的重量和厚度中;在树突分支的数量、长度和突触直径中;以及在树突棘的数量和形状中以及在神经兴奋性中。其中一些变化持续时间较短（即，突触化合物的改变然而，这些变化是相互关联的（化合物的变化可能导致突触强度的改变），并且它们内部是神经集合形成的基础。为了更好地了解这种痕迹的形成，他们可以2在这两种情况下，学习通常需要更长的时间，因为它必须覆盖已建立的连接。可以用两种记忆来解释：短期记忆和长期记忆。1999年，《中国科学院学报》（ 15到30秒），如果有分心，可能会丢失。据信STM是伴随行为习惯化（在位于通路早期的重复刺激后发生的反应减弱）或敏化（重复给予刺激导致反应的进行性放大）的神经修饰，其包括感觉神经元释放递质的能力的突触前变化。短时记忆的概念是，它保存着完成计划中的事件所需的信息，比如在选择一个解决方案之前，先在脑海中探索不同的可能解决方案。为完成任务而保存信息的能力是人类的一个特征，导致大脑区域变得非常活跃，特别是与其他物种相比人类高度发达的前额叶。长期记忆（Long Term Memory，LTM）是一种持续的记忆对于STM成为LTM，它必须经历一个成熟过程，这使得痕迹对一些可能损害或消除STM的试剂具有抵抗力[2]。这种成熟被称为巩固过程，这是细胞或突触，其中任何一个都可以持续几天到多年。从短时记忆到长期记忆的转换需要经过海马体，海马体会对新的感觉进行分类，将它们与之前保存的感觉进行比较，并建立关联。之后，为了记住新的事实，信息会多次通过海马体，加强新旧事实之间的联系，直到不再需要。在这些点上，相应的皮层区域已经学会了正确的关联来重建记忆。值得注意的是，虽然海马体是转换信息的催化剂，但它并不被视为记忆中心，因为记忆痕迹在几个地方编码。然而，海马体损伤的受试者不能存储新信息超过几分钟。据信，存储记忆的过程被称为长期增强（LTP），这是由于连续刺激而导致的突触连接的持续加强，其在突触连接上变得持续，仅用几分钟的刺激[11]。这些变化伴随着树突棘连接变圆的暂时变化（8小时）。一些实验表明，为了加强联系，LTP使用一种蛋白质（PK Mβ）作用于特定的突触结构，修改突触从而持续丰富编码记忆的突触传递。假设由于LTP而持续加强，突触连接将变得如此牢固，以至于不可能编码新的信息。因此，为了保持神经元的可塑性，必须存在一个削弱这种连接的过程[12]。这就是所谓的长期抑郁症（LTD）。与LTP不同，LTP是一种短暂的高频刺激，LTD发生在神经元长时间以低速率刺激时。值得注意的是，这两个过程是互补的，D. Balderas Silva等人/ICT Express 4（2018）100103Fig. 1. （a）产生增强和抑制标签，（b）产生LTP和LTD的蛋白质。（c）LTP和LTD增强和减少突触连接。LTP能增强兴奋性突触后电位，而LTD则能降低兴奋性突触后电位，从而使知识调节成为可能。①的人。2.4. 视觉系统人类的视觉系统无疑是世界奇迹之一，能够观察其物理环境。即使是模糊的图像或变形的物体也可以识别。视觉系统学习如何区分形状，大小，波长，方向和运动方向。当信息进入眼睛时，它能够将信息一分为二，将其送回视觉皮层，这些视觉皮层有数百万个神经元，它们之间有数百亿个连接，这些连接将图像分解以进行处理。视觉皮层分为初级视觉皮层（V1）和一系列视觉皮层（即V2，V3，V4和MT），它们逐渐处理更复杂的图像，见图1。 二、一般来说，视觉系统主要由两部分组成：眼睛和大脑。而大脑工作时作为一种复杂的图像处理工具，眼睛相当于照相机。首先，眼睛聚焦在物体上并捕获从物体反射的光，然后，直接击中眼睛的光在那里，只要光束在电磁光谱范围内（约300至700 nm），就会通过视神经产生电信号。在视网膜中，光通过两种类型的光感受器转换为电脉冲：杆，负责在低光水平上的视觉（暗视觉），仅感知灰色阴影，以及锥，在较高光水平上活跃（明视），感知颜色，并负责高空间活动。事实上，为了检测颜色，存在三种类型的视锥细胞，并且每种视锥细胞对电磁波谱的不同波段（低波长的红光、中波长的绿光和短波长的蓝光）敏感。这些光感受器一起工作以产生图像。其中的一个例子是抑制行为，这是对眼睛的侧抑制，通过去模糊、对比度增强（抑制使变化）来图二. 不同层次的视觉系统。在边缘附近看起来更明显，即。马赫带）和边缘检测。光感受器产生的信息被压缩并通过两种类型的神经节细胞传递：大细胞和小细胞。它们的大小、感受野的大小和传导率不同。一方面，大细胞体积较大，感受野大，传导率高，负责传递深度和运动信息;另一方面，微小细胞较小，具有短的感受野和缓慢的传导速率，它们负责处理有关颜色和细节的信息。从进化的角度来看，细胞上的这些分化可以解释，因为知道是否有什么东西正在快速接近比知道到底是什么更重要。值得注意的是，在每只眼睛中有大约108个杆和锥，但在视神经中只有106个神经节细胞轴突所以，104D. Balderas Silva等人/ICT Express 4（2018）100(a)（b）第（1）款图三. 神经节细胞激活和侧向激活。神经节必须接受来自多个受体细胞的信息这是由StephenW.Kuffler [13]认为：即使在黑暗中，神经节细胞的放电速率也很慢;将漫射光引导到视网膜对其速率几乎没有影响，但是落在视网膜或其周边上的小圆形区域上的直接微小斑点可以增加或抑制神经节细胞的放电速率;同时照射在视网膜及其周边上的光对放电速率没有影响;最后，其他神经节细胞具有被“开”区域包围的中央因此，视神经并不是简单地告诉大脑已经检测到了光，而是光和暗之间的对比（即，形状）已被检测到，见图。第3（a）段。信息被发送到外侧齿状核（LGN），在那里它连接到一组新的中间神经元。然后，信息被发送到枕叶皮层的一个专门区域，称为视觉皮层。这个区域是由David Hubel和Torsten Weisel [14]发现的，他们在这个区域插入电极，同时将图像投射到动物的眼睛中，而不仅仅是直接的光，并观察放电率的产生（图3（b））。这个实验解释了即使LGN中的细胞与神经节细胞的反应相似，它们也不再对光圈做出反应，而是对亮条（或暗条）或亮区和暗区之间的直线边缘做出反应。具体地说，如果他们从排列在一条线上的LGN细胞（具有圆形响应区域）接收信息，则可以解释这些对线的偏好（图11）。3（b））。此外，然后，另一种类型的细胞，即使相同的原理可以用于理解如何检测曲线（使用神经元检测预定义的二维形状），Steven Zucker [16]有一个理论，其中，不是检测逐点的曲线，而是使用来自半相似方向线的连接来检测直线的导数（在某个点处相切）。通过使用这些神经元的同时放电，它会调整到一个连续的曲线，而不是单独的点。这些理论还可以解释如何使用角度变化的速率来检测单眼深度（使用相同的切向角系统），该速率允许在没有双目视觉的情况下进行深度感知。另一个重要的领域是运动的感知，这是通过视网膜图像中不同的光模式来检测的。重要的是检测运动，以推断是否有正在向你的方向移动（吸引注意力）; 2从背景中分割前景; 3查看3D形状并在空间中进行自我定位（导航和避免碰撞）。问题是，它可以很容易地欺骗一个简单的光变化（例如旋转螺旋）。负责运动的区域是运动轨迹区。这个区域的神经元对速度（速度和方向）有选择性，从V1的方向选择神经元它也可以通过刺激对运动做出反应的区域来欺骗，即使感知时刻是在相反的方向上。3. 计算神经科学人工神经网络（ANN）是受生物神经元启发的模型。值得一提的是，人工神经网络神经元的复杂性是高度抽象的，网络与真实的行为还有很大的距离。然而，许多事情已经通过使用它们完成，并创建了许多理论。例如，第一个神经元细胞模型是由Warren McCulloch和Walter Pitts提出的[17]，它表明即使是简单类型的网络也可以计算任何算术或逻辑函数（图4）。相比之下，ANN单元接收激活输入（通过突触到树突的信号），如果脉冲足够强，则激活功能会在单元将信号发送到连接的单元（信号通过轴突到达突触）时做出反应（超过阈值），并且通过这种机制，它可以理解模式并记住序列。后来，Frank Rosenblatt开发了第一台成功的神经计算机，称为感知器[18]，它从示例中学习以适应其权重，并在1974年Paul Werbos的工作中得到改进[19]，该工作基于误差梯度来适应权重。从这些理论中，许多新的架构已经基于大脑的几个区域开发出来，例如基于记忆的长短Long–Short Term Memory Networks (LSTM)反馈用于提供某种映射序列的记忆。 它使用的单位称为内存块（图。5（a）），其包含存储器单元并且在内部共享乘法门单元D. Balderas Silva等人/ICT Express 4（2018）100105(a) Neuron.（b）神经元模型。见图4。人工神经网络的基本模型。(a)（b）第（1）款图五. 在隐藏层中使用内存块的LSTM。块（图5（b））和一个循环自连接的单元，称为CEC通过它们强制错误流，并通过控制单元的输入，输出和遗忘来控制保留什么，遗漏什么以及为了说明每个存储器，可以看到所有的门都连接到所有的当前输入和所有先前的输出，这可以表示基本的短期存储器;另一方面，来自先前状态的信息可以被保留或擦除（根据遗忘门），并且使用CEC访问（输出门），这将模仿长期存储器。卷积神经网络（CNN）：是一种人工神经网络，其工作原理是以高分辨率提取局部特征，并以较低分辨率将它们成功地组合成更复杂的特征。值得注意的是，CNN是基于Hubel和Wibel的工作[14]，并试图模仿一些细胞对某些线条模式以及明暗模式的反应此外，还有一些其他细胞检测边缘，而不管它们位于何处。总之，CNN的目的是使用过滤器通过在输入特征图上乘以权重矩阵来提取这些过程可以针对若干层重复，直到其到达存在输入特征图的简化的最终部分见图6。 卷积神经网络从那里可以使用其他形式的训练来计算类（图11）。（六）。4. 讨论大脑和人工神经网络之间存在着一些相似和不同之处。在神经元的情况下，大脑改变其结构和连接，以及它如何对它们中的每一个做出反应，以适应其关系。在ANN的情况下，网络仅通过改变其权重值来调整其连接。此外，人工神经网络往往是密集连接的，几乎所有的神经元从一个层连接到下一个，而在大脑中只有0。0001%的连接。比较记忆，大脑显然使用权重和形态的差异来存储信息，而LSTM只能通过调整其权重来记忆，并且选择了多少信息106D. Balderas Silva等人/ICT Express 4（2018）100反馈此外，一方面，大脑显然是通过与过去的事件进行比较来进行预测的，即使它们不相关，另一方面，LSTM必须具有相似的序列才能进行预测。相应地，人类视觉使用层将图像分解为更简单的表示，类似于CNN使用过滤器对简单特征进行分类。相反，大脑对灰色和颜色有不同的单位，可以加速这个过程，而在CNN中，所有细胞之间没有区别。此外，大脑可以区分移动的物体，这是CNN在不使用其他拓扑结构的情况下所缺少的。因此，可以确定一些机会领域：根据信息而不仅仅是权重来调整人工神经元的形态。同时接受不同任务的培训根据先前的假设建立关系。存储器的变化取决于输入的频率（高频存储，低频擦除）。不同的单位取决于加速过程的输入。使用微分来检测不同的形状和运动。5. 结论本文的中心主题是回顾视觉和记忆脑激活区的基础，使用基于它们的两种技术，最终意图是给出它们的生物学基础。虽然这两种算法取得了很大的进展，但据我们所知，它们并不完全类似于它们的生物学对应物。虽然这在未来可能会改变，但目前，它并不完美，大脑仍然具有更高的能力。利益冲突作者声明他们没有利益冲突引用[1] J.J. Hopfield，人工神经网络，IEEE Circ. Dev. Mag.4（5）（1988）3-10.[2] Y. Dudai，巩固的神经生物学，或者，记忆痕迹有多稳定？Annu.Rev. Psychol. 55（2004）51-86.[3] 急诊室希尔加德马奎斯，《条件反射与学习》，1940年。[4] D.O. Hebb，The Organization of Behavior：A NeuropsychologicalTheory，Psychology Press，2005.[5] R.W. Semon，The Mneme，G.艾伦·昂温有限公司，1921年。[6] R.G. Crowder，J. Morton，Precategorical acoustic storage（pas），Perception Psychophys. 5（6）（1969）365-373。[7] D. 陈文辉，视觉掩蔽效应的研究方法与理论，国立台湾大学心理学研究所硕士论文，2001。[8] 张文辉，《国际象棋中的表象技巧》，国立台湾师范大学. 77（1）（1991）65-89。[9] A. Ramos ，E.L. 施瓦 茨， 急诊 室。 John ，Stable and Plastic unitdischargepatterns during behavioral generalization ， Science 192（4237）（1976）393-396。[10] S.R. Cajal，A quelle époque apparaissent les expansions des cellulesnerveuses de la moëlle épinière du poulet？古斯塔夫·菲舍尔1890年[11] S.A. Josselyn，S. Köhler，P.W.弗兰克兰，寻找记忆痕迹，自然。Neurosci. 16（9）（2015）521.[12] D. Purves，G.J.Augustine，D.Fitzpatrick，L.C.Katz，A.S. J.O.拉曼蒂亚McNamara，S.M. Williams，Plasticity of mature synapses andcircuits，2011。[13] S.张文，等.视网膜神经电生理学.北京：神经科学出版社，2001. 16（1）（1953）37-68。[14] D. Hubel，T.王晓刚，等.猫视皮层的感受野、双眼相互作用和功能结构. Physiol. 160（1）（1962）106[15] E. Kobatake，K.田中，猕猴大脑皮层腹侧视觉通路对复杂物体特征的神经元选择性，神经生理学杂志，71（3）（1994）856-867。[16] S. Zucker，从Frenet的角度来看微分几何：边界检测，立体，纹理和颜色，在：计算机视觉数学模型手册，Springer，2006年，pp.357-373.[17] W. McCulloch，W.皮茨，神经活动中不可或缺的概念的逻辑演算，布尔。数学。生物物理学。5（4）（1943）115-133.[18] F. Rosenblatt，感知器，感知和识别自动机项目Para，康奈尔航空实验室，1957年。[19] P.J. Werbos，Beyond regression：new tools for prediction and analysisinthebehavioral sciences ， in ： Applied Mathematics （ DoctoralDissertation），Harvard University，MA，1974。······