传感器内计算：AI视觉芯片与人类视觉系统启发的硬件突破需求

工程14（2022）19意见和评论传感器内计算的未来展望潘文a，郑继源b，赖旺a，b，罗毅a，ba清华大学电子工程系，北京100084b清华大学北京国家信息科学技术研究中心，北京100084由于生物学和数学的突破，人工智能（AI）的使用在当今大多数应用中迅速升级新的硬件系统非常需要满足人工智能的要求，包括计算能力和能源效率。人工智能的主要目标之一是模仿人类大脑的功能，这是由神经元的大量相互连接实现的。例如，视觉皮层是大脑中处理视觉信息的区域。包括视觉皮层的人类视觉系统是高度紧凑和节能的。视网膜包含数亿个光敏神经元，这些神经元通过预处理和控制神经元相互连接，以增强图像质量、提取特征和识别物体。一旦光敏神经元检测到微不足道的信号，它们就会被禁用，只有关键的信息才被转移到皮层进行深度处理。然而，目前普遍使用的人工成像硬件系统不像人类视觉系统那样起作用诸如电荷耦合器件（CCD）阵列和复合金属氧化物半导体（CMOS）阵列的传感器通过总线（即，冯·诺依曼架构）与存储器和处理单元串行互连。尽管当前的成像硬件系统在传感单元密度、响应时间和敏感波长范围方面比人脑具有优势，但当执行复杂的人工智能任务时，它们的功耗和处理延迟正成为问题在大多数图像处理应用中，传感器产生的数据中有90%以上是冗余和无用的[1]。随着像素数量的快速增加，不必要的数据量成倍增加，给模数转换（ADC）和数据移动带来了严重的负担，并限制了实时图像处理技术的发展[2]。因此，AI会迅速耗尽硬件资源。因此，在硬件系统上有突破的强烈需求，这肯定会很快出现受人类视觉系统的启发，研究人员试图将一些处理任务转移到传感器上，从而允许原位计算并减少数据移动。例如，加州理工学院的Mead和Mahowald[3]在20世纪90年代提出了AI视觉芯片。他们设想了一种半导体芯片，可以捕捉图像，直接进行视觉信息的并行处理，并最终输出处理结果。早期的视觉芯片旨在模仿视网膜逐渐地，低层次的处理被发现是不够的，而高层次的处理，包括识别和分类，成为人工智能视觉芯片的目标。此外，研究人员在2006年左右提出了可编程视觉芯片的开发，目标是通过软件控制灵活处理各种加工场景[4]。于二零二一年，Liao et al.[5]总结了生物视网膜的原理，并讨论了新兴设备中神经形态视觉传感器的发展。Wan等人[6]概述了用于神经形态感觉计算的电子、光学和混合光电计算技术。目前有两种重要类型的视觉芯片架构[2，4，7]。(1) 在传感单元内部进行计算的架构。在这种类型的架构中，光电探测器直接放置在模拟存储器和计算单元中，以形成处理元件（PE）[4，8，9]。然后开发的PE具有原位传感和处理由传感器获得的模拟信号。这种类型的架构，如图1（a）[10]所示，具有高度并行处理速度的优点。然而，模拟存储器和计算单元占用了很大的体积，这使得PE比传感器大得多;这导致低像素填充因子并限制了图像分辨率。(2) 在传感单元附近进行计算的架构。由于低填充因子问题，大多数视觉芯片不能结合原位传感和计算架构。相反，像素阵列和处理电路在物理上是分离的，同时仍然在芯片上并联连接[4，7]，这使得根据系统的要求进行独立设计成为可能。这种类型的架构如图1（b）[10]所示。传感器阵列的传感数据该架构具有广域图像处理、高分辨率和大规模并行处理的特定能力。此外，人工智能算法，包括人工神经网络，可以在数字处理电路中进行这种架构。https://doi.org/10.1016/j.eng.2022.01.0092095-8099/©2022 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程杂志首页：www.elsevier.com/locate/engW. Pan，J. Zheng，L. Wang等人工程14（2022）1920×图1.一、视觉芯片架构。（a）在感测单元内部计算;（b）在感测单元附近计算CDS：相关双采样。复制自Ref。[10]经IEEE许可，©2014。目前的视觉芯片只有102因此，需要更大规模的集成技术来实现用于传感器内计算的更大的神经元规模一种这样的方法通过卷积神经网络（CNN）和尖峰神经网络（SNN）来实现，以显著提高处理效率。另一种方法是采用三维（3D）集成技术，将功能层（传感器、存 储 器 、 计 算 、 通 信 等 ） 垂 直 集 成 。 在 空 间 中 使 用 穿硅 通 孔（TSV）[11]。2017年，索尼提出了一种3D集成视觉芯片，像素分辨率为1296976，处理速度达到每秒1000帧（fps）[12]。有研究人员认为，3D集成芯片已成为必然趋势。然而，在建筑设计和互连等领域，3D集成技术的进一步发展已经证明，虽然短互连可以降低功耗和延迟，但由于层间距离短，它们可能会引入热问题[13，14]。因此，它是至关重要的3D集成的可靠性在人工智能发展需求的推动下，涉及新型材料系统和先进设备的技术(1) 检测和记忆（DAM）材料。光子突触器件[15-已经发现，一些金属氧化物（氧化物半导体、二元氧化物等），氧化物异质结和二维（2D）材料[15]具有作为用于实现光子突触器件的DAM材料的巨大潜力。光子突触具有短暂记忆和突触可塑性，如短时程可塑性（STP）和长时程可塑性（LTP），可以通过光信号调制来实现实时图像处理。这些器件具有传输速度快、带宽高的优点，并提供了一种非接触式的写入方法。然而，一些问题仍有待解决，包括非线性写入和高能耗，由于相对较大的照明强度。在书写过程中，在光学刺激下实现增强，而电刺激用于习惯化[21]。具体地说，器件的电导在一系列光子脉冲作用下由于光生电子和空穴而逐渐增大，在负光子脉冲作用下逐渐减小，类似于生物突触中的增强和抑制因此，预计将获得负的pho。在光刺激下产生反应并达到习惯化[15，22]。大多数研究集中在模拟突触行为（兴奋性突触后电流（EPSC）、成对脉冲易化（PPF）、STP、LTP等）。在设备中，模仿人眼中的视网膜神经元仍然是一个重大挑战。为了模仿视网膜，光子突触器件的放大需要进一步的研究。在DAM材料中，基于二元氧化物（例如，ZnO、HfO2、AlOx等）具有器件结构简单和CMOS兼容性的优点，这是放大的决定性因素。相反，与集成电路（IC）基础设施不兼容的材料可以通过采用异构集成[23]、异质外延[24]、键合[25]和3D异构集成[14]等技术来使用。(2) 结合传感器和存储器的器件结构。研究人员已经提出，PE可以被先进的设备所取代，例如存储元件（即，电阻式随机存取存储器（RRAM）和其他忆阻器）[26例如，在两个元件的串联连接中组合这些设备固有特征[26]使得传感器阵列可编程，并将光图像转换为可以容易识别的信息这种结构将单个像素的占用空间显著降低到4F2（F是工艺的特征尺寸）的理论极限，从而实现高填充因子的集成然而，与CCD不同的是，该阵列不显示破坏性读出，也不表现出任何积分行为。在这种阵列中，乘加（MAC）操作可以通过基尔霍夫定律在模拟域中直接实现研究人员还提出了一种由单光子雪崩二极管（SPAD）和忆阻器组成的系统[30，31]，以处理尖峰事件形式的信息，这将允许实时成像识别。必须引入新的架构甚至算法，适应新兴的材料和器件技术。例如，应用深度学习算法（深度神经网络（DNN）、CNN、SNN等）。传感器内计算是一个紧迫的问题。SNN通过并行编码和处理时间编码的神经信号提供了一种有前途的解决方案来提高效率[2]。本文总结了两种不同的体系结构（即，在此基础上讨论了未来的发展方向（包括与算法匹配的体系结构、3D集成技术、新型材料系统和先进器件）。总之，传感器内计算的最终目标是实现低功耗的高效AI硬件W. Pan，J. Zheng，L. Wang等人工程14（2022）1921低功耗、高速度、高分辨率、高精度识别和大规模集成，同时可编程。为了将传感器内计算技术商业化，需要在物理学、材料学、计算机科学、电子学和生物学方面进行进一步的研究致谢作者高度赞赏芝加哥大学Supratik Guha教授为改进论文所做本工作得到了国家重点研究发展计划（2021YFA0716400）、国家自然科学基金（61904093、61975093、61991443、61974080、61927811、61822404、62175126、61927811）、61822404、62175126、61875104）、BNRist重点实验室项目（BNR2019Q01005）、国家博士后科学基金（2018M640129和2019T120090）、国家科技部固态照明与节能电子协同创新中心（2021ZD0109900和2021ZD0109903）。引用[1] 柴乙用于机器视觉的传感器内计算 Nature 2020;579（7797）：32-3.[2] 周飞，柴毅.近传感器和传感器内计算。Nat Electron 2020;3（11）：664-71.[3] Mead CA，Mahowald MA.早期视觉处理的硅模型。神经网络1988;1（1）：91-7.[4] 刘丽，吴南.人工智能视觉芯片。微纳电子智能制造2019;1：12-9. 中文.[5] 廖芳，周芳，柴艳.神经形态视觉传感器：原理、进展与展望。J Semicond 2021;42（1）：013105.[6] 温庭，马松，廖芳，范丽，柴毅。神经形态感觉计算。中国科学院信息科学2022;65：141401.[7] 吴N。神经形态视觉芯片。中国科学院信息科学2018;61：060421.[8] Komuro T，Kagami S，Ishikawa M.一种用于视觉芯片的可动态重构SIMD处理器。 IEEE J Solid-State Circuits 2004;39（1）：265-8.[9] [10]杨伟，杨伟，王伟.一个模拟亚毫瓦CMOS 图像传感器与像素级卷积处理。IEEETrans Circuits Syst I Regul Pap 2013;60（2）：279-89.[10] ShiC，Yang J，Han Y，Cao Z，Qin Q，Liu L，et al. 基于动态可重构混合架构的1000 fps视觉芯片，包括PE阵列处理器和自组织映射神经网络。IEEE J Solid-StateCircuits2014;49（9）：2067-82.[11] 冯平，刘良，吴南.光电与3D一体化人工智能视觉芯片。微纳电子智能制造2019;1：75 中文.[12] [10] YamazakiT，Katayama H，Uehara S，Nose A，Kobayashi M，Shida S，et al. 4.9 1ms高速视觉芯片，具有3D堆叠的140GOPS列并行PE，用于时空图像处理。在：2017年IEEE国际会议论文集固态电路会议（ISSCC）; 2017年2月5-9日;美国加利福尼亚州旧金山。New York：IEEE; 2017. p. 82比3[13] Amir MF，Ko JH，Na T，Kim D，Mukhopadhyay S.具有深度神经网络计算的3D堆叠图像传感器。IEEE SensJ 2018;18（10）：4187-99.[14] LieD，Chae K，Mukhopadhyay S. 分析具有3D集成图像压缩单元的CMOS图像传感器 的 性 能 、 功 耗 和 噪 声 特 性 。 IEEE Trans Compon Packaging ManufTechnol2014;4（2）：198-208.[15] 张军，戴松，赵勇，张军，黄军。神经形态系统光子突触研究进展。Adv IntellSyst2020;2（3）：1900136.[16] 戴胜，吴新，刘丹，朱永，王凯，杨斌，等。利用有机场效应晶体管界面效应的光刺激突触器件。ACS ApplMater Interfaces 2018;10（25）：21472-80.[17] 高松，刘刚，杨华，胡春，陈强，龚刚，等。一种氧化物肖特基结人工光电突触。ACS Nano 2019;13（2）：2634-42.[18] 胡德昌，杨荣，姜丽，郭晓. ZnO 1- x /AlO y异质结中具有光电可塑性的忆阻突触ACS Appl Mater Interfaces2018;10（7）：6463-70.[19] Kumar M，Abbas S，Kim J.基于全氧化物的高度透明光子突触用于神经形态计算。ACS ApplMater Interfaces 2018;10（40）：34370-6.[20] Lee M ， Lee W ， Choi S ， Jo JW ， Kim J， Park SK 等 人 ， Brain-inspiredphotonicneuromorphicdevicesusingphotodynamicamorphicoxidesemiconductorand their persistent photoconductivity. Adv Mater2017;29（28）：1700951。[21] HeHK，Yang R，Zhou W，Huang HM，Xiong J，Gan L，et al. 基于单层MoS 2的双忆阻突触的光增强和电习惯化。Small2018;14（15）：e1800079。[22] WuJY，Chun YT，Li S，Zhang T，Wang J，Shrestha PK，et al. 宽带二硫化钼场效应光电晶体管：超灵敏可见光响应和负红外光响应。AdvMater 2018;30（7）：1705880.[23] 松尾湾Si上的异质集成半导体半金属2019;101：43-89.[24] 泰歇特角半导体异质磊晶奈米结构之自组织。物理学报告2002;365（5-6）：335-432。[25] Benaissa L，Di Cioccio L，Beilliard Y，Coudrain P，Dominguez S，Balan V，et al. 通过 直接 混合 键合 的下一 代图 像传 感器。 In ： Proceedings of17th IEEEElectronics Packaging and Technology Conference （ EPTC ） ; 2015 Dec2 -4;Singapore. New York：IEEE; 2015.p. 1比3。[26] Nau S，Wolf C，Sax S，List-Kratochvil EJ.用于柔性图像检测器阵列的有机非挥发性电阻光开关。Adv Mater2015;27（6）：1048-52.[27] WangH，Liu H，Zhao Q，Ni Z，Zou Y，Yang J，et al. 一种视网膜状双波段有机光传感器阵列，用于无滤波器近红外到存储器操作。 AdvMater 2017;29（32）：1701772。[28] 王宏，赵强，倪志，李强，刘宏，杨勇，等。一种用于超柔性人工视觉感知系统的铁电/电化学调制有机突触。Adv Mater2018;30（46）：e1803961。[29] [10]杨文辉，杨文辉.超快机器视觉与2D材料神经网络图像传感器。Nature2020;579（7797）：62-6.[30] Shawkat MSA，Sayyarparaju S，McFarlane N，Rose GS.基于单光子雪崩二极管的视觉传感器与片上忆阻尖峰神经形态处理。在：2020年IEEE第63届国际中西部电路与系统研讨会（MWSCAS）会议录; 2020年8月9日至12日;斯普林菲尔德，MA，美国。纽约：IEEE; 2020年。p. 377比80[31] Sayyaparaju S，Weiss R，Rose GS.一种具有片上可调谐性的混合模式神经元，用于忆阻神经形态系统。 In：Proceedings of 2018 IEEE Computer Society AnnualSymposium on VLSI（ISVLSI）; 2018年7月8日至11日;中国香港。New York：IEEE; 2018.p. 441- 6