基于Spiking神经模型的尖峰相机视觉图像重建方案

1438基于Spiking神经模型的朱林1、2董思伟1李佳宁1、2黄铁军1田永红1、2北京大学1鹏程实验室2{linzhu，swdong，lijianing，tjhuang，yhtian}@ pku.edu.cn摘要包括人类在内的灵长类动物的高灵敏度视觉作为一种新型的仿生视觉传感器，尖峰相机模仿中央凹，以连续时间尖峰代替基于帧的方式记录自然场景然而，从尖峰重建视觉图像仍然是一个挑战。本文设计了一个类视网膜的视觉图像重建框架，它可以灵活地从全新的尖峰数据中重建出具体而言，所提出的架构由运动局部激励层、尖峰细化层和视觉重构层组成，这些层由生物现实的泄漏整合和激发（LIF）神经元和具有尖峰定时依赖可塑性（STDP）规则的突触连接激励这种方法可以代表从传统的基于帧的视觉到连续时间视网膜类视觉的主要转变为了测试性能，构建了由尖峰相机记录的尖峰数据集。实验结果表明，该方法在重建正常和高速场景下的视觉图像时都是非常有效的，同时获得了高的动态范围和高的图像质量。1. 介绍自动驾驶、可穿戴计算、无人机是典型的新兴实时应用，需要视觉处理的快速反应[19]。传统的摄像机将前一时间的视频数据压缩到一帧中，并且该时间的时间变化将丢失[11]。当执行图像分析任务（例如检测或跟踪对象）时，必须比较这些对比帧以恢复时间变化，这在计算上是昂贵的，并且难以实现令人满意的结果[21]。如果我们把注意力转向人类的视觉，视觉上的相同-*通讯作者。摄影与数码相机的摄影有很大的不同。在人类的视觉中没有框架或图片的概念。虽然人类视觉的机制非常复杂，还不能完全理解，但人类视网膜的物理结构和信号处理过程给了其中，动态视觉传感器（DVS）是最受认可的[8，1]。在DVS中，每个像素通过产生异步尖峰独立地响应于亮度强度的变化。这种机制类似于视网膜的周边，其仅对移动物体敏感。输出尖峰的时间冗余被自然地减少，然而，它不能够像传统相机那样重建视觉图像。虽然有一些混合传感器结合DVS和传统的图像传感器（DAVIS）[5]，或添加额外的光测量电路（ATIS [23]，CeleX [13]），但由于采样时间分辨率的差异，存在运动失配为了解决在保持连续时间信号的同时捕获视觉纹理的问题，研究人员设计了一类基于时间的传感器，使每个像素模仿集成和激发神经元的行为并异步工作[2，6，16]。不同于像传统相机那样为所有像素选择固定的积分时间，基于时间的传感器确保每个像素选择其自己的最佳积分时间以实现高动态范围和改进的这种传感器能够以无帧的方式重建视觉纹理。使用时间窗口或尖峰间隔，可以重建图像纹理[6]。最近，[28]提出了一种属于基于时间的传感器的类中央凹采样方法（FSM）。与以往的时基传感器相比，该传感器具有较高的空间分辨率（250× 400）和时间分辨率（40000 Hz），适合于处理高速视觉任务[28]。然而，以前的重建算法[6，28]在复杂环境中会遇到低对比度或模糊的问题。因此，如何灵活地利用时间连续的尖峰信息是高质量图像重建的关键问题。在本文中，我们提出了一种新的视网膜样视觉im-a。1439图1. 基于类中心凹采样和视觉图像重建的棘波相机。年龄重建框架，如图1所示。本文的主要贡献包括：1）提出了一个三层脉冲神经元模型，该模型依赖于生物学上合理的机制组合该方法利用时间连续的尖峰信号数据，可以重建任意采样时刻的图像，同时保留高速运动和静止背景的细节。2）提出了一种动态神经元提取模型，以增量的方式区分神经元的状态（动态或静态），这对于重建高质量的高速运动场景是有用的。3)我们构建了一个新的spike数据集来评估重建方法，并将其提供给研究界。2. 加标数据分析2.1. 尖峰数据表示在FSM中，光的强度被感光器转换成电压[28]。一旦电压达到预定义的阈值，就输出一位尖峰，并且同时发送用于重置积分器的信号。这填充，它将被重置并发射尖峰。由于光的变化，积分器从空到满的填充持续时间不是恒定的。在显微镜下，产生尖峰意味着已经记录了固定数量的光子。我们定义N（t，δ）为在时间间隔[t，t+δ）内到达光感受器的光子数，R（t，δ）为在同一时间段内实际记录的光子数。然而，两个连续光子到达之间的死时间τ使得N（t，δ）和R（t，δ）不相等。如果在时间t记录前一个到达，则在（t，t+τ]期间的任何后一个光子到达将不会被记录。事实上，光子记录过程R（t，δ）可以看作是一个更新过程，它包含了一个循环模式，在每个循环模式之后，光子记录过程又从头开始。光子到达过程通常被假定为齐次泊松过程.它由单个标量λ参数化，该标量给出光子到达的平均速率如果一次更新和下一次更新之间的等待时间具有总体均值和方差，则具有死区时间τ的照片记录过程是渐近高斯分布的[7]：这一过程与整合和激发神经元非常相似。D-不同的亮度刺激I导致不同的尖峰放电λδE1 +λτλδ，V arτ（1+λτ）3（二）速率，输出和复位在各个像素之间异步触发。通常，光线越亮，射击速度越快：∫Idt≥φ（1）来自尖峰相机的原始数据是三维尖峰阵列D。尖峰相机只关心亮度强度的积分，并以超高频率发射尖峰。在每个采样时刻，如果尖峰刚刚被激发，则数字信号“1”（即，尖峰）被输出，否则生成“0”。我们定义Si，j（t）∈ {0，1}来表示像素的锋电位放电状态（i，j）在时刻t。为了简单起见，我们使用尖峰平面来表示由所有像素在某个时间时间上连续的尖峰信号被称为尖峰序列（参见图5（a））。2.2. 加标数据分布积分器具有预定义的容量，其也被称为尖峰激发阈值Φ。如果积分器是为了验证模型，我们记录了几个尖峰序列使用尖峰相机在各种光照条件下。我们假设n个光子的记录将达到调度阈值φ并产生尖峰。 如果将尖峰放电时间表示为ti，则尖峰间隔为tisi=ti− ti−1。如图2所示，具有不同灰度值的块。ues表示亮度强度，这表明较大的强度导致较高的尖峰放电速率和较短的尖峰间间隔（ISI）。RMSE分析表明，近似高斯分布可以很好地拟合放电间隔分布直方图。基于上述，我们能够通过高斯分布来模拟特定强度的ISI分布。在第3.2节中，提出了一种动态神经元提取模型，根据ISI分布提取代表运动对象的尖峰信号。3. 脉冲神经模型为了解决视觉图像重建的挑战，从尖峰数据，我们提出了一种新的尖峰神经模型，1440图2. 不同强度下的尖峰数据分布。左图：不同光强下产生的尖峰脉冲串。更大的强度导致更高的尖峰放电率和更短的尖峰间期。右图：ISI的精确分布直方图、近似高斯分布及其均方根误差（RMSE）。RMSE分析表明，近似的高斯分布能够很好地拟合真实的ISI分布。基于生物神经动力学和适应性的启示。在生物神经系统中，接收刺激并发射尖峰的神经元可以抽象为泄漏积分和发射（LIF）模型[14]。在LIF模型中，膜电位V（t）由以下微分方程控制DVτmdt= −（V（t）−Vrest）+RI（t）（3）其中Vrest是静息电位，I（t）是总突触电流，R是膜电阻，τm是突触膜时间常数。在没有输入的情况下，膜电位以指数方式衰减到其静息状态。在输入尖峰的情况下，每个输入将输入电势产生到双膜电势V（t）上。每次膜电位达到阈值时，膜电位V（t）被重置为Vrest，并激发尖峰[14]。神经元的不应期发生在一个输出峰电位之后，这在不同的神经元中是完全不同的此外，生物神经元中存在着多种适应神经元根据输入尖峰特性自适应调整。例如，突触可塑性[3，4]通过其权重调节神经元连接的效率，而不同神经元的膜电位阈值（尖峰放电阈值）不同，以适应不同的刺激。动态阈值[9]允许更频繁的刺激可能导致更大的阈值，反之亦然。基于生物神经元的启发，我们提出了一种脉冲神经元模型来解决图像重建问题。图3所示的模型包括运动局部激发层、尖峰细化层和视觉重建层。运动局部激励层接收尖峰输入并标记神经元的运动状态（静态或动态）。然后，尖峰细化层根据每个神经元的运动状态来调整其不应期最后一层视觉重构采用生物神经元中广泛存在的自适应机制，将每个神经元的动态阈值映射成灰度图像作为输出。尖峰神经模型的整体架构在图3中示出，并且在图5中更详细地示出。脉冲神经模型的架构在第2节中描述。3.1. 基于图割的动态神经元提取如3.2节所示。3.3节介绍了突触连接，而3.4节介绍了视觉图像重建。3.1. 模型架构运动局部激励层运动局部激励层对输入尖峰数据进行操作，并输出具有二进制标记（动态或静态）的尖峰序列。其目的是根据输入的尖峰数据来区分神经元的状态。该层中的每个神经元以一对一的连接方式连接到输入尖峰数据。在该层中，根据历史放电分布将输入的尖峰数据建模为运动置信度矩阵。然后，对于当前时刻，神经元状态可以抽象为具有二进制标签的一阶马尔可夫随机场[12]，并且执行基于图割的运动局部提取器。这样，每个输出尖峰都有一个动态或静态标记来区分神经元的状态。详情将在第3.2节中描述。尖峰细化层为了模拟神经元动力学，在尖峰细化层中引入了LIF模型。在该层中，对输入尖峰进行滤波以保持对运动的快速响应，同时去除噪声。该层的大小与运动局部激励层相同，每个输入被馈送到该层中的一个神经元为了快速响应运动，我们将阈值电压设置为非常小的值。为了消除噪声，根据运动局部激励层给出的标记，如果当前输入锋电位标记为静态，则应设置较长的不应期;否则，如果尖峰来自动态神经元，则应设置相对短的不应期。通过上述机制，尖峰细化层可以显著地消除噪声，并且通过降低发射率来减轻过曝光。同时，该层保留尽可能多的细节，以保持动态尖峰的保真度，同时保持高的动态范围。1441IJ=图3. 脉冲神经元模型的整体结构。与前一层一样，这一层中的神经元是LIF神经元。每个神经元从尖峰细化层接收尖峰序列，并且神经元和突触连接进行各种自适应调整。根据神经元的状态重建视觉图像。该层的神经元以一对多的方式连接到尖峰细化层的神经元。这些神经元没有不应期。STDP学习规则[4]在这两个层之间执行以学习调整峰值发射率（见第3.3节）。 此外，本发明还提供了一种方法，为了实现系统的动态平衡，在该层中引入了阈值自适应[9根据神经元状态的统计特性和动态阈值，可以同时重建包括动态和静态场景的高质量视觉图像（见3.4节）。3.2. 动态神经元提取在本节中，我们提出了一个动态神经元提取模型，用于将输入尖峰标记为动态或静态。正如第2.2节所分析的，ISI等于已记录固定数量光子的时间，与积分器的激发阈值φ对于恒定的光子到达率λ，ISI分布具有接近高斯分布的单峰和对称分布。运动物体所访问的区域具有与静止区域所驱动的区域不同的ISI分布。图4. 动态神经元提取的图解。该操作在运动局部激励层中执行。提取了数字中心和转台中心对应的动态神经元。顶部：运动置信度矩阵的可视化结果。下图：动态神经元提取结果。在时刻t，标记矩阵Mt∈ {0，1}m×n是表示神经元状态的二进制矩阵：.t1如果ij在时刻t属于运动区域ij0否则（六）我们用PMt（X）表示矩阵X在由Mt支撑的矩阵的线性空间上的正交投影，.0，如果Mt = 0因此，我们将每个神经元的ISI与具有均值μ和协方差σ的高斯概率模型相关联：PMt（X）（i，j）=Xij如果M测试（七）= 1ISIN（μ，σ）（4）假设每个神经元对应于一个坐标（i，j），i∈[1，m]，j∈[1，n]，其中m和n是尖峰相机的分辨率。第ij个神经元表示为ij，我们根据相应的ISI分布模型评估所有矩，并获得置信图Cij（t）∈RT×1，对应于而PMt（X）是它的 互补投影，即，PMt（X）+PMt（X）=X.二进制矩阵Mt可以自然地由马尔可夫随机场[12 ]第10段。考虑一个图G=（V，E），其中V是表示所有m×n个神经元的顶点集，E是连接空间相邻神经元的边集。根据伊辛模型[17]，M的能量可以表示为：该位置属于静态区域。因此，每个神经元在不同时刻的运动置信度为：Σ国际新闻报ij∈V（MijΣ）+（ij，kl）∈Eλij，kl|Mij -Mkl |(8)C11···C1n其中.O=0。. -是的-是的.n∈Rm×n×T（5）uij（Mij）=λijMIJ1442如果Mij= 1（九）Cm1···Cmn0如果 Mij= 01443IJIJIJ不不IJ2IJ10其中，λij，kl控制Mij和Mkl，λij控制Mij= 1的稀疏性。由于Ot表示运动置信度，我们假设Ot=Mt+Nt，其中Nt表示噪声。对于静态输出神经元（突触后尖峰时间）。函数W定义为：.神经元的Mt= 0，噪声Nt=Pt（Ot）应该是W（t）=一个preexp（−t/τpre），如果最大值> 0（十三）ijMAexp（Δt/τ） ，如果 ∆t<0最小化 结合上述运动模型和噪声邮政邮政模型，我们提出以下优化：其中参数Apre和Apost取决于电流minMt∈0，11 Σ2PMtIJΣ（Ot）2+uijij∈V（公吨）突触权重ω的值。两个相邻层之间的神经元可以是连续的，以不同的方式连接 如上所述，在Σ+（ij，kl）∈E.λij，kl.Mij.-Mkl.（十）在第二层和第三层，我们使用一对多的方式连接它们的神经元。我们假设神经元分布在一个规则的网格中，为了简单起见，我们设置λij=α和λij，kl=β。 当量10可以重写如下：Σ¨ ¨不2吨吨相邻神经元是常数。如果满足以下条件，突触前神经元将连接到多个突触后神经元：minMt∈0，1（α−2（Oij））Mij+β<$Evec（M）<$1+c（11）IJ.（xpre-xpost）2+（ypre-ypost）2R（14）<其中c=1（Ot）2，E是节点边缘入射ma。其中，x和y是神经元的坐标，R是con.G. 当量11是一阶的标准形式带有二进制标签的MRF，可以通过以下方法精确求解：图切割[15]。连接范围每个突触的初始权重如下获得：.动态神经元提取的图示在图4中示出。所提出的模型足以区分ω=exp（−k（x前-x后）2+（y前-y后）2/R）（十五）神经元状态 当一组新的尖峰到达时，配置-证据矩阵是增量式更新的，并且图割可以对每个时刻单独操作。3.3. 突触连接突触是一种结构，它允许一个神经元根据它们的权重向另一个神经元传递电压信号-S.在尖峰神经网络（SNN）的应用中，权重可以按照学习规则进行训练或设置为常量值。突触可塑性是生物网络中潜在学习的基本机制[3]。它被定义为调节神经连接效率（也称为权重）的能力在生物视觉系统中，信息编码是以无监督的方式建立的。在SNN的学习规则中，尖峰时间依赖可塑性（STDP）[3]是最流行的一种。对于STDP，如果神经元的突触前尖峰在其激发之前趋于短暂，则突触权重变得更强（长时程增强，LTP）;而如果输入尖峰其中k控制权重分布。根据STDP学习规则，在每个尖峰到达时自适应地更新初始权重3.4. 视觉图像重建在这一部分中，我们根据神经元的状态重构出适合人类观看的视觉信息。输入的不均匀性导致兴奋性神经元的不同放电为了确保神经元适应输入尖峰训练，我们希望所有神经元将具有近似相等的放电率。为此，调整阈值的常用方法是使用泄漏自适应阈值[9]：当神经元激发尖峰时，对阈值进行动态调整以调整激发速率以防止其过于频繁地激发。神经元发出尖峰信号的频率越高，其阈值就越高。反过来，神经元需要更多的输入来在不久的将来激发尖峰。类似于[10]，我们将动态阈值的模型定义为：∫∞倾向于在输出尖峰之后立即发生，一个特定的输入变得更弱（长期去，吉吉（t）=100+0′θij（s）Sij（t-s）ds（16）pression，LTD）。在这项工作中，生物STDP [4]用于学习静态神经元的尖峰放电规则，其定义为：Σ Σ其中，R2是在不存在′的尖峰，并且Si j表示该层的发射尖峰。神经元的放电阈值增加了一定量θij和在发射一个spi k e之后指数衰减。的IJ1444ω=W（tpost−tpre）（12）增加量θij定义为：测试前测试后.ηexp（−（t-tf））如果M t=0其中，tω是权重变化，tpre和tpost表示θij（t）=0X-ray（τ，−（t-tw）IJ） 如果 Mt=1（十七）输入神经元的放电时间（突触前尖峰时间），0τ不twSij（x）dxij1445i、j图5. 脉冲神经元模型的微观分析。（a）将输入的尖峰数据转换为尖峰平面（黑色虚线框）和尖峰序列（红色虚线框）。锋电位平面连接到运动局部激励层，此时的动态神经元被标记，而带有标记信息的锋电位序列则输入到下一层。(b)通过不应期机制消除噪声尖峰，同时保留静态和动态尖峰。(c)每个输入尖峰根据STDP产生一个电势，并且如果累积的膜电势达到阈值，则自适应地调整模型以拟合输入尖峰。根据等式如图18和19所示，可以重建每个时刻的像素强度（即，t1：动态尖峰，t2：静态尖峰），如（d）所示。其中Si，j（t）是输入到该层的尖峰序列，tf表示最近的激发时间，tw是可以设置为常数的t之前的时刻，τ是时间常数。在实践中，我们可以将tw设置为一个小值，以避免由于动态尖峰而导致的阈值不稳定最后，视觉图像的灰度值可以从神经元状态和激发阈值来估计：如果神经元（i，j）在时刻t属于静态神经元，换句话说，Mt= 0，则灰度值为其中，t_isi表示对应于时间t的尖峰间间隔，并且γ控制重建的动态区域的对比度4. 实验4.1. 加标数据集为了测试所提出的尖峰神经模型，我们建立了一个数据集，包括由尖峰捕获的尖峰序列否则Gi，j，t=ij（t）（18）一号摄影机。该数据集包含八个序列，包括两类正常速度（A类）和高速（B类）场景。每一个序列都被尖峰信号捕获Gi，j，t=<$ij（t−）<$κ（t）γ（19）其中，ij（t−）表示之前ij的收敛值-不-40，000 Hz采样率的摄像头A类包含四个场景，其中“办公室”是室内场景，“画廊”，“湖”和“花”是室外场景。类时间t，κ（t）=t/（tisi0Sij（x）dx）是一个调整参数，rameter重建动态1的准确灰度值https://www.pkuml.org/resources/pku-spike-recon-dataset.html.1446图6. A类和B类的重建结果。我们在A类上将我们的方法与TFW，TFI和TFA [28]进行了比较。自从TFP 和TFA没有重建动态场景的能力，我们只在B类上与TFI进行了比较。表1.A类和B类的定量指标。（数值越高，图像质量越好）度量方法A级（正常速度）B类（高速）办公室画廊湖花车火车RO1RO2是说二维熵TFW9.128.689.459.22----9.12TFA7.3812.4112.6911.88----11.09TFI10.019.8510.5110.0110.7111.0110.239.8110.27我们10.3812.3812.8312.6310.7610.8511.7211.6911.66OG-IQA[20]TFW0.57290.44450.75750.8959----0.6677TFA0.27370.67070.83690.8660----0.6618TFI0.57380.41340.51100.85230.86370.78290.56020.53050.6359我们0.59210.68790.83790.87270.87200.78970.60090.81050.7579B包括“汽车”、“火车”、“旋转1（Ro1）”和“旋转2（Ro2）"。其中，序列4.2. 视觉纹理重建4.2.1定性分析尖峰神经模型使用Brian2神经模拟器实现[27]。所有神经元均建模为LIF神经元。网络的维度设计为适合250×400的相机分辨率，换句话说，每层使用100，000个神经元。为了评估我们的方法的性能，我们比较了[28]中提出的三种方法，即TFW（窗口纹理），TFI（峰间间隔纹理）和TFA（自适应纹理重建）。这三种方法的参数都是根据原论文中给出的缺省参数设置的图6显示了实验结果。TFW和TFI的结果对比度较低，难以区分图像的细节。TFA提高了对比度，但图像中的某些区域过于明亮，影响了图像的整体视觉效果。我们的方法解决了上述问题。主观上，重建图像质量优于其他三种方法。B类包含四个高速运动场景。由于TFP和TFA没有重建动态场景的能力TFI是一种基于瞬时强度的图像重建方法，它符合摄像机的采样原理，具有重建高速运动的能力。然而，TFI只使用当前时刻的信息，没有使用时间域中的历史信息。得益于三层脉冲神经模型，我们的方法充分利用了历史和当前信息。实验结果表明，该算法提高了静态区域的对比度，增强了动态区域的显著性和清晰度4.2.2定量分析在表1中，我们对所提出的数据集进行了定量评估我们的实验中采用了两种无参考图像质量评估度量，即二维（2-D）熵[18]和OG-IQA [20二维熵是利用像素点的灰度值及其局部平均灰度值来度量图像信息量的一OG-IQA使用感知图像特征进行图像质量评估，并给出评分（范围为0-1，1为最佳）。如表1所示，我们的方法在2-D熵和OG-IQA度量方面都优于其他方法，这与图6中的主观观察结果一致。为了进一步评估B类中的高速场景，我们采用标准差（STD）和称为CPBD的无参考图像模糊度量[22]。结果1447图7. STDP的效果。蓝线表示[24]估计的噪声水平，而红线表示信噪比。实验在A班进行。直观上，当STDP强度为0.2时，效果最好。表2.B类的STD和CPBD指标。如表2所示。STD与图像的对比度有关。一般来说，较大的标准差（STD）意味着较高的对比度。CPBD用于测量运动模糊。较低的CPBD值意味着更模糊，反之亦然。总之，我们的方法在保持较高对比度的同时保持了锐度。为了更好地理解STDP的效果，我们对数据集进行了实验。STDP学习规则能够根据输入尖峰信号自适应地调整突触权重如果输入的是不规则的尖峰信号，通常是由噪声引起的，STDP机制可以使其影响较小，达到去噪的目的。在实验中，使用图像噪声估计方法[24]，并且通过标准差和噪声获得信噪比（SNR）。我们将STDP强度从0调整到0.50，并比较结果的噪声和SNR。如图7所示，适当的STDP强度（0.20获得最高的S-NR），窗户和建筑物更清晰，大部分噪音被消除。4.3. 与其他视觉传感器的比较图8显示了spike相机，CeleX，DAVIS240B和华为P30的比较。采用本文提出的重建方法的Spike相机能够清晰地显示运动过程的细节. DVS只记录亮度的变化，很难重建纹理.我们使用两种最近发表的DVS重建方法- s [26]和[25]来生成视觉图像，但结果并不令人满意;虽然CeleX可以大致看到掉页的过程，但阴影严重，前后页的边缘无法清晰区分;华为P30后置摄像头默认模式下可以录制60 FPS的视频，页面和电风扇都很模糊。视频结果可以在我们的补充材料中找到。图8. 不同视觉传感器的重建结果。我们的方法也有一些局限性：我们模型中的一些机制（例如，运动置信度矩阵和STDP）需要短时间段的先前尖峰数据（大约15ms）来计算当前状态。如果摄像机本身移动得太快，神经元接收到的尖峰序列可能来自不同的物体，从而导致模糊。尽管如此，我们认为这并不影响应用。5. 结论本文提出了一种新的三层脉冲神经网络模型，用于重建脉冲摄像机的视觉图像我们全面地讨论了锋电位的分布，并建立了一个概率模型来描述它。此外，提出了一种动态神经元提取模型，以区分动态和静态神经元。一个生物学上合理的机制的组合被引入处理连续时间尖峰。最后，根据神经元的状态和放电阈值重建视觉图像。为了测试我们的方法，我们构建了一个包括正常速度和高速场景的数据集。实验结果表明，该方法在高速运动和静止场景下都能重建出高质量的视觉图像。致谢。这项工作得到了中国国家自然科学基金项目的部分资助。61825101号U1611461度量方法车火车RO1RO2是说STDTFI53.8260.5722.7931.5542.18我们58.4366.9137.5747.1152.51CPBDTFI0.77970.90090.84610.65160.7946[22日]我们0.79600.90720.84820.79580.83681448引用[1] Patrick Lichtsteiner、Christoph Posch和Tobi Delbruck。128× 128 120db 15μs延迟异步时间对比度视觉传感器。IEEE Journal of Solid-State Circuits ， 43 （ 2 ） ： 566-576，2008. 1[2] Juan Antonio Lenero Bardallo 、 Jose-Maria Guerrero-Rodriguez 、Ricardo Carmona-Galan 和 Angel Rodriguez-Vazquez。用异步脉冲图像传感器分析和探测火焰。IEEE Sensors Journal，18（16）：6588-6595，2018年8月。1[3] 米歇尔·博德里突触可塑性与学习和记忆：15年的进步。学习和记忆的神经生物学，70（1-2）：113-118，1998。三、五[4] 毕国强和蒲慕明。培养的海马神经元中的突触修饰：依赖于尖峰时间、突触强度和突触后细胞类型。神经科学杂志，18（24）：10464-10472，1998. 三、四、五[5] Christian Brandli，Raphael Berner，Minhao Yang，Shih-Chii Liu，and Tobi Delbruck.240× 180 130db 3μs延迟全局快门时空视觉传感器。IEEE Journal of Solid-StateCircuits，49（10）：2333-2341，2014. 1[6] 尤金尼奥·库鲁塞洛，拉尔夫·艾蒂安·卡明斯，和卡瓦贝纳·A·博阿亨。一种生物形态数字图像传感器。IEEEJournal of Solid-State Circuits ， 38 （ 2 ） ： 281-294 ，2003. 1[7] F Yu Daniel和Jeffrey A Fessler。有死时单光子计数的均值和 方差 。Physics in Medicine Biology， 45（ 7 ）：2043，2000. 2[8] TobiDelbrück ，BernabeLinares-Barranco，EugenioCulur-ciello，and Christoph Posch.活动驱动、基于事件的视觉传 感 器 。 IEEEInternational Symposium on Circuits andSystems，第2426-2429页，2010年。1[9] Peter U Diehl和Matthew Cook。数字识别的无监督学习使用尖峰时间依赖可塑性。计算神经科学前沿，9：99，2015。三、四、五[10] Pierre Falez ， Pierre Tirilly ， Ioan Marius Bilasco ，Philippe Devienne，and Pierre Boulet.掌握脉冲神经网络的 输 出 频 率 。 2018 年 国 际 神 经 网 络 联 合 会 议（IJCNN），第1-8页。IEEE，2018年。5[11] Daniel Gehrig，Henri Rebecq，Guillermo Gallego，andDa- vide Scaramuzza.使用事件和帧的异步光度特征跟踪。2018年欧洲计算机视觉会议（ECCV），第750-765页，2018年。1[12] 斯图尔特·格曼和唐纳德·格曼。随机松弛、吉布斯分布与影像之贝叶斯复原 。IEEE Transactions on PatternAnalysis and Machine Intelligence，（6）：721-741，1984. 三、四[13] Menghan Guo，Jing Huang，and Shoushun Chen.现场演示：768×640像素200meps动态视觉传感器。2017年IEEE International Symposium on Circuits and Systems（ISCAS），第1-1页。IEEE，2017年。1[14] 克里斯托夫·科赫和伊丹·塞格夫。神经元建模方法：从离子到网络。麻省理工学院出版社，1998年。3[15] Vladimir Kolmogorov和Ramin Zabih什么样的能量函数可以通过图割最小化？IEEE Transactions1449模式分析和机器智能，（2）：147-159，2004年。5[16] Juan Antonio Leero-Bardallo，D. H. Bryn，and PhilippH- fliger.生物启发的异步像素事件三色视觉传感器。IEEE Transactions on Biomedical Circuits and Systems，8（3）：345-357，2014年6月。1[17] 斯坦·李。图像分析中的马尔可夫随机场模型。Springer Science Business Media，2009. 4[18] 李希，柳国岁，锦麟倪。基于熵最小化的isar图像自动聚焦。IEEE航空航天与电子系统学报，35（4）：1240-1252，Oc-t1999. 7[19] Martin Litzenberger ， Christoph Posch ， D Bauer ，Ahmed N-abil Belbachir ， P Schon ， B Kohn ， and HGarn.嵌入式视觉系统的实时目标跟踪使用异步瞬态视觉传感器。在数字信号处理研讨会-信号处理教育研讨会，第173-178页1[20] Lixiong Liu，Yi Hua，Qingjie Zhao，Hua Huang，andAlan Conrad Bovik.基于相对梯度统计和自适应神经网络 的 图 像 质 量 盲 评 价 信 号 处 理 ： ImageCommunication，40：1-15，2016. 7[21] Ana I Maqueda 、 Antonio Loquercio 、 GuillermoGallego、Narciso Garc 'ıa和Davide Scaramuzza。基于事件的视觉与深度学习在自动驾驶汽车转向预测方面的结合。在IEEE计算机视觉和模式识别会议（CVPR）中，第5419-5427页，2018年。1[22] Niranjan D Narvekar和Lina J Karam。基于模糊检测累积概率的无参考图像模糊度量。IEEE Transactions onImage Processing，20（9）：2678-2683，2011。七、八[23] 克里斯托弗·波施，丹尼尔·马托林，雷纳·沃尔根南。一种异步时基图像传感器。IEEE电路与系统国际研讨会，第2130- 2133页，2008年。1[24] St a nisl a vPyatykh，JürgenHesse r，andLeiZheng.用主元分析法估计图像噪声电平。IEEE Transactions onImage Processing，22（2）：687- 699，2012。8[25] Henri Rebecq、Rene 'Ranftl、Vladlen Koltun和DavideS-caramuzza。活动到视频：将现代计算机视觉引入活动 摄 像 机 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR）中，第3857-3866页，2019年。8[26] 塞德里克·舍林克尼克·巴恩斯和罗伯特·马奥尼。使用事件相机的连续时间强度估计。2018年亚洲计算机视觉会议（ACCV），第308-324页。Springer，2018. 8[27] Marcel Stimberg Romain Brette 和 Dan Goodman Brian2：一个直观高效的神经模拟器。BioRxiv，第595710页，2019年。7[28] Lin Zhu，Siwei Dong，Tiejun Huang，and YonghongTian.一种基于视网膜的视觉纹理重构采样方法。在2019年IEEE多媒体和博览会国际会议（ICME）上，第1432-1437页，2019年。 一、二、七