人脑信号驱动的视觉对象分类器:基于EEG数据和RNN/CNN的方法

6809用于自动视觉分类的C. Spampinato、S.帕拉佐岛Kavasidis，D. 佐丹奴电气，电子和计算机工程系-PeRCeiVe实验室Viale Andrea Doria，6 - 95125卡塔尼亚http://perceive.dieei.unict.itN.苏利，M。Shah计算机视觉研究中心HEC245D Orlando，FL 32816-2365http://crcv.ucf.edu/摘要如果我们能够有效地读取思想并将人类视觉能力转移到计算机视觉方法中会怎么样？在本文中，我们旨在解决这个问题，开发第一个视觉对象分类器驱动的人脑信号。特别是，我们采用EEG数据诱发的视觉对象刺激结合循环神经网络（RNN）学习的视觉类别的判别性大脑活动流形在阅读的心灵努力。之后，我们通过训练基于卷积神经网络（CNN）的回归器将学习到的能力转移到机器上，我们使用带有有源电极的128通道EEG来记录几个受试者的大脑活动，同时查看40个ImageNet对象类的图像。所提出的基于RNN的方法用于使用脑信号区分对象类达到约83%的平均准确度，这大大优于现有的方法，试图学习EEG视觉对象表示。至于自动对象分类，我们的人脑1. 介绍人类在解释视觉场景方面表现出了机器无法企及的出色表现。尽管最近对卷积神经网络的重新发现已经导致自动视觉分类的性能显著提高，但它们的泛化能力还没有达到预期的水平。人类水平，因为它们学习了一个判别特征空间，这严格取决于所采用的训练数据集，而不是更一般的原则。更具体地说，CNN的第一层特征似乎可以在不同的数据集上通用，因为它们类似于Gabor滤波器和颜色斑点，而最后一层特征则非常特定于特定的数据集或任务。相反，在人类中，视觉对象识别背后的过程位于感知之间的界面，即，物体在视觉上如何表现为形状、颜色等。（所有可以用第一CNN层建模的特征）和概念，这涉及从未被开发过的更高的认知过程。一些认知神经科学研究[12，16，17]已经调查了视觉皮层和大脑的哪些部分负责这种认知过程，但是，到目前为止，还没有明确的解决方案。当然，这反映了基于认知的自动化方法执行视觉任务的困难。我们认为，一种可能的解决方案是以逆向工程的方式行动，即，通过分析通过神经生理学（EEG/MEG）和神经成像技术（例如，fMRI）-识别人类用于视觉分类的特征空间。与此相关，已经承认大脑活动记录包含有关视觉对象类别的信息[6，26，19，4，3，10，20]。理解特定刺激诱发的EEG数据多年来一直是脑机接口（BCI）研究尽管如此，脑机接口的主要目的是分类或检测特定的大脑信号，以允许残疾人直接驱动控制机器在本文中，我们希望在经典BCI方法方面取得巨大的飞跃，即，我们的目标是探索一种新的和直接的人类参与形式（“基于人类的计算”策略的新愿景其基本思想是6810图1.两个不同ImageNet对象类的视觉刺激诱发的大脑信号示例通过对EEG信号进行分类来学习视觉类别的脑信号判别流形--读取思想--然后将图像投影到这样的流形中以允许机器执行自动视觉分类--将人类的视觉能力转移到机器。将与对象类别相关的EEG信号解码以包含到计算机视觉方法中的影响是巨大的。首先，识别基于EEG的视觉分类的判别特征可以提供关于人类视觉感知系统的有意义的见解。因此，它将大大提高基于BCI的应用程序的性能，并实现一种新形式的基于大脑的图像标记。其次，有效地将图像投影到一个新的基于生物学的流形上将从根本上改变对象分类器的开发方式（主要是在特征提取方面因此，本文的贡献有三个方面：• 我们提出了一种深度学习方法来分类由视觉对象刺激引起的EEG数据，在处理对象类的数量和分类准确性方面都优于最先进的方法。• 我们提出了第一种由大脑信号驱动的计算机视觉方法，即，第一种自动分类方法采用直接从涉及视觉场景分析的人类神经过程中提取的视觉描述符。• 我们将公开发布用于视觉对象分析的最大EEG数据集，以及相关的源代码和训练模型。2. 相关工作在执行特定任务时读取人们的思想的想法已经被研究了很长时间，特别是用于构建脑机接口。大多数BCI研究主要执行二进制EEG数据分类，即，特定模式的存在或不存在，例如，在[5]中用于P300检测或在[14]中用于癫痫发作检测。最近，由于深度学习，其他作品试图研究如何对更复杂的认知事件进行建模（例如，认知负荷、音频刺激等）大脑信号。例如，在[1]中，提出了回流和卷积神经网络的组合来学习用于认知负荷分类任务的EEG表示（报告的分类准确度在四个认知负荷水平上约为90%）。在[23]中，提出了一种仅使用CNN的类似方法，用于学习对由音频音乐引起的EEG记录进行分类，在12首歌曲中的准确率为这些方法已经证明了使用大脑信号和深度学习进行分类的潜力，但它们只处理了少量的分类类别（[23]中最多12个），并且没有一个与视觉场景理解相关。许多认知神经科学研究已经证明（通过识别视觉皮层的特定区域），可以在通过EEG记录的事件相关电位（ERP）振幅中解码多达十几个对象类别[26，4，20]。然而，这样的科学证据还没有被深入利用，以建立视觉事实上，已经开发了非常有限数量的方法[2，11，22，10]（其中没有一个使用深度学习）来解决解码视觉对象的问题6811图2. 拟议方法概述。上图：编码器模块学习用户观看图像时记录的时间EEG信号的低维表示;计算的EEG特征用于训练图像分类器。下图：CNN被训练成直接从图像中估计EEG特征;然后，在前一阶段中训练的分类器可以用于自动分类，而不需要新图像的EEG数据。相关EEG数据，并且这些方法中的大多数主要被设计用于二进制分类（例如，给定对象类的存在或不存在）。Kaneshiro等人在[10]中提出了一种最新的综合性方法，他们训练了一种分类器，能够区分由12个不同对象类别诱发的EEG脑信号，准确率约为29%，这代表了迄今为止最先进的性能。在本文中，我们不仅探索了深度学习在建模视觉刺激诱发EEG中的能力据我们所知，这是以前没有做过的3. 方法本文所述的工作依赖于三个关键因素：• 当受试者观看图像时记录的EEG信号传达特征水平和认知水平的信息，关于图像内容的问题（在一个受试者上，由两个不同对象类别的视觉刺激诱发的EEG信号之间的定性差异如图所示。①的人。• 在多维和时间变化的EEG信号内存在低维流形，并且可以被提取以获得我们称为EEG特征的1D表示。• 假设脑电特征主要编码视觉数据，因此可以提取相应的图像描述符用于自动分类。这三个理念为超声波清洗机的设计提供了依据。所有两阶段的图像分类架构提出了这项工作，并在图。二、我们方法的第一阶段-读心阶段-旨在识别-在二维（通道和时间）EEG空间内形成低维流形，使得该流形内的为了学习这种表示，我们使用了用户在屏幕上观看图像时记录的EEG数据。然后，我们训练了一个编码器网络（通过回流神经网络6812图3.测试的编码器架构：a）通用LSTM;b）通道LSTM+通用LSTM;c）通用LSTM+输出层。班级数量40每类图像数量50图像总数2000可视化顺序顺序每个图像的时间0.5 s课间时间10 s课时数4会话运行时间350 s总运行时间1400 s表1.实验方案的参数从原始脑电信号中提取脑电特征;训练过程由记录每个输入EEG序列的图像的类别来监督，并且在该过程中联合训练EEG特征的分类器。当然，假设每个待分类图像的EEG数据的可用性是不合理的。因此，该方法的第二阶段旨在通过学习从CNN深度视觉描述符到EEG特征的映射（通过RNN编码器学习）直接从图像中提取EEG特征-将人类视觉能力转移到机器在此之后，新图像可以通过简单地通过训练的EEG特征来估计它们的EEG特征受试者在年龄、教育水平和文化背景方面是相同的并且由专业物理学家评估以排除可能的条件（例如，疾病）干扰获取过程。用于视觉刺激的数据集是ImageNet [18]的子集，包含40类易于识别的对象1。在实验过程中，2,000张图像（每类50张）以0.5秒的时间连续显示。一个突发持续25秒，然后是10秒的暂停，其中显示黑色图像，总运行时间为1，400秒（23分20秒）。所采用的实验范例的总结示于表1中。使用具有有源低阻抗电极的128通道帽（actiCAP128Ch2）进行实验。Brainvision3 DAQ和放大器用于EEG数据采集。采样频率和数据分辨率分别设置为1000 Hz和16位。设置陷波滤波器（49-51 Hz）和二阶带通巴特沃斯滤波器（低截止频率14 Hz，高截止频率71 Hz），以便记录的信号包括Beta（15-31 Hz）和Gamma（32-70Hz）频带，因为它们传达了有关视觉感知中涉及的认知过程的信息[15]。从每个记录的EEG序列中，前40个样本基于CNN的回归器，并采用第一阶段分类器来预测相应的图像类别。3.1. 脑电数据采集6名受试者（5男1女）在记录脑电数据的同时，观察物体的视觉刺激所有使 用 的ImageNet类：狗，猫，蝴蝶，酢浆草，卷尾猴，大象，熊猫，鱼，客机，扫帚，独木舟，电话，马克杯，敞篷车，电脑，手表，吉他，机车，浓缩咖啡，椅子，高尔夫，钢琴，铁，千斤顶，邮袋，导弹，连指手套，自行车，帐篷，睡衣，降落伞，游泳池，收音机，相机，枪，鞋，香蕉，比萨饼，雏菊和牛肝菌（真菌）2http://www.brainproducts.com/3http://www.brainvision.com/6813(40 MS）以排除来自先前示出的图像的任何可能的干扰（即，以允许刺激从视网膜通过视束传播到初级视觉皮层[8]）。以下440个样本（440 ms）用于实验。数据值分布以零为中心，因此应用非线性量化通过使用上述协议，我们采集了12，000个（6个受试者的2，000个图像）128通道EEG序列。在下面的描述中，我们将通用输入EEG序列称为s（c，t），其中c（从1到128）索引通道，t（从1到440）索引时间上的样本我们还将使用符号（·）来指示3.2. 学习EEG流形第一种分析的目的是将输入的多通道时间EEG序列转换成一个低维的特征向量，概括输入序列的相关内容。先前的方法[10，22]简单地将来自多个通道的时间序列连接到单个特征向量中，忽略了时间动态，而时间动态包含用于EEG活动理解的基本信息[10]。为了在我们的表示中包含这种动态，我们采用了LSTM递归神经网络[9]，因为它们能够跟踪输入数据中的长期依赖性。图的上半部分。2显示了我们的EEG流形表示模型的一般架构。EEG多通道时间信号，如Sect.3.1的EEG特征向量作为输入提供给编码器模块，该编码器模块处理整个时间序列并输出EEG特征向量作为输入的紧凑表示。理想情况下，如果输入序列由在观看图像时记录的EEG信号组成，则我们的目标是使所得到的输出向量编码相关的脑活动信息，用于区分不同的图像类别。编码器网络通过在其输出端添加一个分类模块（在我们所有的实验 中，它将是一个softmax层），并使用梯度下降来学习整个模型在我们的实验中，我们测试了编码器网络的几种配置：• 常见的LSTM（图3a）：编码器网络由LSTM层堆栈组成。在每个时间步长t，第一层采用输入s（·，t）（在这个意义上，“公共”意味着所有EEG通道最初被馈送到相同的LSTM层）;如果存在其他LSTM层，则第一层的输出（其可能具有与原始输入不同的大小）被提供作为第二层的输入，依此类推。的输出最后一个时间步的最深LSTM层被用作整个输入序列的EEG特征表示。• 通道LSTM +公共LSTM（图3b）：第一个编码层由几个LSTM组成，每个LSTM只连接到一个输入通 道 ： 例 如 ， 第 一 个 LSTM 处 理 输 入 数 据 s（1，·），第二个LSTM处理s（2，·），依此类推。通过这种方式，每个“通道LSTM”的输出是单个通道数据的摘要。然后，第二编码层通过接收所有声道LSTM的级联输出向量作为输入来执行声道间分析。如上所述，最深LSTM在最后一个时间步的输出被用作编码器• 公 共 LSTM+ 输 出 层 （ 图 3c ） ： 类 似 于 常 见 的LSTM架构，但在LSTM之后添加了一个额外的输出层（输入的线性组合，然后是ReLU非线性），以便以很少的计算开销增加模型容量（如果与两层常见LSTM架构相比）。在这种情况下，编码的特征向量是最终层的输出。编码器和分类器训练通过梯度下降进行，通过提供与记录每个EEG序列时显示的图像相关的类标签。在训练之后，编码器可以用于从输入EEG序列生成EEG特征，而分类网络将用于预测输入EEG特征表示的图像类，其可以从EEG信号或图像计算，如下一节所述。3.3. 基于CNN的EEG流形回归视觉分类为了将RNN学习的特征表示用于一般图像，有必要绕过EEG记录阶段并直接从图像中提取特征，这应该是可能的，因为我们假设学习的EEG特征反映了诱发原始EEG信号的图像内容。我们采用了两种基于CNN的方法（见图1）。4）从输入图像中提取EEG特征（或者至少是近似）：• 方法1：端到端培训。 第一种方法是训练CNN以将图像映射到对应的EEG特征向量。通常情况下，CNN的第一层试图学习图像的一般（全局）特征，这在许多任务之间是常见的，因此我们使用预先训练的模型初始化这些层的权重，然后在端到端设置中从头开始学习最后一层的权重。特别是，我们使用6814图4. 测试基于CNN的回归器。方法1：我们将一个回归层堆叠到一个普通的深度网络中，然后端到端地训练结果模块;方法2：我们使用通用的现成深度网络提取深度特征，然后单独训练回归量预训练的 AlexNet CNN [13]，并通过 用回归层（包含与EEG特征向量的维数一样多的神经元）替换softmax分类层对其进行修改，使用欧几里得损失作为目标函数。• 方法2：深度特征提取，然后进行回归训练。第二种方法包括使用预训练的CNN模型提取图像特征，然后采用回归方法将图像特征映射我们使用我们微调的AlexNet [13]，GoogleNet [25]和VGG[21]作为特征提取器，通过读取最后一个全连接层的输出，然后应用几种回归方法（即，k-NN回归，岭回归，随机森林回归）来获得预测的特征向量。我们选择只微调AlexNet，而不是GoogleNet [25]和VGG [21]，因为这两个CNN包含更多的卷积层，因此，考虑到相对较小的数据集大小，它们更容易过拟合。由此产生的基于CNN的回归器能够从任何输入图像中提取大脑学习的特征，以便通过在EEG特征学习期间训练的softmax层进行进一步4. 性能分析性能分析分为三个部分，因为我们的方法包括：1）使用RNN学习视觉刺激诱发的EEG数据（在Torch4中实现）;2）基于CNN的回归，以将图像映射到RNN学习的基于EEG的特征（在Caffe5中实现）;3）上述两个步骤的组合，以实现自动视觉分类器。4.1. 学习视觉我们首先测试了在Sect.3.2使用我们的EEG数据集。我们的数据集分为训练集、验证集和测试集，分别为80%（1600张图像）、10%（200张）、10%（200张）。我们确保所有参与者为单个图像生成的信号所有的模型架构选择都是根据验证分割的结果进行的，这使得测试分割成为最终评估的可靠和用于训练RNN编码器的EEG序列的总数为12，000。现有的作品，如[24，1]，采用支持向量机，4http://torch.ch/5http://caffe.berkeleyvision.org/6815模型细节最大VA最大VA时的TA64例常见74.4%73.9%普通128普通百分之七十七点三74.1%64，64普通75.9%72.5%128，64常见79.1%76.8%128，128普通79.7%百分之七十八通道+公共5通道，32公共百分之七十五点七百分之七十二点九5通道，64公共74.3%71.2%共模+输出128共模，64输出81.6%78.7%128公共，128输出85.4%百分之八十二点九表2.不同配置的最大验证准确度（三个RNN架构显示在节。3.2. 产生最佳验证结果的模型以粗体显示用于学习EEG表示的向量机（SVM）、随机森林和稀疏逻辑回归不能被用作基线，因为它们不对整个大脑信号（而是对特征向量）进行操作并且被应用于其他任务（例如，音乐分类、癫痫发作检测等）视觉表2报告了通过具有各种架构细节的三种编码器配置实现的性能。我们还测试了更复杂的模型（例如，使用256个节点），但这些最终以过拟合结束。 使用的分类器计算精度是在编码器中联合训练的精度;我们还将使用相同的分类器（没有任何进一步的训练）用于CNN回归的EEG特征的自动视觉分类。所提出的基于RNN的方法能够达到约83%的分类准确率，这大大优于[10]所实现的性能，[10]在其数据集的12个类上为29%，在我们的数据集上为13%。为了进一步研究视觉场景是如何被人脑处理的，我们研究了图像可视化时间如何影响分类性能。到目前为止，已经知道用于人类对象识别的特征提取发生在前50-120ms [8]（从眼睛到视觉皮层的刺激传播时间）期间，而在120 ms之后知之甚少。因为在我们的实验中，我们显示每个图像500毫秒;我们评估了不同可视化时间范围内的分类性能，即，[40-480 ms]、[40-160ms]、[40-320 ms]和[320-480 ms]。表3示出了当使用获得最高验证准确度的RNN模型时所实现的准确度（参见表2），即，常见的128个神经元LSTM，后面是128个神经元输出层。与预期相反，在时间范围[320-480ms]中获得最佳性能，而不是在前120 ms期间。这表明视觉分类中的关键作用可能是视觉皮层外的神经过程，这些神经过程在最初的视觉识别后被激活，并可能负责上述的概念部分可视化时间最大VA最大VA时的TA40-480毫秒85.4%百分之八十二点九40-160毫秒81.4%百分之七十七点五40-320毫秒百分之八十二点六79.7%320-480毫秒86.9%84.0%表3.RNN编码器使用EEG信号数据的不同部分实现的分类精度最佳结果以粗体显示。在引言中当然，这需要进一步和更深入的调查，这是本文的范围之外。4.2. CNN回归基于CNN的回归旨在将视觉图像投影到学习的EEG流形上。根据上一节所示的结果，最佳编码性能是由常见的128个神经元LSTM和128个神经元输出层获得的。这意味着我们的回归器将单个图像作为输入，并提供128个特征向量作为输出，该特征向量应该理想地类似于编码器学习的特征向量。为了测试回归器的性能，我们使用了相同的ImageNet子集和相同的图像分割。RNN编码器然而，与编码器的训练阶段不同我们测试了两种不同的方法来选择与每个图像相关联的单个特征向量：• 平均值：与图像相关联的EEG特征向量被计算为当观看该图像时所有对象的平均值。• 最佳特征：对于每个图像，相关联的EEG特征向量是在RNN编码器训练期间在所有对象上具有最6816小分类损失的特征向量6817功能集AlexNet FTAlexNet FE GoogleNet VGGk-NN Ridge RF k-NN Ridge RF k-NN Ridge RF平均值1.86 1.64 1.53 1.520.62 1.88 0.93 0.73 1.53 0.94最佳2.12 1.94 1.62 1.56 3.54 7.06 4.01 3.26 7.63 4.45表4.均方误差（MSE）值由不同的回归方法提取脑电特征的图像。“FT”：微调;“FE”：特征提取器。最好的表现用下划线和粗体表示。表4示出了用每个测试的回归方法获得的均方误差（MSE）。最低误差配置，即，特征提取与GoogleNet相结合的k-NN回归，最后被用作任意图像的EEG特征提取器。请注意，平均值的准确性值明显优于最佳特征这与认知神经科学的文献一致，其中当对来自多个试验和受试者的数据进行平均时，通常观察到由视觉对象刺激引起的EEG信号的变化[22]。4.3. 自动视觉分类本节旨在证明最初的索赔，即，人类视觉能力可以通过测试自动视觉分类器来学习并转移到机器，该自动视觉分类器从图像中提取EEG特征（根据表4，通过基于CNN的特征回归器- GoogleNet特征与k-NN回归器的组合） ，然后使用在 EEG流形学习 期间训练的softmax分类器对特征向量进行我们评估了来自我们数据集的测试分割的图像的图像分类性能为了测试我们的大脑学习特征的泛化能力，我们还将所提出的方法作为特征提取技术进行了评估，并将其与VGG和GoogleNet进行了比较（我们没有测试AlexNet，因为它的性能较低，如表4所示）。我们在Caltech-101的30类子集上测试了三个（现成的）深度网络[7]（选择以避免与用于开发我们模型的类重叠），通过训练单独的多类SVM分类器（每个网络一个）并比较分类精度。结果见表5。我们的方法实现了与GoogleNet相当的性能，并且比VGG更好的性能，这实际上是一个令人印象深刻的结果，考虑到我们的EEG编码器和回归器是在与视觉特征没有直接关系的特征空间上训练的。6http://image-net.org/challenges/LSVRC/2015/results我们的方法百分之九十二点六百分之八十百分之八十九点七表5.使用GoogleNet，VGG和所提出的方法作为图像特征提取器，用于在Caltech-101的子集上训练SVM分类器时实现的分类精度。5. 结论在本文中，我们提出了第一个人脑驱动的自动视觉分类方法。它包括两个阶段：1）一种基于RNN的方法，用于学习视觉刺激诱发的EEG数据以及找到这种数据的更紧凑和更有意义的表示; 2）一种基于CNN的方法，旨在将图像回归到学习的EEG表示中，从而实现“基于大脑的视觉对象流形”中的自动视觉分类。我们证明，这两种方法显示出竞争力的性能，特别是在学习对象类的EEG表示。在这第一项工作中取得的有希望的结果使我们希望参与视觉识别的人脑过程可以被有效地解码，以进一步纳入自动化方法。在这种情况下，这项工作可以被视为跨计算机视觉，机器学习和认知神经科学的跨学科研究的重要一步，用于将人类视觉（而不仅仅是）能力转移到机器上。它还为计算机视觉的范式转变奠定了基础：从基于性能的计算到基于人的计算。作为未来的工作，我们计划a）开发更复杂的深度学习方法，用于区分从大量图像类别中生成的大脑信号，b）解释/解码EEG学习的特征，以识别大脑激活区域，频带频率和其他必要的相关信息，以揭示视觉分类中涉及的人类神经基础。致谢我们衷心感谢NVIDIA公司的支持我们也承认博士。Martina Plata- nia负责执行EEG数据采集以及Dr. Ric-cardo Ricceri，用于支持实验方案设置。6818引用[1] 巴希万岛Rish，M. Yeasin和N.科德拉使用深度递归卷积神经网络从EEG学习表示在出现在ICLR 2016，2016.[2] N. 比德利-沙姆罗 A. 万科夫， R. R. 拉米雷斯和S.马凯格基于大脑活动的快速序列视觉呈现图像分类。IEEE神经系统与康复工程汇刊：IEEE Engineering inMedicine and Biology Society，16（5）：432 -441，2008的出版物。[3] T. Carlson，D.A. Tovar，A.Alink和N.Kriegeskorte。物体 视 觉 的 再 现 动 力 学 ： 第 一 个 1000 ms Journal ofVision，13（10），2013.[4] T. A. Carlson，H. 霍根多伦河 Kanai，J. Mesik，andJ·塔瑞特目标位置和类别的高时间分辨率解码。Journalof Vision，11（10），2011.[5] H. Cecotti和A.格拉泽p300检测的卷积神经网络及其在脑 机 接 口 中 的 应 用 。 IEEE Transactions on PatternAnalysis and Machine Intelligence，33（3）：433[6] K. 达斯湾 Giesbrecht和M. P. Eckstein使用模式分类器从神经活动预测个体感知性能的变化。神经影像，51（4）：1425[7] L.费费河Fergus和P.佩洛娜对象类别的一次性学习。IEEE Transactions on Pattern Analysis and MachineIntelligence，28（4）：594[8] J. R. Heckenlively和G. B.雅顿视觉临床电生理学原理与。麻省理工学院出版社，2006年。[9] S. Hochreiter和J.施密特胡博长短期记忆。神经元计算，9（8）：1735[10] B. Kaneshiro，M.Perreau Guimaraes，H.-S. Kim，A.M.Nor- cia和P.晚餐使用单次试验EEG分类的对象处理动力学 的 代 表 性 相 似 性 分 析 Plos One ， 10 （ 8 ） ：e0135697，2015.[11] A. Kapoor，P. Shenoy，and D. Tan.结合脑机接口和视觉进行物体分类。第26届IEEE计算机视觉与模式识别会议，2008年。[12] Z. Kourtzi和N. Kanwisher 涉及的皮质区域 在感知物体形状方面。神经科学杂志，20（9）：3310[13] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。在神经信息处理系统的进展，第1097-1105页[14] P. Mirowski，D. Madhavan，Y. Lecun和R.库兹涅茨基用于癫痫发作预测的EEG同步模式分类临床神经生理学，120（11）：1927[15] E. Niedermeyer和F.L. 达席尔瓦。脑电图：基本原理、临床应用及相关领域。Lippincott Williams Wilkins，2005.[16] H. P. Op de Beeck，K. Torfs和J.韦格曼斯不熟悉物体之间的形状相似性和人类物体视觉路径的组织。神经科学杂志，28（40）：10111[17] M. V.Peelen和P. E.唐宁视觉身体知觉的神经基础。国家神经科学院，8（8）：636[18]O. 鲁萨科夫斯基Deng，H.Su，J.Krause，S.萨蒂希S.妈Z。Huang，黄背天蛾A. 卡帕西A.科斯拉，M。伯恩斯坦A. C. Berg和L.飞飞ImageNet大规模视觉识别挑战。国际计算机视觉杂志（IJCV），115（3）：211[19] P. Shenoy和D. Tan.人工辅助计算：利用隐式人类处理来分类图像。CHI 2008计算机系统中的人为因素，2008年。[20] I. Simanova，M.范热尔旺河Oostenveld和P.哈戈特从事件相关EEG中识别对象类别：对概念表征的逆向解码。PLoS ONE，5（12），2010.[21] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。arXiv预印本arXiv：1409.1556，2014。[22] A. X. Stewart、A.Nuthmann和G.桑吉内蒂使用ICA和机器学习的视觉对象任务中EEG的单次试验分类。Journalof Neuroscience Methods，228：1[23] S. Stober，A. Sternin，A. M. Owen和J. A.格拉恩用于EEG记录的深度特征学习。在出现在ICLR 2016，2016.[24] A. Subasi和M.伊斯梅尔·古尔索伊基于PCA、ICA、LDA和支持向量机的脑电信号分类。专家系统Appl. ，37（12）：8659-8666，Dec. 2010年。[25] C.塞格迪W.刘先生，Y.贾，P.SermanetS.里德D.安格洛夫，D。Erhan，V. Vanhoucke，和A.拉比诺维奇。更深的回旋。在IEEE计算机视觉和模式识别会议论文集，第1-9页[26] C. Wang，S. Xiong，X.胡湖，加-地Yao，and J. Zhang.结合单次脑电事件相关电位成分特征识别四类视觉对象J Neural Eng，9（5）：056013，Oct 2012.