PyM：实时行为神经科学实验的开源平台

PyMiceTracking：一个用于实时行为神经科学实验的开源平台Richardson Menezes巴西纳塔尔UFRN计算机工程与自动化Aron deMiranda BrainInstitute巴西纳塔尔赫尔顿·马亚巴西纳塔尔UFRN科技学院helton. ect.ufrn.br摘要计算工具的发展使行为神经科学的研究更加先进，并突破了实验设计的限制。许多行为实验需要从动物的跟踪中确定其现代实验设计通常会产生大量数据的记录，需要开发自动计算工具和智能算法，以便及时采集和处理数据。在这项研究中提出的工具最初与图像的采集操作。然后，动物跟踪步骤从背景减除开始，接着是动物轮廓检测和形态学操作，以去除检测到的形状中的噪声。最后，在算法的最后阶段，在所获得的形状中应用主成分分析（PCA），从而得到动物1. 介绍系统神经科学的主要目标是描述神经回路活动和动物行为之间的因果关系。在过去的二十年里，用于监测[1，2]和操纵[3]自由行为动物神经活动的新技术已经变得具有惊人的时空分辨率。为了充分利用这些技术，我们严重依赖于干扰实时神经回路活动的能力，以响应正在进行的动物行为。然而，目前精确的在线和实时动物行为跟踪技术是神经科学实验中的一个主要计算挑战有许多方法来跟踪动物头部方向。传统上，头部方向检测是通过跟踪至少两个LED来执行的，这些LED被附着在动物的头部上用于该特定目的[4然而，LED代表动物头部的额外重量，在小动物如小鼠的情况下具有显著的后果。使用机器学习的跟踪技术的最新进展[7]可以令人满意地解决头部方向跟踪的问题，而无需使用LED。然而，其实现的计算成本使其难以用于神经科学实验中的行为参数的实时在线检测这项研究提出了一种名为PyMiceTracking的计算工具的开发。它是用Python编程语言编写的。它允许在没有标记的情况下同时和实时跟踪啮齿动物身体部位（例如，质心、鼻端和尾基位置），允许闭环实验。PyMiceTracking还提供了一种用于估计头部偏航的算法（即，头部在结合小鼠身体部位和头部定向的同时实时跟踪允许用于可能与感觉和光遗传刺激相关联的社会和对象实验调查设计它旨在演示PyMiceTracking工具箱的功能和实现细节以及用于检测身体部位和估计头部方向的算法。提出了一个基准测试使用在线鼠标行为数据集。最后，我们提供了一个使用PyMiceTracking的分步指南，涵盖了所有安装步骤，并为闭环反馈刺激实验创建了定制的处理管道。2. 方法2.1. 计算开发这里，描述了计算开发技术，包括软件开发环境输入步骤1图像采集（捕获和预处理）步骤2跟踪动物位置步骤3注视方向（PC输出形态开轮廓检测阈值背景减法问题建模、编程语言和研究人员的可用性，这类研究的目标受众本研究采用Python编程语言进行软件开发Also, the Open Source Computer Vision (OpenCV) librarywas essential for the acquisition and processing of theframes necessary for the analysis contained in this work.在基于UML的活动图中，可以以摘要的形式查看鼠标跟踪和头部方向检测所涉及的如图1所示。图1.所开发系统的UML活动图，用于动物跟踪和头部方向检测。在步骤1中，从视频源获取图像，视频源可以是视频文件，甚至是来自摄像机的直播流。因此，使用诸如噪声滤波和直方图均衡化的在第二步中，目标是执行动物跟踪。最初，用户必须在两种跟踪方法之间进行选择：背景减除和阈值。在背景减除的情况下，在参考背景帧（可能在动物进入竞技场之前获得）和当前帧之间执行绝对差异操作这种减法将允许移除可能出现在场景中的对象以及在这种类型的实验中常见的丙烯酸或玻璃墙壁上的动物对于阈值跟踪，应用Otsu方法。此方法返回单个强度阈值，该阈值将像素分为两类：前景和背景。该阈值通过最小化类内强度方差来确定，或者等效地，通过最大化类间方差来确定[8]。接着，执行基于边缘检测的轮廓检测，寻找具有相同强度的形状的边界，以确定属于被跟踪动物的像素。该步骤的最后部分是执行称为形态学孔径的计算过程，该计算过程对从先前轮廓检测获得的形状执行，从而改进检测并考虑可能由于先前步骤中的噪声而被排除的动物像素。最后，在步骤3中，在从先前的形态学操作获得的形状中执行主成分分析（PCA）算法，提取形状的本质特征并给出小鼠的椭圆特征。因此，可以跟踪两个轴，指示形状变化最多的方向。其中一个轴显示了动物头部位置的不断变化方向2.2. 实验装置正在开发的软件可用于不同的动物行为实验场景。为了验证这项工作中提出的计算开发，我们分析了小鼠社会迭代行为实验的视频，由[9]提供。图2-a所示为该小鼠社交互动测试的典型设置图2-b示出了在行为实验期间从具有优越视角图2.社会互动行为实验装置设计a）用于社交互动测试的实验配置的3D表示。可以可视化自由运动的竞技场，另一只动物的保留笼和用于图像采集的相机。b）在社交互动测试期间在竞技场的顶视图中捕获的帧的示例。本工作中分析的用于软件验证的图像主要来自[9]中提出的行为测试环境。测试最初将小鼠置于···在正方形竞技场（白色有机玻璃开放场地，每边37cm，高30 cm）的中心，使用放置在竞技场上方的摄像机（Cineplex Studio，50 fps）实验小鼠被允许在两个不同的实验阶段下探索竞技在第一阶段（在第二阶段（“社交”阶段）中经典地，在阶段之间比较竞技场占用的模式，例如在笼子和竞技场角落附近花费的时间，并用于识别小鼠的焦虑和抑郁样行为这种实验设置是相当常见的[10- 12 ]，其中从上部摄像机记录竞技场，并从那里对动物进行一些行为分析因此，本文中提出的软件已经在这种情况下进行了验证。2.3. 图像处理技术2.3.1分割图像分割是将数字图像分割成多个片段（像素集，也称为图像对象）的过程。分割的目标是简化和/或改变图像的表示，使其更有意义，更容易分析。更准确地说，图像分割是为图像中的每个像素分配标签的过程，使得具有相同标签的像素共享特定特征[13]。通常，分割算法或者基于不连续性，其分析区域的边界以搜索明显的差异，或者基于相似性，其分割对于线检测[14]，边缘检测[15，16]，区域聚类[17]以及其他应用非常有用。分割过程将区域R划分为n个连接的子区域R1、R2、…、Rn，使得满足等式1和2对于灰度图像，集合是Z3空间的成员，其中除了像素坐标之外，还添加了额外的维度以说明像素灰度颜色。数学形态学中的操作是基于称为结构元素（SE）的小集合，这些是用于搜索图像的感兴趣属性的子图像。一些集合操作可以在输入图像上使用这些元素执行，主要的是侵蚀和膨胀。腐蚀是一种形态学操作，通过公式3正式定义了所执行的集合运算。AB={z|（B）zA}（3）另一方面，膨胀是一种形态学操作，通过它集合的边界被扩展，形式上由等式4定义。AB={z|（B<$）z<$A<$=<$}（4）通过上述操作的组合，可以定义两个非常有用的操作，即打开和关闭。开口操作用于柔化轮廓，打破通道并消除小突起。开运算的主要应用是从分割中的噪声中去除小的误差该操作由等式5定义。AB=（AB）B（5）闭合操作也用于柔化轮廓，但倾向于合并狭窄的不连续性，消除小孔并填充轮廓中的间隙该操作由等式6定义。A·B=（A<$B）<$B（6）2.3.3主成分分析主成分分析（PCA），也称为Karhunen-Loève变换或Hotelling变换[22，23]，ni=1 Ri（1）在相互依赖变量的数据集上执行到线性去相关的另一数据集的正交变换R iR j=i2.3.2数学形态学在自然界中，术语形态学是指研究植物和动物的形式和结构。数学形态学是基于集合论的工具箱，通过它可以研究数字图像中的形式和结构[18在二进制图像中，集合是Z2空间的成员其中坐标是像素坐标分量。变量[24]。因此，PCA用作将数据转移到新坐标系的线性变换，使得通过数据的任何投影的最大变化将在第一坐标（第一主成分）中，第二大变化在第二坐标（第二主成分）中，等等。这类分析的一个显著优点在于，与许多问题相关的变量往往是相互关联的，这使得其中一些变量变得多余R=0ΣΣ不不≥−⊖因此，当使用这种类型的转换时，可以在更小的维度上分析数据而不会丢失信息。PCA公式如下，设x<$=[x1，x2，. -是的-是的T是来自数据集的n维向量，因此该数据集的平均向量（7）和协方差矩阵（8）被定义为：M减法过程是有效的，因为在这里研究的在图4中，可以看到先前减去的帧的直方图，利用这里提出的策略，可以将属于动物的像素放置在闭合区间[120，160]中，如图的突出显示部分所示，利用该策略，在其上执行类似滤波器的带通。m′xM=1xMii=1（七）在该图像中，将该间隔内的像素分配值1，并且将值0赋予该间隔外的像素。1e3C=1（x<$xM ii=1· x<$i）−m<$i· 美（八）五矩阵Cx是实的和对称的，因此它的特征值λ i是实的和不同的，它们各自的特征向量e′i是相关联的。对于变换，特征值按降序排序，因此λ j λ j+1，其中j= 1，2，. . .，n-1，并且矩阵A被构造成其每一行是与来自Cx矩阵的特征值相关联的酉特征向量。A的第一行包含与最大特征值相关联的特征向量，因此最后一行将包含与最小特征值相关联的特征向量432100 50 100150 200 250霍特林变换可以写成如等式9所示，其中变换的向量具有零平均值。y<$=A（x<$−m<$）（9）3. 结果这里提出的方法的第一步是从由相机捕获的每一帧中减去用户提供的实验设置背景的图像，因此获得其中属于场景中的静态元素的像素将具有接近0的值并且移动对象的像素将具有接近255的值的图像。图3描述了这个减法过程。当前帧图4.图像相减结果的直方图。为了在背景减除之上进一步增加系统为了收获形态学操作的益处，图5（a）中描绘的二值化过程的输出通过具有图5（K1）中描绘的内核的侵蚀操作，该操作可以被写为AK1，其中所有可能的噪声都从图像中去除，然而，某些感兴趣的部分也可能被去除，为了克服这个问题，在先前的结果上执行具有图5（K2）所示的核的扩张操作，从而增加感兴趣的区域并抵消可能被去除的部分。最终结果如图5（b）所示，完整的运算可以写成B=（A<$K1）<$K2。K1K2图3.用户提供的背景图像和从实验视频中获得的帧的减法处理。图5.形态开放图6（a）显示了计算机中最后一步的输入背景Xy处理帧（（（一）（b）第（1）款在此提出的工具在该图像中，执行PCA算法，并且可以找到表示图像的主成分的两个轴，其中一个轴将始终指示小鼠注视的方向这些轴和面罩图6. PCA算法的输入和输出。使用该工具，研究人员可以分析动物在实验期间在此外，根据轨迹点，可以生成热图，以分析动物在竞技场的特定部分中的长期存在，如图7（b）所示。此外，（（（为了便于访问所提供的工具，开发了图8所示的在那里，用户可以加载视频并可视化正在处理的帧，同时对跟踪算法的超参数进行动态校正。图8.开发了用户界面利用这项工作提出的计算工具，神经科学研究人员可以自动分析在行为实验期间从动物位置收集的数据，因此，能够确定动物是否花了更多时间探索环境或孤立在角落中，并利用这些信息推断动物4. 结论这项研究描述了在行为神经科学实验中使用数字图像处理来检测和跟踪小鼠的计算发展研究人员世界-（c）在每个区域内花费的时间300250200150100500（d）其他事项80706050403020100视频期间的速度Wide可以使用所提出的工具拥有可靠、实时和全自动的跟踪系统。整个系统可以修改和适应不同的需求与开放源码的发展。在这项工作中开发的所有计算工具都可以在公众012区域0100200300400500600时间（s）许可证（GPL）可在https://github.com/xarmison/proj-pca获得，其中包括示例和教程。图7.使用该工具进行分析的实例：社交会话期间小鼠位置的历史图，显示了交互区（蓝色）和角落（黄色）;（b）轨迹的热图，显示动物在相互作用区周围的长期存在;（c）在每个区域内花费的时间，其中区域0和1是左上和右上区域，区域2是底部区域;（d）实验期间动物的速度。此外，如图7（d）所示，前述分析能力工具还提供了用于在实验期间跟踪和绘制动物使用建议的工具。5. 确认这项工作得到了北里奥格兰德联邦大学引用[1] J. J. Jun，N. A. Steinmetz，J. H. Siegle，D. J. 丹曼M.包扎湾Barbarits，A. K.李角，澳-地A. 阿纳斯塔西乌，A. Andrei，P. Aydın等人，时间（s）速度（像素/秒）高密度记录神经活动的探针《自然》，第551卷，第101页。7679，pp. 232-236，2017年。1[2] W.宗河，巴西-地Wu，M. Li，Y. Hu，Y. Li，J.Li，H. 荣H. Wu，Y.Xu，Y. Lu等人，“Fast high-resolutionminiature two-photon microscopy for brain imagingin freely behaving mice” ， Nature methods ，vol.14，no.第7页。713-719，2017年。1[3] E. S. Boyden，F. Zhang，E.班贝格湾纳格尔，以及K. Deisseroth，“毫秒时间尺度，神经活动的遗传靶向光学控制”，《自然神经科学》，第8卷，第2003 - 2004年。第9页。1263-1268，2005. 1[4] J. Dostrovsky，大脑研究，1971年。1[5] L.M.乔科莫，T.斯坦索拉，T. 博奈维，T. Van Cauter ， M.- B. Moser 和 E. I. Moser ，“Topography of head direction cells in medialentorhinal cortex，”Current Biology，vol. 24，no.第3页。252-262，2014。1[6] J. I. Sanguinetti-Scheck和M. Brecht，123号不行第4页。13921[7] A. Mathis，P. Mamidanna，K. M. Cury，T. Abe，V. N. Murthy ， M. W. Mathis 和 M. Bethge ，“Deeplabcut：使用深度学习对用户定义的身体部位进行无标记姿势估计，”Natureneuroscience，vol. 号21第9页。1281-1289，2018。1[8] N. 陈文辉，“一种基于灰度直方图的阈值选择方法”，《IEEE系统、人与控制论学报》，第9卷，第100期。第1页。62-66，1979. 2[9] A. M. Henriques-Alves和C. M. Queiroz，“小鼠社交失败压力影响的行为学评价：超越社交互动比率”，《行为神经科学前沿》，第9卷，第100页。364，2016. 2[10] M. J. Kas、A.J. de Mooij-van Malsen，B.奥利维尔湾M. Spruijt和J.M. van Ree，行为神经科学，第122卷。4，第769页，2008年。3[11] M. Yang和J.N. Crawley，“小鼠嗅觉的简单行为评估”，神经科学的最新方案，第48卷，第2005 -2007年。第1页。2009年8月24日。3[12] M.杨志良<英>来华传教士。，1937--人Silverman和J. N. Crawley，“小鼠的自动配对三室社会方法任务”，神经科学的当前方案，第56卷，第2009 -2009年。第1页。2011年8月26日。3[13] G.斯托克曼和L. G. Shapiro，计算机视觉，第1版，美国：Prentice Hall PTR，2001年。3[14] L. A. Fernandes和M. M.林志玲，“基于改进的霍夫变换投票方案的实时线检测”，模式识别，第41卷，第100期。第1页。299- 314，2008年。3[15] F. Catte，P. L.狮子，J. - M. Morel和T. Coll，“通过非线性扩散的图像选择性平滑和边缘检测”，SIAM数值分析杂志，第29卷，第2010年11月。第1页。182-193，1992年。3[16] R. S. T.梅内塞斯湖D. A.利马河，澳-地Santana，A.M.恩里克阿尔维斯河M. S. Cruz和H.Maia，1-6. 3[17] B. C. Ko和J Y. Nam，“基于人类注意力和语义区域聚类的感兴趣对象图像分割”，JOSA A，第23卷，第123期。第10页。2462- 2470，2006。3[18] R. M. Haralick，S. R. Sternberg和X. Zhuang，532-550，1987年。3[19] F. Zana和J C. Klein，“Segmentation of vessel-likepatternsusingmathematicalmorphologyandcurvature evaluation”，IEEE transactions on imageprocessing ， vol.10 ， no. 第 7 页 。 1010-1019 ，2001。3[20] P. Trahanias ， “An approach toqrs complexdetection using mathematical morphology ， ”IEEETransactions on Biomedical Engineering，vol. 40，no.第2页。201 - 205，1993年。3[21] Z. Yu-Qian，G.Wei-Hua，C.Zhen-Cheng，T.Jing-Tian和L.凌云，IEEE，2006年，第6492-6495. 3[22] K.皮尔森，“莉莉。在最接近空间点系的线和平面上，”伦敦、爱丁堡和都柏林哲学杂志和科学杂志，第2卷，第10号。第11页。559-572，1901年。3[23] H. 霍特林，《教育心理学杂志》，第24卷，第25期。6，第417页，1933年。3[24] S. Wold ， K. Esbensen 和 P. Geladi ， “ 主 成 分 分析”，化学计量学和智能实验室系统，第2卷，第100号。1-3，pp. 37-52，1987. 3[25] J. 温 内 河 Franzon ， A.de Miranda ， T.Malfatti ，J.Pa-triota ， S.Mikulovic ， K.E. Leão ， 和 R.N.Leão，“水杨酸盐诱导焦虑样行为和慢θ振荡，并消除跑步速度和快θ振荡频率之间的关系，”Hip-pocampus，第29卷，第2009年10月27日。第1页。2019年15-25日。5