深度学习系统在海豚个体识别中的应用

智能系统与应用18（2023）200207ARIANNA：一种新的基于深度学习的系统，用于海豚个体识别中的鳍轮廓分析Rosalia Magliettaa，Rimini，Arianna Bussolab，Roberto Carluccic，Carmelo Fanizzad，Giovanni Dimaurob智能工业技术和先进制造系统研究所-国家研究委员会，通过Amendola 122/D-O，70126 Bari，意大利b巴里大学计算机科学系，地址：Via Orabona 4，70125巴里，意大利c意大利巴里市Via Orabona 4，70125 Bari，巴里大学生物系dJonian Dolphin Conservation，Viale Punilio 102，74121塔兰托，意大利A R T I C L E I N F O A B S T R A C T关键词：机器学习深度学习边缘和特征检测照片识别鲸目动物从代表海豚身体的数字图像开始，提取独特的特征并用于在一组已知个体中找到未知海豚的身份。这个过程被称为照片识别，专家们用来监测海豚，提供相关数据以保护环境及其生物多样性。在这项工作中，我们展示了如何使用语义分割从海豚鳍的裁剪照片开始自动提取海豚鳍轮廓，以及如何将此轮廓用于个人识别。 设计、开发和测试了一种新的基于轮廓的鲸目动物自动照片识别系统，称为ARIANNA。该系统的新颖之处在于采用了两个独创的模块。第一个， 以未知海豚的新裁剪的Finn图像作为输入，致力于提取描述该模块的核心是一个经过训练的神经网络，专门用于图像的语义分割。第二个模块的设计是将未知鳍的轮廓与所有已知海豚的轮廓进行比较，这些海豚的轮廓收集在一个参考目录中，并返回一个最佳匹配的排名列表去哪里寻找海豚的身份这些实验是在2013年至2020年期间在北爱奥尼亚海（地中海中东部）收集的图像上进行的，这些图像展示了里索海豚Grampus griseus的裁剪鳍结果表明，ARIANNA提供了最先进的方法，可以有效地帮助研究人员进行海豚的照片识别，并可以成为进一步研究基于语义分割的不同物种的照片识别的起点。1. 介绍如今，研究地球的持续变化对于了解生态系统多年来的变化并做出保护它们的决定至关重要。海洋环境是最受影响的环境之一，因此我们必须研究栖息地的使用、迁移和海洋物种的生活习惯，以分析它们对这些变化的在这方面，过去使用侵入性技术来识别不同的标本，例如在动物身上使用地理定位装置这种方法可能一种不恰当的动物行为，导致研究中的偏见和伦理问题。这些技术的出现引入了新的方法或增强了现有的标本鉴定方法，例如照片通讯作者。电子邮件地址：rosalia. cnr.it（R. Maglietta）。https://doi.org/10.1016/j.iswa.2023.200207识别，用于通过分析其数字图像来识别个人。因此，可以收集大量关于动物的宝贵信息，而无需直接收集它们。在这项工作中，我们专注于一个特定的物种，Risso然而，关于其分布的信息和估计是稀缺和不充分的，地中海亚群被世界自然保护联盟红色名录Kiszka等人列为数据缺乏。（2018年）。这个物种的特殊性是其身体上存在长期持久的可识别的自然痕迹，例如伤疤，缺口和鳍形状的变化，由与猎物和其他标本的战斗引起（见图1）。1）。这些特征可用作照片识别的区别字符Maglietta et al.（2020），Maglietta，Renaissance，et al.（2018），Maglietta，Bruno，et al.（2018年）。接收日期：2022年10月24日;接收日期：2023年2月1日;接受日期：2023年2月24日2023年3月2日在线发布2667-3053/© 2023作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。目录可在ScienceDirect智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applications*R. Maglietta，A.布索拉河Carlucci等人智能系统与应用18（2023）2002072图1. 里索海豚标本。在文献中，有软件程序支持研究人员对鲸目动物进行照片识别，如Maglietta等人（2022年）所广泛讨论。最古老的软件之一是DARWINStanley（1995年），这是一种半自动化软件，可帮助研究人员识别底鼻海豚Tursiops truncatus和其他物种Paschoalini和Santos（2020年），Frau et al.（2021年），de Mello et al.（2019年），Dinis et al.（2016年 ） ， Degrati et al. （ 2018 年 ） ， Estrade 和 Dulau （ 2020 年 ） ，Degrati et al.（2020年），Samuelson et al.（2021年），通过支持它们，同时跟踪海豚鳍的轮廓，并最大限度地减少未知标本与先前识别的海豚目录进行比较的主观性。用户必须首先提供一个分类为已知标本的海豚照片目录：对于每张照片，用户必须用光标粗略地描绘出海豚鳍的大致轮廓，以便软件可以通过将点从初始位置移动到鳍的实际边缘来在照片识别过程中，DARWIN会推断鳍片上的一些显著特征前缘的起点、前缘的终点、背鳍的尖端、后缘上最突出的凹口和后缘的终点。一旦已知标本的目录完成，用户可以使用达尔文识别新的dolphins。从描绘未知标本的照片开始，将如前所述从中提取鳍轮廓，并将所获得的未知鳍轮廓与参考目录中的所有可用轮廓进行比较，以找到最匹配的轮廓。达尔文的输出是一个排名名单之间的可能匹配的未知海豚和那些收集在目录。该软件的缺点是用户必须始终直接与系统交互，特别是在轮廓提取阶段。最近，文献中介绍了一种全自动照片识别软件Fin-FindR Thompsonet al.（2021），该软件可被视为鲸目动物自动照片识别的最先进轮廓算法。在从输入图像中提取海豚鳍后，它跟踪它们的轮廓并产生一个排名前50的最有可能匹配的身份列表，这使得用户能够查看并排的图像对并做出最终的身份确定。具体而言，FinFindR工作流程主要基于神经网络的应用，包括四个步骤：finn isolation、trailing edge的隔离、基于区分特征的分数计算以及查询图像分数与目录中其他finn分数的接近度FinFindR将正确的-在94%的测试中排名前10的比赛和在97%的测试中排名前50的比赛然而，这些结果仅使用高质量照片获得，这使得该评估与实际使用场景不一致Maglietta等人（2022）。事实上，Thompson et al.（2021）的作者使用Friday et al.（2021）的既定标准对每张图像的摄影质量和背鳍独特性进行了评分。（2000），Urian et al.（1999年，2014年）。只有那些被评为平均或更好的摄影质量被纳入分析。测试中不包括质量差的图像本文的主要目标是设计，开发和测试一个新的全自动鲸目动物照片识别系统，能够处理现实生活中的场景图像，而无需根据图像质量选择任何类型的照片。为此，我们提出了一种新的照片识别系统，称为ARIANNA，其新颖之处在于采用了两个主要模块：轮廓提取模块和匹配模块（见图3）。从海洋探险中获得的原始照片开始，人工获取海豚鳍的裁剪图像，并收集在目录中。对于每个裁剪的图像，使用由人工提供的标签，该标签由手动提取的二元掩码组成，其中突出显示FinOutline。这一带标签的目录被用作ARIANNA的输入。在轮廓提取模块中，该系统使用神经网络Zhao et al.（2019），Goodfellow et al.（2016），在标记目录上训练，专门用于图像的语义分割，该网络拍摄海豚鳍的新裁剪照片轮廓提取模块中实现的其他任务旨在找到鳍尖并均匀化所有图像，这意味着鳍尖必须始终位于所有照片的左侧（见图7）。当鳍尖最初位于右侧时，通过模块中列出的操作反转鳍的方向。这个操作是必不可少的，因为它使轮廓具有可比性，无论拍摄的是鳍的哪一侧。在这个模块中实现的设计是原创的，以前从未在文献中采用过。一旦获得新海豚的鳍轮廓，匹配模块被设计为将未知鳍与参考目录中收集的所有模型进行比较，返回最佳匹配的有序列表。两个鳍之间的比较是基于它们的轮廓之间的重叠误差的计算，这定义了鳍之间的不相似性的度量。Stanley（1995）中已经使用的比较鳍的有效方法在ARIANNA方法的匹配模块中进行了测试和开发。因此，本模块中使用的基本指标并非原创，但在比较其应用优势时所做的分析是原创的，并为应用领域的现有知识增添了新的内容。这些实验是在描绘已知的里索海豚物种的图像上进行的最后，在这些真实场景图像上比较了AR- IANNA和finFindR的性能，使用了探险期间获得的所有照片，并包含海豚背鳍，其中没有根据图像质量进行照片选择。2. 材料和方法2.1. 调查区域和数据收集塔兰托湾位于北爱奥尼亚海（地中海中东部），从圣玛丽亚迪莱乌卡延伸到蓬塔爱丽丝，面积为14000平方公里。本工作所用的数据收集包括专家于2013年至2020年期间在研究区域内采集的全帧图像中手动裁剪的海豚鳍照片，包括以下内容：• 目录A：于二零一三年至二零一九年期间拍摄的84种不同已知物种的1745张经裁剪的最终照片，每种物种均有识别名称（见表一）为目录中的每张照片手动提取了一个突出鳍轮廓的二进制掩码：在这些掩码中，如果一个像素el对应于鳍的轮廓，则用白色着色;否则，则用黑色着色（见图1）。2）。R. Maglietta，A.布索拉河Carlucci等人智能系统与应用18（2023）2002073图2. （a）海豚鳍的原始裁剪照片。（b）从面板（a）中的finn中提取的二进制掩码表1为A类海豚提供的照片数目亚历山德罗17弗兰埃塔104佩罗尼8Alex 13 Fulmine 12 Pi 9Alt 47 Galassia 34 Pinna 15阿里耶特11差距19普雷泽莫罗17Arrow 36吉安卢卡13蓬蒂诺12本13高尔夫11四11黑色20灰色61红色6卡奥斯33格里焦13里克11卡尔23快乐7 Saturo 5Carlucci 9 Hugo 39 Scivolo 16卡梅隆28伊尔德里托5塞特16查理6伊平10七6Cometa 24 Jax 43微笑14Croci fisso 18 Jhonatan 23 Smilzo 9Cupido 19 Jova 8 Spada 10达尔马塔39卡帕10斯普里茨10Dali三角洲24月球5冲浪13Divergo 6马塞特12斯维戈洛16马里奥13雷神20马西莫6 Ti 17Ele 19 Meno 7 Tigre 12Tris 11Emme 21 Morse 8 Vito 28Erard 39 Nerino 6 Wave 51Ez 5 Niente 13 Wolverine 19Falco 11 Peggy 8 Zante 28Foglia 150 Peroncino 10 Zebra 8表2为B类中每只海豚提供的照片数目Cometa 11我1微笑9Croci fisso 4 Morse 9 Smilzo 2Ele2 Nerino 2 Vito 3Falco 1 Niente 12差距11，关于反倾销7• 目录B：于2020年在同一研究区拍摄的13个不同标本的74张裁剪精细照片（见表2）。2.2. 方法所提出的方法已经在图3中总结，并且所有算法都是使用MATLAB（MathWorks，Natick，MA）构建的。ARIANNA由两个原始模块组成：轮廓提取模块和匹配模块，这将在下面描述。该系统的用户必须提供一个参考目录K，其中包含已知海豚的已标记的剪切照片，以及一个目录U，其中包含他想要识别的未知标本的剪切照片。R. Maglietta，A.布索拉河Carlucci等人智能系统与应用18（2023）2002074图3.第三章。 ARIANNA照片识别系统流程图。2.2.1. 轮廓提取模块目录K和U作为输入到轮廓提取模块，该模块执行两个不同的任务。首先，每张裁剪的照片都通过神经网络创建一个二进制掩码，该掩码为每张原始图像突出显示与精细轮廓对应的所有像素。然后，软件使用此掩码为匹配阶段创建精细轮廓的模型。为目录K和U中的鳍创建的模型在匹配模块的输入中呈现。轮廓提取模块可分为以下4个步骤：• 第一步：用神经网络• 第二步：建立FinOutline模型• 第三步：找到最后一步• 第四步：向右旋转鳍下面是对每个步骤的描述步骤1：用神经网络提取鳍状轮廓用户必须将海豚鳍的裁剪照片输入系统，如图2所示。在本模块的第一步中，R. Maglietta，A.布索拉河Carlucci等人智能系统与应用18（2023）2002075||||见图4。 E示例的一个finn轮廓与起点，尖端和终点中使用的建议模型。鳍被输入到一个神经网络，专门用于使用语义分割提取里索海豚的该算法处理图像以创建掩模，其中像素被分类为不同的类。我们使用了RefineNet Lin et al.（2017），这是一种学习网络，它使用顺序架构在多个抽象层次上利用图像的特征进行高分辨率语义分割。我们使用目录A提供的75%的照片作为训练集，剩余的25%用于验证集，其具有相应的二元掩码。用于语义分割的类是对应于鳍轮廓的pix元素的像素分割（白色）和所有其他pix元素的像素分割（黑色）。���������������������������������������������������步骤2：建立FinOutline模型从鳍状轮廓的二进制掩码开始，我们提取掩码中每个白色像素x el的坐标，以在匹配阶段创建鳍状轮廓的可处理模型。这个模型将是一个有序坐标的向量：第一项（）包含对应于鳍的后缘开始的pi xel的坐标;最后一项（）包含对应于鳍的前缘结束的pi x el的坐标，如图4所示。在模型中，对应于鳍尖的PIXel也被识别。海豚背鳍的后缘从背鳍的后部到鳍尖，前缘从鳍尖到鳍前部。构建有序向量的算法称为有序向量生成算法可分为5个阶段：1. 我们使用MATLAB函数bwareafiltMATLAB（2023a）隔离掩模中最大的白色部分，以避免考虑图像中散射的白色像素（参见图11）。5a）;2. 使用MATLAB函数bwmorphMATLAB（2023 b）细化剩余的白色部分，以创建对应于精细轮廓的白色像素的单行（参见图5b）;3. 使用MATLAB函数findMATLAB（2023 c），我们获得包含掩码中所有白色像素的坐标的向量，随机排序;4. 为了对这些坐标排序，我们从搜索起始点开始：它是PIXEL，y坐标的较小值在掩码的左侧部分;5. 一旦我们有了起点，我们就可以开始构建有序向量了：第一个项i是顶点，项i+1是向量中最接近项i的piXel，x，y向上到顶点，然后向下到顶点（见图1）。5c）。如果在原始向量中仍然有piXel要分析，但不可能找到一个比5 piX el更接近当前点的PI Xel，这意味着掩码包含间隙，因此将其丢弃。第三步：找到最后的提示在获得鳍线坐标的有序向量之后，我们必须确定对应于鳍尖的那一个。为此目的，我们使用另一种算法，称为白像素排序，用于输入到白像素排序的掩码的上侧，以获得掩码的该部分中的N个白色像素������������������������������������������我们可以把这个过程分为四������������个阶段：1. 在有序向量中选择了三个项目：- A：第一项- B：位置（A）+N/N的项目- C：位置（A）中的物品+2N/N其中，根据经验将系数λ选择为等于7。这个想法是将N个白色像素的有序向量分成两个相等的部分，并选择点B和C，如前所述。如果n是小的，即等于2或3，则N/n是大的，并且项目B和C可能离A太远，有B穿过鳍尖的风险;否则，如果n很大，即等于20，那么N/n很小，A、B和C可能太近。的选择值λ=7是刚刚描述的两个极端条件之间的折衷。因此，我们确保三个点之间的o值集与向量中的点的数量成比例（见图2）。6a）。2. 我们计算并存储���������=+������−������（ 1）其中，AC、AB和BC是标量，每个标量对应于两点之间的距离，即AC是点A和点C之间的距离。当我们找到一个较小的x值时，点B在鳍的尖端（见图1）。6b）。3. 我们更新三个点的位置：新的点A是当前点A之后的点，因此点B和C的位置是更新的。4. 我们重复步骤2和3，直到我们分析了向量中的所有点，跟踪值x较小的配置。最后，给出x的较低值的配置的点B作为finn的尖端返回第四步：向右旋转鳍为了均匀化所有数据，我们必须确保所有照片都以左侧的鳍尖为方向：因此，我们必须检查鳍尖是否位于左侧。我们正在研究的是正确的方向，鳍尖在左边，所以我们可以毫无问题地将它与目录K的所有鳍重叠。 在获得有序向量和finn tip之后，我们检查finn方向：首先，我们计算m，坐标之间的平均值轮廓的第一个点的x和最后一个点的坐标x; 如果鳍尖的坐标x小于m，则意味着鳍尖是正确的左方向;否则，如果鳍尖的坐标x大于m，这意味着finn是向右的，所以我们必须自动旋转它。我们可以在图中看到两个例子第七章：在阴谋中绿线标记轮廓第一点的x坐标，蓝线标记轮廓最后一点的x坐标，黄线标记m值，红线标记鳍尖的x坐标。在第一种情况下（图7a），红线在黄线的左边，实际的鳍尖在图像的左边;在第二种情况下（图7b），红线在黄线的右边，鳍尖实际上在右边，鳍必须旋转。2.2.2. 匹配模块在匹配模块中，将来自cat-fm U的每个未知鳍的轮廓与来自目录K的每个鳍轮廓模型进行比较。比较是基于两个轮廓之间的重叠误差的计算，这将定义鳍之间的不相似性的度量。最后，软件利用这些错误创建一个有序的样本列表，这些样本与未知海豚的鳍最R. Maglietta，A.布索拉河Carlucci等人智能系统与应用18（2023）2002076图5. （a）海豚鳍的原始二进制掩码。（b）减薄阶段之后的掩模（c）提取的有序向量的绘图图第六章（a）第一点A、B和C。（b）B点对应于鳍尖的构形图第七章（a）鳍片方向正确，尖端在左侧。（b）鳍片方向不正确，尖端在右侧。对于ARIANNA的匹配阶段，已经使用和测试了一些方法，这些方法受到Stanley（1995第一步致力于逐渐减少两个鳍的后缘的长度，以便找到它们的最佳重叠;第二步用于将未知鳍的轮廓映射到已知鳍的轮廓上;在最后一步中，计算相异性，作为重叠误差。以下提供了3个步骤的详细描述。第一步：逐渐减少后缘的长度第一步从Stanley（1995）提出的TRIM固定百分比方法中得到启示：它确定了两个鳍之间的误差必须多次计算以将两个鳍的后缘的长度逐渐减小其长度的5%，以便找到最佳的重叠。因此，还可以识别 当照片质量较低时，例如，当鳍状物被波浪、飞溅的水或其他干扰因素覆盖时。我们通过执行步骤2和3 7次不同的时间来调整这个想法，以返回更小的重叠误差。步骤2：将未知的fin映射到catalogue fin上在计算两个鳍之间的重叠误差之前，我们必须将未知鳍的轮廓映射到目录鳍的轮廓上，以获得它们的最佳重叠。方法mapContour选择鳍上的3个点，并利用它们来创建两个线性系统，用于Stanley（1995）.所选的3个要点是：对应于后缘上最显著凹口的点;后缘的第一个点（getCoordinates中的起点）和前缘的最后一个点（getCoordinates中的终点）。在我们的工作中，我们决定使用鳍尖，而不是最突出的缺口，因为鳍尖更容易找到，并导致良好的重叠。因此，通过使用这3个点来执行未知鳍轮廓（finoutline）与已知鳍轮廓（finoutline）之间的映射• ���������(���): tip of the fin F• 尾缘（filedge）：尾缘F的第一点• ���������(���): last point of the leading edge of fin FR. Maglietta，A.布索拉河Carlucci等人智能系统与应用18（2023）2002077线性系统是：1。图8. 两个不同的fines之前（a）和之后（b）映射。���������(���)���=��� ∗��������� (���)���+��� ∗ (���)���+ (2)������������������������(���)���=��� ∗��������������� (���)���+��� ∗ (���)��� + (3)������������������������(���)���=��� ∗��������� (���)���+��� ∗ (���)���+ (4)���������2.���������(���)���=��� ∗��������� (���)���+��� ∗ (���)���+ (5)������������������������(���)���=��� ∗��������������� (���)���+��� ∗ (���)��� + (6)������������������������(���)���=��� ∗��������� (���)���+��� ∗ (���)���+ (7)���������用高斯-约当消去法求解这些方程组，图9. 创建中间轮廓过程的一个步骤的图示。考虑：轮廓U上的点i和点i+1之间的线段，以及找到six个系数（x，x���������）以重新计算坐标x轮廓K上的n点tj和t+j1之间的线段。Indice的评论而对于未知的Finn轮廓的每个点（x，y），y���′=���������������从1开始，逐渐增加，直到后缘结束。目标是在U的当前线段上找到点a，以获得新的点m，其坐标是点a坐标的平均值���′=������������图8示出了两个映射的鳍的示例。以及点t+j的坐标s（见图11）。9）。点a的坐标为：1，这是中等轮廓的一部分步骤3：计算相异度一旦未知的鳍轮廓被映射到目录鳍的轮廓上，就可以估计它们的相异性这一步利用了Stan-ley（1995）提出的meanSquaredErrorBetweenOutlineSegments方法，但有一个微小的变化：相异性计算为整个鳍轮廓（后缘和前缘）上的重叠误差;这里，仅考虑后缘。作出这一选择的原因如下：• 后缘比前缘具有更多的特征;• 在大多数情况下，不同规格的前缘非常相似，因此其考虑可能是无用的且耗时的;• 很难有一个完美的重叠，所以即使两个前缘是相同的，他们可能不会完全重叠，误差将增加。meanSquaredErrorBetweenOutlineSegments方法的第一个阶段需要计算两个后缘之间的中间轮廓：该中间轮廓的每个点都是通过扫描两个鳍的每个片段并选择它们之间的中间点来获得的。该中间轮廓用于找到两个分析轮廓上的点对，计算它们之间的重叠误差。从现在开始，我们用U表示未知鳍的后缘，用K表示目录中已知鳍的后缘。在每次迭代中，������������������������=������������������������=在这些等式中，值s被计算为所分析的轮廓部分的长度与轮廓U上的当前段的长度之间的比率。创建中间轮廓的过程一直持续到我们到达一个轮廓的末端。图10显示了两个分析过的轮廓的截面：蓝色的U（未知鳍的后缘）和橙色的K（目录中已知鳍的后缘）。如果我们考虑U在点u1和u2之间的线段以及K在点k1和k2之间的线段，我们可以看到黄色星号点m，其坐标是点a和k2坐标的平均值。一旦获得中间轮廓，它用于在两个原始轮廓上找到n对点，我们将计算两个原始轮廓之间的重叠误差。整个过程被分成多个迭代，同时在三个轮廓上循环（未知的鳍、已知的鳍和中间轮廓）。让我们考虑以下指数：• m，其循环通过先前计算的中间轮廓的点• i，它循环通过未知鳍的后缘的点;• j，它循环通过目录中已知鳍的后缘点。R. Maglietta，A.布索拉河Carlucci等人智能系统与应用18（2023）2002078+图10. 两个等高线及其中间轮廓的截面。在每次迭代中，我们将搜索一对点（，）���，其中u是索引和���-1之间未知finn的后缘上的点，k是索引和-1之间已知finn的后缘上的点。���������-1。计算这两个点的坐标，使得在最后，可以在点u、k和m之间追踪直线。在每次迭代结束时，我们增加找到的对的数量（n+1），并将计算出的点u和k之间的距离添加到误差之和中。在检索到所有对之后，所分析的两个鳍之间的相异性的度量是误差之和与所发现的对的数量之间的比率（均方误差）。为了在指数和���-1之间的未知finn的后沿上找到点，我们计算：������������1= (������−1−������) ∗��������� + (��� ������−1−��� ���) ∗(12)������������2=(������−������)∗���������+[(���−)∗������������������(13)Thevariablesmdxandmdyarethedistancesbetweenthecoordinatesx和y。值dot 1和dot 2将告诉我们我们必须找到点u的未知finn的哪一段：如果它们都是正的，我们正在考虑一个未知finn的段，它远远领先于点m，所以我们必须减小索引i，直到我们到达起点;如果它们都是负的，我们正在考虑一个未知finn的段，它远远落后于点m，所以我们必须增加索引i，直到我们到达终点。只有当dot 1和dot 2的符号相反时，点m和点i与i-1之间的线段才对应，因此我们可以继续找到点u，其坐标为：������= (������������∗������)+������−1(14)������= (������������∗������)+������−1(15)变量dx和dy是坐标x和y之间的距离分别为点i和点i-1; beta计算为：3.1. 神经网络训练为了训练一个神经网络，它提供了海豚鳍原始裁剪照片的二进制掩码，我们利用了RefineNet提供的学习算法：从一张海豚鳍原始裁剪照片开始，���������������������������������������根据用户提供的数据，该算法生成了5个历元的在真实数据预测模型上训练的不同神经网络，并评估了它们在真实数据预测模型上的性能，该性能通过计算真实数据预测模型的重叠面积与总面积的比值来提供。������������������������������������������������������������������������������������������������������������������������我们将目录A中的1345张照片（约占整个目录的75%）作为RefineNet的照片，其余400张照片作为RefineNet的照片，并在n处停止学习算法=150。在获得的30个神经网络中，在第80个时期生成的神经网络是最好的，因为它提供了最好的神经网络度量值（0，894）（见图11）。12）。3.2. ARIANNA匹配阶段的结果为了评估ARIANNA系统的性能，使用目录A作为已知标本的照片数据集和目录B作为要识别的海豚的照片数据集进行测试因此，我们可以看到当未知的鳍与已知的鳍略有不同时软件的反应，因为鳍可以随着时间的推移而变化，并且在轮廓中具有略有不同的特征考虑到为每个未知finn计算的相异性度量，我们使用4个不同的度量来评估软件的最终预测：• 平均值1：用每个已知标本提供的所有照片获得的相异性测量值的平均值• 平均值2：通过为每个已知标本提供的所有照片获得的相异性测量值的中位数;• 平均值3：使用以下方法获得的3个较少的相异性测量值的平均值������������=−���������∗ (������−1−������)+��������� ∗ (���������−1− )���（十六）为每个已知标本提供的照片;• 平均值4：使用以下方法获得的5个较少的相异性测量值的平均值一旦得到点k，就执行相同的过程，在目录中的已知finn的后缘上找到点k，迭代索引j而不是索引i。图11示出了该过程的图示：未知鳍的边缘是蓝色的，中间轮廓是浅蓝色的，目录中已知鳍的后缘是橙色的，所有对（���，）都是红色的。因此，我们可以清楚地看到在点u、k和m的每个三元组之间可以跟踪的直线。3. 实验和结果使用MATLAB（MathWorks，Natick，MA）分析所有数据为每个已知标本提供的照片。每个指标提供了一个列表的预测为每个未知的标本排序的指标值：因此，最低值的指标对应的最佳预测。在表3中，我们可以看到系统使用4个不同的度量将未知海豚的正确身份返回为前3个位置、前5个位置和前10个位置中的有序列表的第一项的次数百分比。当输出列表按度量3排序时，成功率显著提高，即，用为每个已知样本提供的照片获得的小于3个相异性测量的平均值。R. Maglietta，A.布索拉河Carlucci等人智能系统与应用18（2023）2002079图十一岁在两条等高线上找到的点对的图形说明。表3ARIANNA系统的测试成功率指标11个月后，该公司的销售额为7.34%，21.10%2015年12月31日中国1054.13%度量21个月后，该公司的销售额为17.43%，中国31.19%2015年12月25日中国1068.81%公制31个月后，该公司的销售额为34.86%，图12. 在目录A上训练时，由RefineNet生成的神经网络的交集的值。一般来说，我们可以看到系统如何以中高概率范围确保在列表的前10个位置返回未知海豚的正确身份。然而，如果我们要求系统在更高的位置返回正确的身份，特别是在第一位，成功率会显著降低。原因是，尽管鳍上有独特的标记，但许多标本的后缘非常相似，因此如果我们将这个问题添加到全自动过程的固有误差范围内，那么特征不太明显的标本很容易与其他标本混淆，因此正确的身份可能会被类似的海豚超越，并且具有较低的等级。除了这些与自然鳍形状和自动提取轮廓有关的问题外，还有与过程中照片质量有关的问题，这些问题通常是模糊的，具有遥远和扭曲的视角，并被其他动物，船部件，波浪和飞溅的水覆盖在分析了各种测试的结果之后，我们注意到，与这里显示的测试类似，第三个度量总是倾向于导致最佳预测，因此它被选为系统的最终度量，用于预测身份的输出列表。3.3. 与FinFindR的为了将我们的系统与现有系统的性能进行比较，我们选择测试最常用的平台之一，专门使用FinContour进行海豚照片识别，FinFindRThompson等人。（2021），FinFindR（2018），关于第3.2章中使用的相同目录（目录A为已知标本，目录B为鉴定标本FinFindR的操作类似于本文中描述的操作：它在照片中找到海豚鳍的后缘，计算得分2019年12月31日中国56.97%中国1091.74%公制41.19%的投资者2019年12月31日2019年12月28日中国1088.07%并基于相似的分数从已知个体的目录中产生可能的身份的排序列表ARIANNA系统在分析已知标本目录中的所有个体照片后提供了海豚名称列表，而FinFindR提供的列表直接包含已知标本目录中获得最佳匹配的照片的文件名称在表4中，我们可以看到比较的成功率：当我们在有序列表的第一个位置请求正确的身份时，FinFindR的准确率略高（+10%），但是当考虑列表的前3，5和10个位置时，它的性能更详细地说，在现实生活中，ARIANNA系统可以在91.74%的情况下返回列表上前10位的未知海豚的正确身份，而在这种情况下，成功率FinFindR仅为67.57%。此外，finFindR无法识别目录A的1745张照片中的864张海豚鳍，并将其丢弃。我们应该考虑的是，finFindR在有序预测列表中排名第一的45.95%的准确度不适用于照片识别研究，这会导致预测的高误差。因此，最好选择前10个预测的有序列表，例如由ARIANNA提供的，其中用户几乎可以确定找到正确身份的准确性为91.74%R. Maglietta，A.布索拉河Carlucci等人智能系统与应用18（2023）20020710表4FinFindR和ARIANNA系统的成功率。ARIANNA FINFindR1个月后，该公司的销售额为34.86% 45.95%2019年12月31日中国566.97% 56.76%中国1091.74% 67.57%关于海豚通过这种方式，他可以轻松地检查有序列表并分配海豚的正确照片识别。4. 结论这项工作旨在设计，开发和测试一个自动系统，以支持研究人员在鲸目动物的非侵入性照片识别。在所提出的系统中，一个未知的海豚是基于其背鳍边缘的独特特征的自动提取来识别的，这些特征随后被用来与 一 组 已 知 的 标 本 进 行 匹 配 这 些 实 验 是 在 里 索 海 豚 身 上 进 行 的ARIANNA使用截取的海豚鳍图像作为输入，这些图像是通过海洋探险期间获得的原始全画幅照片获得的。这是所有鲸目动物照片ID算法的基本步骤，Maglietta等人（2022），通常手动执行，过程耗时，特别是在大数据集的情况下。然而，最近的文献中有一个专门用于自动裁剪海豚背鳍的系统：它结合了图像预处理算法和卷积神经网络分类器，获得了92%的准确率Reno et al.（2020）。该系统可以有效地与ARI-ANNA结合，从全帧图像开始获得用于鲸目动物照片ID的全自动流水线。鳍的轮廓是使用应用于海豚鳍的裁剪照片的语义分割技术提取的。从这个轮廓开始，我们测试并利用了几种方法，根据不同轮廓之间重叠误差的计算，将未知的海豚鳍与已知标本的目录进行匹配照片识别系统的最后一步提供了一个与未知鱼类最匹配的标本的有序列表，并以中高百分比（80% - 90%）保证未知海豚的正确身份位于该列表的前10个位置。所提出的工作是基于语义分割的轮廓特征提取的照片识别技术的未来发展的里程碑。今后的研究应侧重于将ARIANNA应用于其他海洋标本，如其他海豚物种、鲨鱼和鲸鱼。Arianna和finfinndR的一个弱点是，他们无法在预测有序列表的第一位预测海豚身份，并且准确度很高。据我们所知，在文献中，这一目标还没有被任何人实现。基于轮廓的照片识别算法，并进一步研究应致力于这一目标。此外，ARIANNA的一个局限性是它只使用海豚鳍轮廓中包含的信息，而不考虑鳍上包含的可评估信息。例如，在2018年，一个用于里索海豚照片识别的全自动工具它在Risso's dolphin的背鳍上使用了独特的标记进一步的发展应集中在SPIR和ARIANNA的集成上，旨在提供一种基于鳍上和鳍轮廓上的自然标记的里索海豚照片识别的新方法。这种方法对其他种类的海洋哺乳动物也非常有用。CRediT作者贡献声明Rosalia Maglietta ： 概 念 化 ， 方 法 论 ， 监 督 ， 写 作 AriannaBussola：数据管理，软件，验证，写作-原始草案。罗伯托·卡卢奇：写作- Carmelo Fanizza：数据策展，资源。乔瓦尼·迪毛罗：概念化，写作竞争利益作者声明，他们没有已知的竞争性经济利益或个人关系，可能会影响本文报告的工作。数据可用性数据将应要求提供。确认作者感谢Michele Attolico的技术援助和Emanuele Seller对本文实验方面的宝贵讨论引用de Mello，A.，Molina，J.，Kajin，M.，&桑托斯，M。（2019年）。生活在巴西东南部河口系统的圭亚那海豚（sotalia guianensis; van bénéden，1864）的概略估计。水生哺乳动物，45，56Degrati，M.，Coscarella，M.，Crespo，E.，&Dans，S.（2018年）。阿根廷巴尔