鱼类分类技术与FC数据库的研究和应用

沙特国王大学学报鱼类分类技术穆塔塞姆湾易卜拉欣？阿尔马拉什德？阿尔斯马迪？沙特阿拉伯达曼，伊玛目阿卜杜勒拉赫曼本费萨尔大学，应用研究和社区服务学院，管理信息系统系阿提奇莱因福奥文章历史记录：收到2020年2020年7月12日修订2020年7月13日接受2020年7月17日在线提供保留字：特征提取形状特征纹理特征颜色特征图像分割鱼类分类算法A B S T R A C T鱼类分类是图像分割、模式识别、信息检索等领域的一个重要研究课题它已经被应用在无数的领域，包括目标营销。与此同时，政府有义务维持鱼类供应和生态系统，商业，农业领域，海洋科学家和鱼类工业领域（包括营养和罐头工厂）之间的平衡。根据预处理和特征提取方法的可用性、提取特征的数量和分类精度、识别的鱼类科/种的数量，比较了各种FC技术的性能这项调查还审查了Fish 4-Knowledge（F4 K）、知识数据库和全球鱼类信息系统（GIS）等数据库和其他FC数据库的使用情况。预处理方法、特征提取技术和分类器的研究都是从近期的研究成果中收集的，旨在加深对预处理方法、特征提取技术和分类器特点的认识，指导未来的研究方向，弥补目前的研究空白。©2020作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍鱼类分类（FC）是根据鱼类的特征来识别和识别鱼类种类和科的行为。 它依赖于与代表性样本图像的相似性来识别目标鱼并将其分类为物种（Ogunlana等人，2015年）。这一过程对于特征提取、模式和轮廓 匹 配 、 行 为 和 物理 特 征 的 确 定 以 及 鱼 类 的 质 量 控 制至 关 重 要（Bermejo，2007年）。FC被认为有助于鱼类种群评估和计数、监测生态系统和描述鱼类协会（Cabreira等人，2009年）。准确的鱼类识别是至关重要的，因为法律限制捕鱼的做法，特别是当他们的生存受到威胁或威胁。目前，尽管其具有商业和农业价值，但鱼类识别被认为是一项高度复杂和多方面的任务（Ding等人，2017; Hnin和Lynn，2016;AlSmadi，2016）。此外，所有类型的自动FC解决方案都应*通讯作者。电子邮件地址：mksalsmadi@gmail.com（M.K.Alsmadi）。沙特国王大学负责同行审查。制作和主办：Elsevier考虑几个因素，例如鱼的方向和任意大小;特征的可变性;环境的变化;差的图像质量;分割失败;成像条件;物理形状（Ogunlana等人，2015;Alsmadi等人，2012年，2011年a，2019年）。FC的研究可以追溯到1994年（Castignolles等人，1994年）。作者尝试用静态阈值的离线检测方法对S-视频录像带拍摄的鱼图像进行自动分类，并利用背景光提高图像的对比度。在此基础上，从鱼类图像中提取了12个几何特征，利用贝叶斯分类器对鱼类进行分类但由于鱼体排列相互接近等不足，这项工作一直没有得到重视。Zion等人，(1999，2000）进行了这项研究，并取得了乐观的结果，使用矩不变量时提取的几个几何特征，从三个鱼类物种。随后，许多研究人员都在关注这一主题，并做出了大量努力来寻找最佳FC法后来，Lee等人（2003年）使用曲率函数（CF）分析的关键界标点对鱼的轮廓提取基于鱼鳍的形状特征，如脂鳍长度和臀鳍长度，自动识别鱼类种类。这些方法取得了较好的分类精度。此外，Lee等人（2008年）检查了几种形状描述符，例如线段、多边形近似和傅立叶描述符，以及使用https://doi.org/10.1016/j.jksuci.2020.07.0051319-1578/©2020作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com1626M.K. 阿尔斯马迪岛Almarashdeh/沙特国王大学学报从轮廓表示中提取关键界标点特征。然而，这些方法的主要困难（Lee等人，2003，2008）的缺点是，特征位置和测量有时不能非常精确地定位，而是手动计算。此外，需要更有效的方法来找到基本的标志点。尽管基于从颜色签名和纹理描述符提取的特征的FC已经取得了显著的成功，但是分类准确性仍然受到特征可变性和照明条件的显著影响（Alsmadi等人，2019; Nery等人，2005年）。许多研究人员已经转向使用从形状和纹理测量中提取的特征之间的组合，因为它具有提高FC准确性的潜在能力（Badawi和Alsmadi，2014; Alsmadi，2019）。最近，许多研究人员使用BP算法，支持向量机（SVM）用于FC，例如（Alsmadi，2019; Sharmin等人，2019年）。此外，Chhabra等人（2020）采用了混合深度学习（DL）模型，并使用预训练的VGG16模型进行特征提取，并使用Stacking集成模型进行鱼类图像的检测和分类。许多领域，如（Pillocucci et al.， 2019）正在应用基于DL的方法，这些方法在对象分类和计算机视觉中比传统算法具有很大的优势（Thorat等人，2020年）。通过组合DL方法增强了各种分类系统的性能，Deep CNN通过使用DL方法训练大规模鱼类图像数据集在图像处理中显示出显著的结果（Cuiet al.，2020; Taheri-Garavand等人，2020），并且使用DL方法显著提高了鱼类图像的分类精度（Zheng etal.，2018; Miyazono和Saitoh，2018）。此外，DL算法可以很容易地检测简单的特征，如简单的形状，边缘等。. 等（Chhabra等人，2020;Sung等人，2017年）。此外，它们还可以检测人类无法区分的特征。模糊控制最重要的阶段是特征提取，它包括基于外观（如颜色和纹理）和基于几何的两种形式。在基于几何的特征提取中，从鱼图像中提取诸如鱼嘴长度、臀鳍长度、鱼头角度、眼端嘴角度和尾鳍长度的局部特征（局部统计和位置）基于外观的特征提取是指在鱼的图像中，不同的鱼体在整条鱼或特定区域所带来的接下来，在特征选择步骤中，将选择相关特征的子集来将不同的鱼图像分类为物种/科。此外，一个学习算法被认为是一个必不可少的过程，其中鱼的图像被归类到家庭/物种，如花园鱼，食用鱼，有毒的鱼，无毒的鱼。基于几何的特征提取包括鱼的体长、臀鳍、尾鳍、背鳍、另外，基于外观的特征提取包括颜色签名、灰度纹理和其他特征。然而，这些特征对比例、照明水平和噪声的变化敏感根据现有技术文献（Ogunlana等人，2015; Ding等人，2017;Hnin和Lynn，2016; Alsmadi等人，2010年a，b，2011年a，b，2012年;巴达维和Alsmadi，2014年;I_，s iz MEN例如，2014; Badawi和Alsmadi，2013; Singh和Pandey，2014;Ali-Gombe等人，2017），之前没有对用于FC的预处理方法、特征提取方法、分类算法和数据集进行这样的综述研究。虽然这项研究提出了一个调查的不同预处理方法，特征提取方法，分类算法，并用于FC的数据集。本研究对农业和海洋科学工作者具有重要意义，并可用于海洋世界的研究。因此，它将帮助渔业生物学家收集和处理数据。More- over;本研究对水产养殖业如营养品加工厂、罐头加工厂等利用本研究对鱼类进行危险性和非危险性的分类，对危险性鱼类进行捕食性和毒害性的分类，对非危险性鱼类进行观赏性和食用性的分类，具有重要的参考价值。本文通过对80多篇描述模糊C语言特征提取方法和分类算法的文献进行综述，回答了三个问题：使用什么预处理方法来提高FC系统的性能？使用什么方法来实现在平移、缩放和旋转下不变的鲁棒特征● 什么算法被用来对鱼的图像进行分类？本文在文献综述的基础上，对各种模糊C语言的技术和方法进行了概括性的介绍，其主要步骤是：首先进行预处理，然后进行特征提取，最后进行分类。此外，本文对各种光纤通道技术的性能进行了分析，指出了它们各自的优点，为今后光纤通道技术的研究提供了重要的思路。然而，本文不涉及基于视频的技术。本文除引言部分外，主要内容如下：第2部分探讨了模糊聚类的预处理、特征提取和分类算法;第3部分讨论了模糊聚类所使用的数据集;第4部分使用不同的图表和表格对模糊聚类技术的性能进行了评估;第5部分提出了未来的研究方向;第6部分对本文进行了总结。2. FC系统FC系统概述如图1所示。它包括三个主要步骤FC首先鱼图像预处理，第二特征提取，最后分类步骤。2.1. 预处理预处理过程可用于提高FC系统性能，并且在特征提取过程之前进行（Hnin和Lynn，2016; Alsmadi等人，2012年）。图像的预处理包括对比度调整、鱼图像的灰度化、缩放、背景噪声抑制、目标区域突出显示和噪声消除等过程。还存在改进特征提取的可靠性和效率的增强过程（Alsmadi等人， 2012年）。对鱼图像进行缩放和裁剪的过程，其中鱼的腹侧部分被认为是中点，其他基本的鱼成分也被物理地包括在内（Alsmadi等人，2012，2010; Hu等人，2012年）。执行Sobel边缘算子和一些形态学操作以从鱼图像获得二值图像（Amanullah Baloch等人，2017年）。其中Sobel算子是离散微分算子，其计算图像强度函数梯度的估计（Vincent和Folorunso，2009）。Sobel边缘算子的优点是算法简单，能检测出边缘和方向，但其缺点是对噪声敏感Grabcut对鱼图像执行形态学操作以获取二进制图像（Abdeldaim等人，2018年）。Abdeldaim等人，●●M.K. 阿尔斯马迪岛Almarashdeh/沙特国王大学学报1627Fig. 1. FC系统架构。2018）使用Grabcut算法从图像背景中分割鱼对象，并使用一些形态学操作从图像中去除不想要的形状，这些形态学操作是：去除前景对象边界的开放算子，并且它有利于消除小的白噪声，以及有利于在对 象 上 闭 合 的 小黑 点 或 在 前 景 对 象 上 闭 合 的 小孔 的 闭 合 算 子（Abdeldaim等人，2018年）。采用最近邻法对输入图像进行平滑处理，保证了图像图像过滤也是预处理阶段的另一个重要步骤。图像滤波的主要目的是增强对图像信息的认识，从不清晰的输入图像中获得增强图像。图像过滤被应用于图像平滑和鱼图像中的变化减少（Alsmadi等人，2012;Sayed等人，2018年）使用中值滤波器，并实现增强的鱼类图像（Hernánal-Serna和Jiménez-Segura，2014年; Sayed等人，2018年）。锚点方法用于距离和角度测量提取，其对FC系统中的特征差异更鲁棒，并且其增强了潜在局部几何特征的准确性（Ogunlana等人，2015; Badawi和Alsmadi，2014;Alsmadi等人，2010，2011，2012，2019; Saitoh等人，2016; Kutlu例如，2017; Al Smadi，2016）。对象检测是一种预处理方法，它使用Viola-Jones算法（VJ）从输入图像中检测和识别鱼对象（Matai等人， 2010年）。使用数学形态学的闭运算和开运算（Yao等人， 2013）分离目标和背景，然后进行边界提取以获得更完整的鱼轮廓。 归一化过程是预处理技术，其被应用于将鱼图像调整大小到所采用的大小，并将鱼图像旋转到其标准位置，以消除数据集图像之间的差异，这些差异对于特征计算是有问题的（Alsmadi等人，2012; Miyazono和Saitoh，2018; Saitoh等人， 2016年）。此外，在预处理阶段中的归一化消除了图像中的最重要类型的预处理方法之一是感兴趣区域（ROI）方法，其用于确定鱼图像的区域（例如瞳孔或前额区域），该区域用于区分鱼类物种/种类（Amanullah Baloch等人，2017;Is，çimen等人，2018年）。直方图均衡是FC中最常用的增强方法之一，直方图均衡器用于均衡鱼图像的颜色（Mokti和Salam，2008）。该技术用于克服照明的变化。它用于增加鱼图像的对比度，衡量鱼图像的质量，并增强强度之间预处理步骤通常在从鱼图像中提取特征之前进行，需要增强鱼图像的可读性，去除噪声，调整图像g等。预处理步骤使特征提取步骤更加可靠，准确，对分类性能有显著影响。在FC中，使用了许多预处理方法，然而，裁剪过程和ROI是最合适的，因为它精确地检测到鱼的特征。此外，锚点的方法是一个必不可少的预处理技术FC，因为它增加了潜在的局部几何特征的准确性。 图像滤波也是FC实现改善鱼图像的重要预处理技术。最后， 这些预处理方法有助于实现高FC准确度（Ogunlana等人，2015; Badawi和Alsmadi，2014; Alsmadi等人，2010、2011、2012，Hu等人，2012; Saitoh等人，2016; Mushfieldt等人，2012; Al Smadi，2016）。2.2. 特征提取FC过程的下一步是特征提取。它涉及描绘和寻找图像内部的重要积极特征，以便进行进一步的处理。在图像处理中，特征提取是一个重要的阶段，同时也是图像从图形描述向隐式数据描述转变的之后，数据描述被用作分类输入。将特征提取方法分为五类，即：基于形状特征的方法、基于局部和全局特征的方法、基于颜色特征的方法、基于纹理特征的方法和基于组合的方法。基 于 形 状 特 征 的 特 征 提 取 方 法 主 要 有 ： 矩 不 变 量 （ Moment-Invariants，MI）结合纹理描述子几何描述进行特征提取。因此，该方法除了是二维的并且位于相机的视场内之外，对鱼的大小不敏感（Zion等人，1999年）。曲率尺度空间（Curvature Scale Space，CSS）也是一种形状描述符，可用于特征提取。 通常，在CSS中，目标对象（前景部分）被变换为曲率缩放空间（CSS）的地图。接下来，CSS映射被变换成循环向量（CV）映射以使得能够旋转到不变匹配（Sze等人，1999年）。CF分析用于提取形状特征，并在鱼轮廓上定位关键界标点以提取形状特征（Lee等人，2003年，2008年）。FishID算法是一种准确、简单的实时轮廓匹配技术，特别适用于鱼类分类。该技术使用大小和形状特征以大于90%的准确率正确地确定物种，FishID算法是一种改进的，1628M.K. 阿尔斯马迪岛Almarashdeh/沙特国王大学学报精确分类技术（Lee等人，2008）;作者在（Lee等人，2003年，2008年）提到鱼的形状是区分物种时最可靠的一般特征。地标/锚点方法是提取尺寸和形状特征的最常用的方法之一（I_，S_Men等人，2014 ;Kutlu等人， 2017年）。其中，使用距离和角度测量从所确定的图像中提取鱼的大小和形状特征。地标/锚点（Alsmadi等人，2011年，2019年）。作者在（Lee等人，2003; Alsmadi等人，2010）报道了界标/锚点方法在根据形状特征找到FC的所有关键点方面的有效性。此外，为了提高分类精度，作者提出了提取更多的界标/锚点特征，特别是在有更多的物种要分类的情况下。例如，背鳍的宽度以及背鳍和脂肪鳍之间的长度的比较应该考虑在内，因为这两者的关联对于不同的物种是不同的。对于特征选择，很少有好的方法来为各种数据集类型选择合适的特征子集选择（FSS）算法因此，通过选择合适的属性，FSS算法自动推荐是高效FC的有用步骤（Hnin和Lynn，2016）。基于组合的特征选择算法用于特征选择，该算法侧重于使用未知数据增强分类器的性能（Hnin和Lynn，2016）。基于Mask R-CNN算法（Yuetal.， 2020年）。该方案有效地分割了复杂背景和纯背景下的鱼体，效果显著。利用单值分解（SVD）提取鱼图像的特征，鱼图像是一个复矩阵或实矩阵的分解，一个移动重叠窗口将鱼图像分成15个图像块，随着窗口从鱼图像的头部到尾部区域的移动，从窗口所占的每个区域提取特征值并组合成特征向量，然后将特征向量作为输入数据传递给ANN算法，将鱼类分类为不同的物种（Daramola和Omololu，2016）。非刚性部分模型采用显著性和松弛标记法有效地发现了鱼的特征部位。因此，鱼部分的辨别、分离和适合度被认为在以非监督方式识别鱼身体部分的表示中是有意义的（Chuang等人，2016年）。尺度不变特征变换（SIFT）是用于计算机视觉中的特征检测的算法，并且用于描述和检测数字图像中的局部特征（Karami等人，2017年）。它从一组参考图像中定位和提取对象的某些关键点，然后为它们提供可用于对象识别的可测量信息（所谓的描述符）（Fouad等人，2013年）。 描述符被假设为对不同的变换是不变的，这可能使表示相同对象的图像看起来不同。 SIFT用于匹配鱼图像，通过找到两个鱼图像中的重要关键点，并将这些关键点与其他鱼图像进行匹配。SIFT主要使用降维来找到这些关键点。此外，它对测试集图像中的旋转、尺度变化和照明是鲁棒的（Matai等人， 2010年）。Salp Swarm算法（SSA）是由Mirjalili等人在（Mirjalili等人，2017年），它模仿了在海洋中寻找食物时的海鞘群集机制。重海洋中的salp通常形成一个称为salp链的群体，该算法中的领导者是salp，链的前部和其余的管节称为从动件。与其他基于群的技术一样，在s维搜索空间中识别Salps位置因此，所有的salps位置被存储在2D维矩阵（z）中。在搜索空间中，还假设存在称为P的食物源作为群的目标。SSA用于鱼类图像分割和特征提取，关于SSA的数学描述的进一步解释请参考（Ibrahim et al.， 2018年）。简单线性迭代聚类（SLIC）方法被公式化用于具有由SSA优化的初始参数的分割过程，以生成几乎均匀和紧凑的超像素（Ibrahim等人，2018年）。SLIC是需要低计算能力的最基本的超像素分割算法之一（Ibrahim等人， 2018年）。基于局部特征和全局特征的分割方法的详细阐述如下：由于不同的鱼类具有不同的纹理、颜色特征和形状特征，因此局部特征可以产生比全局特征更好的分割效果鱼图像分割算法（FISA）用于将鱼对象分成三段身体部分（头部、腹部和尾部）（Amanullah Baloch等人，2017年）。加速鲁棒特征（SURF）部分地受到SIFT的启发，SIFT是用于定位和重新识别、跟踪和提取对象的兴趣点的描述符SIFT和SURF算法是局部特征描述符，其从罗非鱼图像提取局部特征，诸如像素梯度和关键点定位（Fouad等人，2013年，2016年）。提出了一种基于BAT优化算法的鱼类检测方法（Fouad等人，2016年）。 其他工作使用SURF进行局部特征提取（Freitas等人，2013 年 ） 。 CNN 用 于 提 取 和 分 类 低 分 辨 率 的 鱼 类 图 像（Rachmatullah和Supriana，2018）。此外，还采用了数据扩充来处理数据中的不平衡。作者（dosSantos和Gonçalves，2019）使用了两个卷积层，结合了数据增强和丢弃，所提出的模型在测试数据上的准确率为99.7%。CNN被用来对潘塔纳尔鱼类进行分类，并改善具有相似特征的鱼类的分类。提出的CNN由三个分支组成，对鱼类种类、科和目进行分类，基于无限图像数据集获得的结果表明，与传统方法相比，提出的CNN提供了更好的结果（dos Santos 和Gonçalves，2019）。在（Siddiqui et al.， 2018），为了避免需要大量的训练数据，引入了一种使用预训练CNN作为广义特征检测器的跨层池化算法。然后，使用SVM对测试数据进行分类，使用从所提出的方法计算的特征，对鱼类物种的准确率为94.3%（Siddiqui等人，2018年）。在（Qiu et al.，2018年）使用小规模和低质量数据集进行细粒度鱼类图像分类。该方法在鱼类图像分类中取得了较好的效果。基于颜色特征的方法主要有以下几个方面：颜色空间是用于提取FC的特征的另一个描述符（Hu等人，2012;18，Cimen等人，2018;Freitas等人， 201 3）。使用RGB颜色空间的红、绿、蓝分量提取两个颜色空间（RGB和HSV）的特征集，并且将HSV颜色空间的色调、饱和度、值分量分别用于FC（Is，Cimen等人， 2018）。Grabcut算法是一种前景色提取算法，可用于背景和前景色分布没有很好分离的情况。Grabcut算法依赖于图切割，并通过确定M.K. 阿尔斯马迪岛Almarashdeh/沙特国王大学学报1629包围要分割的对象的边界框。因此，整个图像被用作边界框，并且算法近似目标对象和背景颜色分布。Grabcut算法被应用于使用RGB颜色空间 从 自 然 图 像 中 检 测 和分 割 鱼 ， 即 使 在 不 同 的 情 况 下 也 是 如 此（Abdeldaim等人，2018年）。RGB适合于彩色显示，但由于IR、IG和IB之间的高度相关性，它对于彩色场景分析是一个糟糕的选择（Hu等人，2012年）。Paschos发现HSV在颜色纹理分类方面表现更好（Paschos，2001）。因此，使用RGB和HSV颜色空间提取10个提取的颜色特征用于鱼类图像分类（Hu例如，2012），这些特征是R均值、G均值、B均值、RGB均值、RGB标准差、H均值、S均值、V均值、HSV均值和HSV标准差。其他工作使用了几种颜色特征提取方法，它们是视觉词袋、HSV和RGB颜色直方图、特征和颜色袋、彩色词袋和颜色袋（BoCW）（Freitas等人， 2013年）。基于纹理特征的提取技术阐述如下：灰度共生矩阵（GLCM）是一种特征提取纹理描述符，它考虑像素的空间关系，通过计算图像中特定值的出现频率和像素对的特定空间关系来表征鱼图像的纹理，从而创建GLCM，然后从GLCM中提取统计度量（Alsmadi et al.，2011年）。采用灰度共生矩阵，利用RGB颜色空间和颜色直方图技术提取鱼体腹部的颜色信号。然后，计算三个统计特征，即标准差、均匀性和能量（Alsmadi等人，2011年）。另一项工作（Alsmadi等人，2010）利用灰度共生矩阵（GLCM）从彩色鱼图像中提取彩色纹理，将鱼图像分割为4 * 4块。然后，对于每个块，使用灰度共生矩阵计算六个统计特征，即平均值、相异性、标准差、均匀性、对比度和能量。GLCM在辨别颜色特征方面给出了良好的准确度（Alsmadi等人，2011）和颜色纹理（Alsmadi等人，2010年）。另一项工作（Wishkerman等人，2016）在将彩色鱼图像转换为灰度图像之后，使用灰度共生矩阵提取纹理特征，然后进行数据降维过程。Gabor滤波器（GF）是一种特征提取纹理描述器，用于边缘检测，它依赖于方向表示和频率，它被用在几种模式识别应用中，即，虹膜识别、手静脉识别和指纹识别（Badawi和Alsmadi，2014）。使用GF输出图像计算FC的四个特征（对比度、标准差、平均值和均匀性）（Al Smadi，2016;Badawi和Alsmadi，2014）。GF还用于从鱼类图像中提取纹理特征（Kumar，2018）。GF可以被定义为特定取向和频率的正弦平面，由高斯包络调制。基于组合的特征提取方法是如下所述：分析鱼图像的一系列纹理、颜色和形状并组合它们的变化成为区分鱼种类和提高分类准确率的基本步骤（Alsmadi等人，2012; Badawi和Alsmadi，2014; Sharmin等人，2019; Kaya等人，2018年）。组合的prin-UNR成分分析基于两种类型的变化的广义方差对纹理和形状进行加权，然后使用权重来区分三种鱼类（Larsen等人，2009年）。一个大的集合（47个不同的特征）组合提取的形状测量（19个特征），尺寸测量提取了不同鱼种的鱼体特征（4个特征）、纹理特征（16个特征）和颜色特征（8个特征）。这些组合特征显著地改善了FC的性能（Nery等人，2005年）。Mean-shift与Median-cut算法的混合算法被用来获得更多的区域边界，消除不需要的和小的区域。因此，使用LUV颜色空间来确保特征空间的各向同性，然后使用Canny边缘方法（Mokti和Salam，2008）检测鱼的轮廓。使用显著提取的锚点（使用距离和角度测量）、纹理和统计测量之间的组合进行一般FC，以将鱼类图像分类为危险和非危险鱼类家族，将危险鱼类家族分类为捕食性和Poi-son鱼类家族，并将非危险鱼类家族分类为花园和食用鱼类家族（Al Smadi，2016; Alsmadi等人，2019; Badawi and Alsmadi，2014）。基于形状和纹理的鱼类图像识别系统（FIRS）使用简单的形状特征、颜色和鱼的大小特征进行分类过程（Pornpanomchai等人，2013年）。深度卷积神经网络（CNN）方法用于从嘈杂的鱼图像中提取特征图（Ali-Gombe et al.，2017年）。利用灰度共生矩阵对分割后的鱼图像进行纹理特征和形状特征提取，提取了22个纹理特征和16个局部特征和形状特征。然后，采用二进制乌鸦搜索算法（BCSA）作为基于特征选择算法的包装器方法来选择最佳特征子集（Sayed等人，2018年）。使用RGB、HSV、CIELa*b*、CIE1931 XYZ颜色空间和归一化RGB值来提取23个颜色特征，还使用GLCM 提 取 四 个 纹 理 特 征 （ 对 比 度 、 能 量 、 均 匀 性 和 相 关 性 ）（Saberioon等人，2018年）。使用形状测量、统计近似和二维笛卡尔矩从鱼图像中提取了一系列15个形态、几何和纹理特征（Hernán-Serna和Jiménez-Segura，2014）。在Takeshi等人（Saitoh等人，使用四个特征点提取了七个几何特征，并使用方向梯度直方图（HOG）、LBP、GLCM、离散余弦变换（DCT）、游程长度矩阵（RLM）和形状通过非线性滤波器（NF）提取了几个纹理特征。特征提取涉及将原始数据转换为数据集包含最具区别性的信息，该信息（由减少的变量数表示）将最有意义或最有效地表示对于分析和分类重要的信息（Abhang等人，2016年）。从上述报告的调查文件中可以看出，鱼的形状特征似乎是FC最常用的特征。如在几个作品中所示（Alsmadi等人，2012年，2019年;李例如，2008; Sayed等人，2018），形状特征的各种信息在提高鱼类识别精度中是非常重要的，并且对缩放、平移和旋转是不变的。这是因为鱼的图像可以从不同的位置和角度捕捉，并且具有不同的尺寸。例如，基于每个物种的形状的细微差异可以通过分析可区分的地标/锚点来确定，例如，鳍插入，鼻尖以及说明鱼的身体和头部形状的鳃盖边缘。此外，对鱼类图像的纹理、颜色、形状等一系列特征及其组合提取特征的分析，已成为利用其区分鱼类种类的能力，提高分类准确率的基础。结果表明，鱼形特征及其组合特征是确定鱼类种类或科的2.3. 分类分类是FC系统的最后一步，鱼类通过分类器被分类为诸如危险、非危险、捕食、有毒、花园和食用科的科，或者被分类为诸如短吻真鳕（Ariomma brevimanum）、长吻真鳕（Acropurus grammoptilus）和丽角真鳕（Acropoma lecorneti）的种。表1FC技术及其分类算法。作者Preprocessing Method Feature Extraction Method Classification AlgorithmHernán-Serna and Jiménez-Segura（2014） GrabcutZion等人1999年：NormalizationMoment-Invariants（MI）Average test-set classification errorLee等人05 The Famous Famous（2003）Lee等人0 4 The Famous Famous（2008）Mokti和Salam（2008）直方图均衡器Canny边缘方法，均值漂移和中值切割Nery等人Minimum Enclosure Rectangle（MER），纵横比，平方周长，矩，共生矩阵，YUV和HIS颜色模型，特征排名方法贝叶斯分类器Wishkerman等人（ 2016）调整大小，裁剪GLCMPCA和LDAHossain等人04 The Famous（2016）Alsmadi等人（2010）中值滤波器和锚点检测距离和角度测量BP算法Alsmadi等人（2010）鱼区域裁剪GLCMBP算法Alsmadi等人（2011）鱼区域裁剪GLCM，颜色直方图BP算法Badawi和Alsmadi（2014）锚点检测GF，距离和角度测量，统计测量GAILS-BPCAlsmadi等人。（2011）锚点探测距离和角度测量HGAGD-BPCKutlu等人（2017）锚点检测距离测量最近邻算法Hnin和Lynn（2016）均值插补FSS算法SVMI_，S.M. MENetal. （2014）未报告地标/锚点检测，欧几里得网络技术，二次网络技术，三角测量技术朴素贝叶斯分类器Hu等人（2012）鱼区域裁剪，鱼图像GH，GLCMs，小波变换，RGB和HSV颜色特征多类SVMOgunlana等人。（2015）锚点检测最佳分离超平面（OSH），分离幅度（MS）SVMDaramola和Omololu（2016）将彩色鱼图像转换为灰度图像SVDBP算法Qin等（2016）稀疏和低秩矩阵分解，消除鱼的图像深度架构，二进制哈希，空间金字塔池，PCA线性SVM分类器Kratzert和Mader（2018）鱼类检测FishCam监控系统CNNFreitas等人（2013）调整鱼图像SURF，视觉词袋，HSV和RGB颜色直方图，特征和颜色袋，颜色袋和彩色词袋 （BoCW）Mushfieldt等人（2012）ROI和鱼区域裁剪鼠标点击，HSV颜色空间，自适应阈值，直方图代表性，SVM，KNN，DT SVMChuang等人（2016）未报告非刚性零件模型分层部分分类器算法Matai等人04 The Famous Women（2010）Saitoh等人（2016）锚点检测，归一化LBP，HOG，DCT，GLCM，RLM，形状通过NF，距离和角度RF测量Miyazono和Saitoh（2018）图像大小归一化，注释图像方法Plotting方法，高斯滤波器CNNPornpanomchai等人（2013）尺寸调整、灰度转换、黑白转换、去噪、边缘检测和对象分割。EDM神经网络Jäger等人（2016）鱼检测，blob检测方法CNN特征，二进制SVM分类器多类SVMFouad等人（ 2013）未报道SIFT，SURFANN分类器SVM算法Al Smadi（2016）将彩色鱼图像转换为灰度图像，锚点检测距离和角度测量，统计测量BP算法，GAGD-BPCAli-Gombe等人（2017）隔离个体鱼，识别鱼图像VGG-16模型，转移学习模型深度CNNSayed等人。（2018）使用中值滤波器BCSA，包装方法SVM和DT的图像增强Kartika和Herumurti（2016）将鱼对象从背景中分离出来，重新定位鱼图像RGB和HSV颜色特征SVM和朴素贝叶斯算法Chen等人（2017）鱼类检测、姿态估计和对齐图像级和实例级分类。CNNsAndayani等人（2019）裁剪、缩放、ROI、灰度彩色模式和HSV彩色模式地理不变矩特征、灰度共生矩阵纹理特征和HSV颜色特征提取概率神经网络Alsmadi等人（2019）灰度转换、锚点检测、鱼区域裁剪GLCM、距离和角度测量、统计测量MA-B分类器Alsmadi（2019）鱼区域裁剪，锚点检测GLCM，距离和角度测量GTB分类器Sharmin等人（2019）调整鱼图像大小，转换为灰度和直方图形成RGB和HSV颜色特征，几何度量，GLCM支持向量机Islam等人（2019）未报告混合局部二进制模式（HLBP）SVMChhabra等人（2020）未报告预训练VGG16模型Stacking ensemble模型1630M.K. 阿尔斯马迪岛Almarashdeh/沙特国王大学学报M.K. 阿尔斯马迪岛Almarashdeh/沙特国王大学学报1631在二值图像中，矩不变量（MI）是对尺度、旋转和平移不变的连通区域属性它们是有益的，因为它们描述了一组区域属性，这些属性被简单地计算以用于零件识别和形状分类。 MI方法用于估计鱼的大小和三种鱼类的识别（Zion等人，1999年）。此外，欧几里德距离度量用于分类目的，其使用相似性得分矩阵和归一化得分用于欧几里德距离估计。欧几里德距离测量未知鱼图像的每个特征与FIRS中的每个训练数据集的每个特征之间的相似性（Pornpanomchai等人，2013年）。最小距离分类器（MDC）是一种基于FC距离的分类器，其使用数据库中的特征向量与测试鱼的特征向量之间的距离的估计（Lee等人，2003年）。转角分布分析（TADA）是一种匹配方法，其允许当前鱼图像的轮廓与FishID数据库中的物种特异性轮廓相匹配（Lee等人， 2008年）。提取的鱼类特征被输入到精心设计的3层神经网络分类器中，该分类器通过用于FC任务的反向传播（BP）算法进行训练（Hnin和Lynn，2016; Alsmadi 等 人 ， 2010 a ， b ， 2011 a ， b;Hernán-SernaandJiménez-Segura ， 2014;DaramolaandOmololu ， 2016;Pornpanomchai et al.， 2013年）。混合模因算法（遗传算法和大规模局部搜索）连同反向传播分类器（HGAGD-BPC）和反向传播分类器（BPC）也用于FC（Alsmadi等人，2011）和另一项工作使用类似的分类器进行鱼类图像分类（Al Smadi，2016）。一种混合元启发式算法 （ 带 有 迭 代 局 部搜 索 的 遗 传 算 法 ） 与 通 用 鱼 的 反 向传 播 算 法（ GAILS-BPC ） （ 将 鱼 图 像 分 类 为 家 族 和 物 种 ） （ Badawi 和Alsmadi，2014）。一种混合元启发式算法（遗传算法与模拟退火）与反向传播算法（MA-B分类器），用于通用鱼（将鱼图像分类为家庭和物种）（Alsmadi等人，2019年）。插入遗传算法的局部搜索算法（如迭代局部搜索和大规模局部搜索）增强了利用过程而不是探索过程。亚启发式算法通过改进和优化BP算法的权值，成功地提高了BP算法的性能.利用支持向量机进行回归以及具有优异结果的高维数据集的分类（Fouad等人，2013年）。支持向量机（SVM）是基于从鱼类图像数据集提取的特征数量用于FC的分类技术之一（Hnin和Lynn，2016; Fouad等人，2013; Hossain等人，2016;伊斯兰教例如， 2019年）。此外，SVM用于消除一些现有技术的限制，例如K均值聚类、K最近邻（KNN）和神经网络，并增强鱼类分类（Ogunlana等人，2015; Kutlu等人，2017），多类SVM也用于鱼类物种分类（Hu等人，2012年）。SVM和决策树（DT）用于鱼类物种分类，鱼类物种基于它们的类别或基于它们的顺序进行分类（Sayed等人，2018年）。线性SVM分类器用于精确的水下活鱼识别（Qin等人，2016年）。其他工作使用三种类型的分类器，即SVM、KNN和用于FC的决策树（Freitas等人， 2013年）。四种不同的分类（随机森林（RF），SVM，逻辑回归（LR），和KNN）方法被用来评估鱼类饲料。具有基于径向的核的SVM提供了具有正确分类率的最佳分类器（Sabe