没有合适的资源?快使用搜索试试~ 我知道了~
认知机器人1(2021)3深海视觉监测系统中的视觉信息处理马春燕a,李欣b,李玉杰a,田新良b,王一川c,Hyoungseop Kimd,Seiichi Serikawada中国扬州大学b中国上海交通大学c英国谢菲尔德大学d日本九州技术学院ABsTRA cT由于对矿物和金属的需求不断增加,开发了各种深海采矿系统,用于探测海底的地雷和类似地雷的物体。然而,由于水中危险物质和放射性物质的分散,其中许多都包含一些问题。因此,通过引入人工智能,期望实现有效和准确的视觉监控。大多数最新的深海采矿机在视觉监测系统中几乎没有智能。智能机器人,例如,基于深度学习的边缘计算的深海视觉监控系统尚未建立。在本文中,我们提出了一个基于学习的深海视觉监控系统的概念,并使用测试床来显示所提出的系统的效率。例如,要实时感知水下环境,需要大量的观测数据,包括捕获的图像,必须从海底传输到船上,但是大容量的水下通信是困难的。在在本文中,我们提出使用深度压缩学习进行实时通信。此外,我们提出了梯度生成对抗网络(GGAN)恢复严重破坏的水下图像。在应用层,采用小波超分辨率技术来显示高分辨率图像。因此,开发一种使用深度学习的智能遥控深海采矿系统具有良好的便利性,适用于深海采矿。1. 介绍近年来,由于新兴国家的快速工业化和经济发展,对矿产资源的需求不断增加,可持续供应的危险感和资源民族主义的复兴, 这将极大地改变资源供给结构[1]。很多国家四面环海,靠与海共存发展起来。目前,世界上消耗的大部分能源和食物来自海洋运输,许多维持世界饮食生活的蛋白质都是从海产品中获得的。专属经济区(EEZ)在深海和大陆架,发现了一些有前景的深海矿产资源区,如锰(多金属)结核、富钴结壳和热液喷口。包括中国、加拿大、英国、比利时、法国、德国、美国和日本在内的许多国家正在开始勘探深海资源。深海矿产资源可分为四类:锰结核、热液喷口、富钴结壳和天然气水合物,这取决于其位置、形成方式和形状以及所含金属元素的分散性。 锰结核是铁锰氧化物的球形或椭圆形块状物,直径约为2 - 15厘米,呈半埋藏状态在一个水深在四千到六千米的相对较宽的海底。它们是含有锰和铁作为主要成分的氧化物,并含有有用的金属,如镍,铜和钴。热液喷口由铜、铅、锌、金、银等组成,从海底喷发的热水中沉淀出金属成分,形成烟囱,∗ 通讯作者。电子邮件地址:liX in@sjtu.edu.cn(X. Li)。https://doi.org/10.1016/j.cogr.2020.12.002接收日期:2020年11月21日;接收日期:2020年12月4日;接受日期:2020年12月5日在线预订2021年2667-2413/© 2021作者。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)可在ScienceDirect上获得目录列表认知机器人期刊首页:http://www.keaipublishing.com/en/journals/cognitive-robotics/C.妈,X。Li,Y. Li等人认知机器人1(2021)34图1.一、基于学习的智能深海采矿系统的体系结构。海边的土墩富钴结壳是类似锰结核的铁和锰的氧化物,覆盖在海底山脉斜坡和顶部的玄武岩等基底岩石上,沥青层厚度为几毫米至几十厘米。特别是,钴的质量比锰结核的质量高约3倍,并含有少量铂。天然气水合物是分布在4,000-6,000 m深相对平缓的海底的冰状沉积物。 的发展随着计算机视觉和水下机器人技术的发展,基于视觉的水下目标检测越来越受到人们的重视。Lv等人[10]提出了一种弱监督的目标检测方法,通过对前景和背景分割网络进行弱拟合,并对方案进行改进,提高了检测精度。Repoints[11]使用弱监督函数来定位关键点并预测关键点的操作集。将关键点的目标集作为DCN的目标集,对原始特征图进行拼接,使特征与目标区域保持一致许多海底矿物开采系统已被开发用于探索海洋。他们中的大多数都是基于类似的概念使用海底采矿系统、提升系统、支持船和视觉监测系统。海底采矿系统在海底上运行,钻探和收集矿物。提升系统由一个可伸缩泵组成,可将矿物从采矿系统输送到支持船。支援船从海上吊起矿物并将其装载到穿梭运输船上。支持船是所有活动的基础,具有与采矿开发平台相同的采矿、管理和生活功能。发展深海采矿系统的开发正在进行中,所涉及的更大深度带来了额外的挑战。到目前为止,大数据和人工智能的研究和开发主要集中在解决与日常生活支持相关的问题,例如空气,陆地和海洋表面。然而,针对深海海底的先进大数据和人工智能的研发海底资源勘探和应用还很不够。传统的人工智能和机器人技术通常很难应用。在本文中,我们开发了世界上第一个智能深海视觉监控系统。2. 基于学习的智能视觉监控系统的构想最近开发的深海采矿系统几乎考虑到了环境影响。 在本文中,我们提出了基于学习的边缘计算,用于深海视觉监控系统,可以在商业采矿活动中保护环境。我们提出了一个深海采矿网络探索矿物的视觉系统。人工智能应用于边缘设备。在本文中,我们重点介绍了物理层的基于学习的边缘计算监控设备,雾层的高速大数据水下通信,以及应用层的高清显示在基于学习的深海采矿网络智能可视化系统中,三个通信部分需要完成的任务包括物理层传感信号的采集与处理、雾层通信大数据的压缩、传输数据的检测与处理以及反馈控制。在接收到感测数据后,首先,数据被传输到雾/边缘云中进行通信。雾/边缘云中的压缩感测数据然后被传输到应用层进行处理。 如图所示。 1、我们的基于学习的系统分为三层:物理层、雾层和应用层。• 物理层海底信息通信首先需要在极其复杂的环境中获取信号。通常,传感器获取大量感测数据,例如,相机[2]。存在大量冗余信息,充分尊重观察对象。因此,我们在收集数据时有必要对获取的信息进行处理。目前,许多预处理方法可以用来提取有用的信息[3]。然而,基于学习的边缘计算深海采矿系统的设想尚未提出。主要原因是没有足够的大数据用于AI模型训练。在这篇文章中,我们介绍了生成对抗网络来生成系统所需的大数据。下一个是对学习模型中的损失函数进行改进,使水下图像的颜色得到恢复,C.妈,X。Li,Y. Li等人认知机器人1(2021)35λ[(()2−1)](1)���������������������[编辑]∑‖||‖真实的场景当恢复图像颜色时,考虑梯度差异损失以确保生成的图像是不模糊。• 雾层在物理层中,在大多数情况下,配备高分辨率相机以捕捉细节,例如海底但是,在雾层水下通信,速度大容量的光传输技术在海洋中的通信日益增加,但在高浊度的水中,如灰尘,光和无线电波大大衰减,水声通信通常是水下通信的唯一类型[4]。在物理层捕获数据,例如4K和8K图像和视频通常很大,因此在通信过程中经常被压缩。然而,由于声速延迟和频带限制的影响,传统的信息压缩方法不得不应用于水下实时水声通信。因此,在本文中,8K超高分辨率图像具有100%的分辨率性能,Hi-Vision摄像头可以通过使用压缩感知和深度学习相结合的压缩学习来实现水下机器人的远程控制。• 应用层在应用层,图像超分辨率是用户分析物体细节的重要工具。超分辨率技术的目标是从低分辨率图像重建高分辨率图像。虽然目前的图像超分辨率方法已经取得了良好的性能和效果,但仍然存在一些问题,例如,全部信息是不充分的,并且重建过程产生额外的噪声。大多数方法的图像重建效果较差。针对上述问题,本文考虑将深度学习方法与传统的图像增强方法相结合,提出了一种基于小波融合的图像超分辨率方法。首先,将训练图像作为网络的输入,然后进行生成式对抗网络训练。然后,执行上采样以获得粗糙的放大图像。最后将网络训练后的输出图像与低分辨率图像的上采样图像进行小波融合,得到最终结果。在不增加网络深度和冗余参数的情况下,该方法不仅保留了全局信息,高分辨率图像,而且在重建过程中去除噪声3. 基于学习的DSMS方法研究3.1. 物理层:基于梯度生成对抗网络的增强近年来,深海视觉监测系统中的图像增强技术得到了广泛的研究和发展。Cai等人开发了一种简单而强大的基于CNN的增强器,可以自适应地为单个曝光过度或曝光不足的输入图像生成高质量的增强结果。然而,当该方法应用于低对比度图像时,存在图像细节的损失。Salazar等人提出了一种具有降噪效果的改进图像算法,该算法利用多层感知器直接从最小通道计算透射图,并采用对比度拉伸技术提高恢复图像的动态范围然而,在增强的图像中仍然存在雾和颜色损失Goodfellow等人0提出了一个新的框架,通过一个过程生成的对抗评估模型它同时训练两个模型:生成模型G捕获数据分布,判别模型D识别样本数据源(训练数据和生成数据)。通过连续反向传播,模型G被训练以最小化生成数据和训练数据之间的差距。Li等人提出了一种用于水下图像建模的生成器网络WaterGAN,这是一种新颖的生成器网络结构。该结构集成了水下图像生成过程以生成高分辨率的输出图像,然后使用端到端模型学习流水线来校正单目水下图像和生成的图像的颜色然而,它们在训练网络时需要CycleGAN是Zhu等人提出的其实质是两个镜像对称的GAN,形成一个环形网络。Fabbri等人提出了一种利用广义对抗网络对水下彩色图像进行增强的方法,并以CycleGAN生成的成对图像数据集作为训练集。通过训练成对数据集,实现了水下图像增强虽然水下图像恢复效果接近真实陆地,但颜色不自然。在这篇文章中,我们提出了一种新的方法来生成一个网络,可用于增强水下图像,以实现颜色校正和图像锐化。该图表如图所示。 二、在网络训练过程中,权重容易更新过快,每次权重变化很大,导致权重爆炸。因此,我们添加梯度惩罚来解决这些问题,其定义如等式所示。一曰:2������λmax由点对之间的真实数据分布和生成器以及直线样本定义,λ max是加权因子,值为10。为了给G一种地面真实感,并捕捉图像中的低频,Lipschitz-1(L1)损失也被认为是L1 =���������������������第1章(2)���������∼������最后,生成器通常生成模糊的图像。我们发现了[5]提出的一种策略,通过直接惩罚生成图像和原始图像的预测梯度之间的差异来锐化预测梯度。 是大于或等于1的整数,并且梯度差异损失(GDL)由下式给出:GDL(���������������,���−������−1,��� −(),���−()���−1,���(3)���������������,C.妈,X。Li,Y. Li等人认知机器人1(2021)36������������图二、提出了用于物理层边缘计算的梯度生成对抗网络。考虑到这一点,我们可以得到目标函数,称为梯度生成对抗网络,������������=��������������������� ������������������������������ +λ��� ���������∼ℙ[(‖∇ ��� ���( )‖2−1)2]������������+10000000(L)+100000000(L)���其中,1=2=1。3.2. 雾层:深度压缩学习压缩感知(CS),旨在重建未知向量的线性观测值的基础上,近年来引起了人们的关注。传统的CS方法主要使用图像块来避免存储器使用和计算成本的增加,并且使用高斯或小波随机矩阵从重构的图像块恢复整个图像。 然而,这些方法导致严重的块效应。在这篇文章中,我们提出了一个全图像重建算法使用卷积U-网络雾层水下通信。通过线性卷积测量来重建整个图像,而不是重建单个块。具体地说,所有输入图像都由一系列随机滤波器卷积,然后所有卷积图像都由空间域采样压缩。然后,使用U-Net通过非线性重构来优化非线性滤波器和重构网络。与传统的全变分正则化方法相比,该方法使CS重构网络的设计更加容易,并能自动确定正则化参数。 此外,它被认为是有可取之处,如被能够通过缩短计算时间和使用卷积神经网络(CNN)来计算最佳参数使用U-Net非线性重建的图像通常不是精确的结果。因此,在本研究中,我们使用CycleGAN改进了随机滤波器和重建网络(如图3所示)。A表示随机矩阵X。输入图像是X,并且测得的数据为y=AX。z所属的空间被认为是训练图像的特征分布的空间。使用预训练的生成器模型G并假设G在L-Lipschitz范围内,则从测量数据y可以使用敌对发电机网络CycleGAN来恢复。传统的方法[6]提出了一种使用GAN的图像重建方法,但在本研究中,我们使用CycleGAN(使用GAN的风格转换方法之一)来创建随机滤波器和重建网络。做出改进。CycleGAN具有转换为高精度图像的属性,如果有足够的数据量,即使有噪声数据,因此预计将获得比传统方法更好的结果。3.3. 应用层:小波感知超分辨率随着信息技术的发展,低分辨率图像已不能满足人们在应用层对高清晰度显示的需求。高分辨率图像具有较高的像素密度和丰富的细节,可以满足图像分析和图像理解的实际应用要求。在实际的深海采矿应用中,如果成像装置相对低端或受存储容量等因素的限制,所获得的图像分辨率往往较低。因此,在这些情况下需要提高图像分辨率。图像超分辨率是改善低质量图像的解决方案之一。深度学习在基于边缘计算的超分辨率领域取得了巨大的成功,许多工作都探索了深度学习和图像超分辨率之间的关系Dong等人[7]提出了一种超分辨率卷积神经网络C.妈,X。Li,Y. Li等人认知机器人1(2021)37()下一页图3. 本文提出的算法框架。基于卷积神经网络的SRCNN方法,并将深度学习应用于图像超分辨率领域。该方法在计算性能和重建效果上均优于传统的图像超分辨率方法。在此之后,出现了几种基于深度学习的图像超分辨率方法。Leding等人[8]提出了基于生成对抗网络的图像超分辨率(SRGAN)。虽然现有的基于GAN的超分辨率方法可以用于为了产生真实的纹理信息,这些方法往往产生意义不大的高频附加噪声。因此朴 等[9]提出了基于特征鉴别网络的单图像超分辨率(SRFeat)。在GAN的基础上增加了作用于特征域的判别网络,使生成网络能够生成与图像结构相关的高频特征,进一步提高了超分辨率图像的视觉效果虽然目前的深度学习方法提高了图像超分辨率的恢复效果,但仍然存在以下问题。首先,网络对图像特征和全局图像信息的提取是不完全的,即学习能力不足。第二,随着网络的深化,梯度会消失,导致网络不稳定。第三,深度网络训练会产生更多的参数,消耗更多的计算时间。第四,重建过程引入了不必要的额外噪声。为此,提出了一种基于SRFeat的改进图像超分辨率方法。该方法受多帧融合的启发,将训练后的图像与上采样后的图像进行融合,在不增加网络训练复杂度的情况下,获取网络中无法获取的图像信息,同时达到去噪的效果。本文在分析了现有文献资料的基础上,利用SRFeat网络框架进行训练,将网络训练后的图像融合到插值后的低分辨率图像中。在不增加训练网络层数和训练参数的情况下,获得了更多的全局图像信息, 去除噪声,恢复更高质量的超分辨率图像该方法是基于SRFeat网络和基于小波的特征融合。本文将训练后的图像与低分辨率图像的上采样图像进行融合,以获得更多的全局图像信息,而不产生不必要的噪声通过重建过程去除了噪声,这更有利于图像的超分辨率重建。该算法有四个步骤。首先对高分辨率图像进行四倍下采样双三次插值处理,将低分辨率图像转化为网络的输入图像。第二步,将低分辨率图像输入残差网络训练然后,在子像素上对训练后的图像进行采样以获得高分辨率图像。在第三步骤中,低分辨率图像被采样四次。第四步,将采样图像与网络输出图像通过小波变换进行融合,重构出高分辨率图像。 本文的主要算法流程图如图1所示。 3.如图所示。 3、提出的算法框架有四个步骤。第一步:采样过程:对图像进行卷积处理,提取图像特征。F1 = conv(F)(5)其中F是原始输入高分辨率图像。Conv表示特征提取和处理训练图像。F1是特征提取图。步骤2:对图像进行网络训练。受SRFeat网络的启发,我们通过SRFeat训练输入图像,网络的中间由多个剩余块和跳跃连接组成。这样的结构可以更有效地在更深层之间传输信息。然后,通过subpixel卷积层完成尺寸放大操作。获得具有对应于该尺寸的低分辨率的高分辨率图像F2=列车F1(6)在上述公式中,train是输入图像特征F1的网络训练处理。F2是网络训练后的输出图像。C.妈,X。Li,Y. Li等人认知机器人1(2021)38()下一页()见图4。 来自ImageNet数据集的样本。步骤3:图像放大处理。网络输出的图像经过子像素卷积层处理,完成尺寸放大的操作,得到与目标图像尺寸相同的图像。F3= subconvF2(7)在上面的公式中,F2是残差网络训练输出的图像。Subconv是subpiX el上采样处理。F3是上采样的结果。步骤4:图像融合处理。对低分辨率图像进行采样,并对网络输出图像进行基于小波变换的融合,充分获取图像更多的全局信息,达到良好的去噪效果。F 4 = W −1 Φ W(F),W F3(8)在上述公式中,W是基于小波变换的图像融合操作。Φ是一种融合规则,W-1是小波逆变换操作,F4是最终重建图像。4. 试验台和实验4.1. GeGAN图像增强我们使用ImageNet的几个子集来训练和评估我们的方法,并测试在真实环境中拍摄的图像。随机选取10个GeGAN生成结果与UGAN生成结果进行对比,选取结构相似性指数(SSIM)和水下图像质量测度(UIQM)作为评价方法。C.妈,X。Li,Y. Li等人认知机器人1(2021)39图五. 水下测试图片首先,为了公平地比较改进的方法和水下生成对抗网络,我们从生成的结果中随机选择了10幅图像。用SSIM和UIQM测试每张图片,计算10张图片的SSIM和UIQM平均值。通过比较平均值,我们可以从表1中看到,所提出的方法的值比UGAN高0.01对10幅图像的质量评价结果表明,本文提出的改进方法优于UGAN方法。由于图像是随机选择的,因此这个结论对于整个数据集也是正确的。接下来,我们从视觉感知的角度评估了我们提出的方法的质量。图2:上部 图片是训练数据集中的水下图像,而下面的部分是生成的图像。水下的图片是蓝色的绿色是因为水中的光被吸收了。所提出的GGAN在很大程度上恢复了图像的颜色,使图像看起来像是在空中拍摄的。C.妈,X。Li,Y. Li等人认知机器人1(2021)310表1SSIM和UIQM平均值的比较。UGAN GANSSIM 0.8332507UIQM 1.532719 1.54751表2水下图像的SSIM和PSNR结果。图像编号规模SSIMSRFeat/我们的PSNRSRFeat/我们的Ancuti340.9286/0.965138.9880/43.0335海洋440.8313/0.898234.3557/36.9368Im1040.9136/0.942237.6175/39.4061Ancuti1040.9523/0.976142.0241/45.2440图4的上半部分是在真实环境中拍摄的图像,而下半部分是通过我们的改进方法生成的图像。如图4所示,GGAN恢复了图像颜色,使其更自然。从第二,第三和最后一个图像,GGAN去模糊图像,使其更清晰。然而,第一幅和第六幅图像的颜色加深了,图像减少了。4.2. 小波感知超分辨为了更好地验证本文算法的有效性,我们不仅将普通图像与原方法进行了比较,还选取了水下图像进行了比较。表2示出了水下图像的对等信噪比(PSNR)的比较。从表2的实验数据可以看出,PSNR和SSIM都有了很大的提高,说明本文提出的算法不仅对一般图像有很好的效果,而且对更复杂的水下图像也有很好的效果。图5显示了一些真实水下图像的实验结果。从图中可以看出,对图像进行了重构,同时也去除了图像中的一些噪声,重构的图像具有良好的效果。5. 结论在这篇文章中,我们提出了基于学习的边缘视觉计算的深海采矿。我们作出了以下贡献。(一)在物理层恢复水下图像时,考虑了梯度差异损失,保证了图像的整体质量。图像不模糊。(2)采用压缩感知和深度学习相结合的压缩学习方法,实现水下机器人远程控制的高分辨率数据压缩。(3)在应用层提出了fusion-SRFeat图像超分辨率算法,将深度学习图像超分辨率重建与传统图像相结合融合方法,以提高高分辨率图像的重建效果竞争利益这份手稿尚未在其他地方部分或全部发表或发表,也没有被其他期刊考虑。没有需要申报的利益冲突。引用[1] H. Lu,L. Wang,Y. Li,CONet:a cognitive ocean network,IEEE Wirel. Commun. 26(3)(2019)90-96。[2] S. Serikawa,H. 卢,水下图像去雾使用联合三边滤波器,计算机。电动Eng. 40(1)(2014)41-50。[3] H. Lu,Y.利湖,加-地Zhang,浑浊水体中图像的对比度增强,J。选购配件Soc. Amer. A 32(5)(2015)886 -893,doi:10.1364/JOSAA.32.000886。[4] H. Lu,Y. Zhang, Y. Li等,“User-oriented virtual mobile network resource management for vehicle communications”,IEEE Trans. Intell.运输单系统:10.1109/TITS.2020.2991766,2020年。[5] M马蒂厄,C库普里,Y勒昆。[6] A. Bora,A. Jalal,E.普赖斯,压缩感知使用生成模型,在:第34届会议论文集 2017年机器学习国际会议,pp. 第537-546页。[7] CDong,CLoy,KHe,使用深度卷积网络的图像超分辨率,IEEE Trans. 模式肛门。马赫内特尔 38(2)(2016)295-307。C.妈,X。Li,Y. Li等人认知机器人1(2021)311[8] CLedig,LTheis,FHuszar,使用生成对抗网络的照片级真实感单图像超分辨率,Comput。视觉模式图(2016年)12.[9] PSeong-Ji,SHyeongseok,CSunghyun,SRFeat:具有特征鉴别的单图像超分辨率,Comput. 愿景-ECCV(2018)455-471。[10] X Lv.,一个姓王的,Q Liu.,Proposal-Refined Weakly SupervisedObject Detection in Underwater Images,in:International Conference on Image andGraphics,2019,pp. 418-428[11] Z Yang.,S Liu.,H Hu.,等等。”Reppoints:Point set representation for object detection电话:9657- 9666,2019。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- GO婚礼设计创业计划:技术驱动的婚庆服务
- 微信行业发展现状及未来发展趋势分析
- 信息技术在教育中的融合与应用策略
- 微信小程序设计规范:友好、清晰的用户体验指南
- 联鼎医疗:三级甲等医院全面容灾备份方案设计
- 构建数据指标体系:电商、社区、金融APP案例分析
- 信息技术:六年级学生制作多媒体配乐古诗教程
- 六年级学生PowerPoint音乐动画实战:制作配乐古诗演示
- 信息技术教学设计:特点与策略
- Word中制作课程表:信息技术教学设计
- Word教学:制作课程表,掌握表格基础知识
- 信息技术教研活动年度总结与成果
- 香格里拉旅游网设计解读:机遇与挑战并存
- 助理电子商务师模拟试题:设计与技术详解
- 计算机网络技术专业教学资源库建设与深圳IT产业结合
- 微信小程序开发:网络与媒体API详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功