没有合适的资源?快使用搜索试试~ 我知道了~
4248ReconfigISP:可重构相机图像处理流水线柯宇1、2李泽贤1、3岳鹏1陈昌来4顾金威1、51SenseTime Research and Tetras.AI2香港中文大学-SenseTime联合实验室3北京航空航天大学4南洋理工大学S-Lab5上海人工智能实验室ericyu16@hotmail.comlizexian0427@gmail.com{pengyue,gujinwei}@ tetras.aiccloy@ntu.edu.sg摘要图像信号处理器(ISP)是数码相机中的一个关键部件,它将传感器信号转换成图像供我们感知和理解。现有ISP设计总是采用固定的体系结构,以刚性顺序连接的几个连续模块。这样的固定ISP架构对于现实世界的应用可能是次优的在这项研究中,我们提出了一种新的可重构ISP(重新配置ISP),其架构和参数可以自动定制特定的数据和任务。特别地,我们实现了几个ISP模块,并通过训练可微分代理来实现每个模块的反向传播,从而使我们能够利用流行的differentiable神经架构搜索并有效地搜索最佳ISP架构。采用代理调整机制来保持代理网络在所有情况下的准确性。在不同的传感器、光照条件和效率约束下,对图像恢复和目标检测进行了大量实验,验证了ReconfigISP的有效性。每个任务只需要调优数百个参数1.1. 介绍数码相机使用ISP将原始RAW图像转换为可以在屏幕上显示的高质量RGB图像。 现有ISP系统通常采用由专用模块组成的人工设计的流水线[16],每个专用模块处理子任务,例如去噪[12,22]、去马赛克[11,17]、白平衡[13]等。传统的ISP是高度模块化和高效的。然而,一旦管道被固定,它就很难适应不同的应用场景。需要对参数进行昂贵且手动的在本研究中,我们的目标是保持传统ISP的模块化设计,但学习一种可重构的ISP架构。1代码和型号可从www.example.com获得https://www.mmlab-ntu。com/project/reconfigisp/能够快速适应各种任务的真实(例如,恢复和对象检测),场景(例如,白天和夜间)和运行时间约束。为此,我们提出了一种新颖的和通用的可重构ISP框架,名为Recon- figISP。所提出的框架允许ISP体系结构中的改变和重新路由,应该选择哪些基本模块以及它们如何连接,朝着指定的目标函数进行优化。考虑到灵活性,可以组合专用模块以生成众多ISP管道来处理各种应用场景,但仍保留每个模块的模块性和参数实验结果表明,我们的框架实现了显着的改进,传统的相机管道(第二。4).示例如图所示。1.一、寻找最优ISP流水线是一个新的有趣的问题。在这项工作中,我们做出了几项技术贡献,以解决一些重要的挑战:(1)可调ISP模块-大多数现有ISP模块是不可区分的。因此,这些模块的参数不能利用端到端训练来有效地优化,使得搜索最佳流水线变得容易。为了解决这个问题,我们使用卷积神经网络来模拟每个不可微模块。代理网络观察输入图像和模块参数,以及模块可能需要的全局图像统计。网络被训练成类似于原始不可微模块的输出。由于所有的模都是可微的,因此可以在神经结构搜索的帮助下有效地探索ISP结构。(2)代理调优和在线修剪- 使用上述框架,我们仍然需要解决数据分布中的差距。特别是,我们用于ISP架构搜索的数据取决于目标任务,并且它们可能对预先训练的代理网络不可见。为了减轻域的差距,我们设计了一个有效的代理调整方法-我们的方法更新ISP架构和代理网络交替。并且它逐步修剪低性能的模块以加速4249Sony α7S II ReconfigISPLightroom重新配置ISP恢复检测图1:在继承传统ISP的模块化的同时,ReconfigISP可以通过学习重新连接专用ISP模块来适应不同的任务,例如图像恢复和对于每个任务,左图显示默认相机处理管道的结果,而右图显示我们的输出(放大以获得最佳视图)。在目标检测任务中,ReconfigISP优化ISP以获得更准确的检测,而不是感知质量。培训过程。我们注意到,人们对深度ISP方法[5,7,27]的兴趣激增,该方法将ISP管道转换为单端到端深度网络。ReconfigISP提供了一个compelling替代深ISP范例。首先,Re-configISP可以纯粹由目标函数驱动来调整其流水线,而现有的深度ISP解决方案不提供这种灵活性。例如,为了满足特定的运行时约束,深度ISP解决方案将需要从头开始重新设计网络架构。也许更值得注意的是,ReconfigISP保留了图像形成过程阶段的模块化。它是可解释的,因为每个模块在ISP管道中起着明确的作用。因此,我们的方法仍然允许人为干预,如果需要的话,它提供的见解,有效的ISP管道的设计原则,不仅仅是一个可重构的框架。此外,为了应对不同的处理功能,深度ISP方法通常需要具有数百万个参数的广泛网络。每个新任务都需要使用大量数据进行昂贵的重新训练,数据要求是不现实的,特别是如果希望将ISP重新用于复杂任务,如对象。相比之下,我们的框架只需要用有限的数据调整数百个参数。我们将在实验中验证ReconfigISP的上述优点2. 相关工作ISP模块。ISP通常涉及处理图像噪声、色度、亮度、锐度等的复杂流水线。在这项研究中,我们准备了一个简洁的模块池,如表1所示,重点是常见的算法去噪,去马赛克,色调映射和白平衡。有关模块的更多详细信息,请参阅补充材料。值得注意的是,许多经典算法是不可微的,例如,去噪算法,如Bilateral[28],Median [15]和NLM [4],以及BM 3D [6];以及色调映射算法,如Reinhard [25]和Crysisengine。我们将这些算法转换为代理网络,以方便ISP架构搜索。请注意,我们还在模块池中考虑了一些轻量级的深度模型,包括Path-Restore [31]”[11]《明史》将释放所有代理模块ISP管道。文献中有几项研究关注传统的相机流水线或深度ISP方法。Hu等人[14]提出Exposure,一个具有八个可区分滤波器的白盒图像后处理框架。Karaimer等人[16]设计一个12阶段的软件ISP,允许用户在完整的ISP环境中研究每个算法的效果然而,这样的传统ISP框架不支持端到端优化。Tseng等人[29]提出一种代理优化方案,以有效地搜索最佳ISP超参数。Mosleh等人[20]进一步开发进化算法,以优化硬件上的ISP参数。与现有的代理方法[29]不同,我们为每个不可微算法而不是整个ISP管道训练可微代理因此,我们可以探索不同的ISP架构,而[29]的方法仅适用于固定流水线。近年来,基于深度学习的ISP引起了相当大的研究兴趣。Schwartz等人[27]提出DeepISP,它使用包含低级阶段和高级阶段的深度神经网络。Dai等人[7]设计了一个具有注意力和小波变换的网络。Chen等人[5]提出包含低光和正常照度之间的配对数据的SID数据集。使用SID数据集训练的U-Net结构在这项工作中,我们使用这个U-Net模型作为一个强大的竞争对手,以验证我们的方法的有效性。上述研究采用固网取代ISP管道。网络通常很大,包含大量的参数,每个新任务都需要调整或重新训练如引言中所述,这些方法不享有与所提出的Recon-figISP中相同的灵活性和模块性,所述Recon-figISP通过在给定指定成本函数的情况下调整ISP架构和参数而容易地以低成本适应于不同的应用场景。3. 方法ReconfigISP的总体框架如图所示。二、节中3.1中,我们引入了可微代理网络来代替不可微模块。节中三点二4250Σ∈ΣK.Σ----表1:模块池包含22种算法。“域”表示输入和输出模式。“类别”描述算法的功能。括号中的数字表示每个算法的可配置参数的数量。在我们的实现中,斜体算法域类别算法RAW->RAW去噪Bilateral-Bayer(3)、Median-Bayer(1)、NLM-Bayer(3)、Path-Restore-Bayer(0)RAW->sRGB去马赛克Laplacian(0)[30]、Nearest(0)、Bilinear(0)[10]、DemosaicNet(0)[11]sRGB->sRGB去噪双侧(3)[28],中位数(1)[15],NLM(3)[4],BM 3D(5)[6],路径-恢复(0)[31]伽马校正伽马(1)全局色调映射Reinhard(2)[25],Crysisengine(1),Filmic(2)[9],Manual(3)白平衡Whitepatch(1)[26],Grayworld(0),Linear(3),Quadratic(30)[27]讨论了ISP体系结构搜索算法。最后,在SEC。3.3中,我们解释了在ISP架构固定后如何微调模块参数。3.1. 可区分代理网络给定表1中所示的模块池,我们的目标是搜索由这些算法组成的最有效的ISP管道一些算法本质上是不同的例如,为sRGB图像设计的算法不能在RAW域中工作。因此,我们需要为每一步指定有效域,然后可以导出一组有效索引V如果(k,j)V,则第j个模块在步骤k处有效。对于每个有效模块fkj,它被分配一个架构权重αkj,表示选择该模块的可能性。所有的架构权重都应该是非负的,并且在单个步骤中总和为1,即,因此可以以端到端的方式进行优化Nj=1 α kj= 1,s.t. ,α kj> 0,(k,j)∈ V.ner,而其他的是不可微的,导致结构和参数优化的困难。为了解决这个问题,我们为每个不可微的模块构建了一个可微的代理网络接下来,我们简要介绍所构建的超级网络的推理过程令X表示输入图像。步骤k的中间输入图像由Xk-1表示。步骤k处的网络推断可以被公式化为:形式上,令fj表示第j个模,fj表示X=Nj=1 αkjfj(Xk−1,pkj;wj),s.t. (k,j)∈V,(1)其代理网络具有权重wj。假设fj是dif feren-并且我们不需要对该算法应用任何改变,即,fj=fj.如图2(a),以保证代理网络类似于用于不同的原始算法输入图像X和参数pj,我们在训练代理网络时随机采样图像和参数。针对非局部模块提取全局图像统计令Lp表示代理训练的保真度损失, L1或L2缺失。然后将目标函数表示为Lpfj (X,pj;wj ),fj(X,pj)。其中Pk,j表示步骤k处的算法fj的输入参数,并且如果fj是可微代理,则表示代理网络的权重。例如,假设f j表示中值滤波器的代理网络,则pkj是第k步的滤波器大小,并且wj表示网络权重。我们交替地更新体系结构α kj和每个ISP模块的参数pkj 。令L(X,Y)表示损失函数,其中X=XK是ISP的输出3.2. 可重构ISP架构独特的ISP体系结构搜索。我们的ISP架构搜索的灵感来自于神经架构搜索(NAS)的现有工作。考虑到基于强化学习[2,32]和进化方法[23]的 NAS是昂贵的,我们采用了更有效的可微分NAS。特别是,我们选择Darts [19],我们新提出的在线修剪和代理调整来解决ISP中的详情如下。考虑到手头所有可区分的代理,我们将这些小型ISP模块合并到一个超级网络中进行架构搜索,如图所示。第2段(b)分段。令K表示期望的ISP流水线的最大长度。在每个步骤k,有N+1个模块并联,即,微分算法和一个跳过连接模式-管线,并且Y是目标图像或标签。 损失函数-这取决于具体的任务。为了更新算法参数,我们将梯度导出为:δpkj=pkjL(X,Y;p,α),(2)其中p和α表示所有算法参数pkj和架构权重αkj。至于架构的更新,直接应用梯度是次优的。如Darts[19]中所述,最佳算法参数可能会根据特定架构而变化。因此,在优化体系结构的同时,还应考虑算法参数。具体来说,我们进行了一步Meta学习,以获得更好的架构梯度:p=p−ξpL(Xtrain,Ytrain;p,α),N乌莱请注意,并非所有模块在每个步骤都有效为δαkj=αkjL.Xval,Yval;p,αΣ,4251(三)4252||WJWJpJMJJJMJ第1:通过在线修剪进行差异化ISP架构搜索和代理调谐,针对指定的目标函数进行优化修剪输入修剪可选目标,例如,恢复或检测代理调整数据存储器采样参数阶段2:优化所选架构的参数可选目标,例如,恢复或检测(a) 带代理的(b) ISP架构搜索与参数优化(c) 最后的ISP图2:ReconfigISP概述。(a)我们实现了一套全面的ISP模块(N= 22),并为每个不可微的算法构造一个可微代理。(b)在第1阶段,我们使用Darts [19]以及新提出的在线修剪和代理调整来搜索最佳ISP架构。最后,在阶段2中,所选架构的算法参数被微调以获得最佳性能。(c)最终的ISP采用了搜索到的架构,保留了原有的ISP模块,并优化了参数。其中,学习率表示Meta训练的学习率。数据被分成两组,分别用于Meta训练和元验证在线修剪。由于超级网络的昂贵结构,上述搜索算法在实践中仍然是耗时的。每一个算法在每一步都是重复进行的,导致了大量的计算。为了减轻这种计算负担,我们修剪那些候选模块与低架构权重。一个直观的剪枝策略是设置一个硬阈值代理调优的过程如图所示。第2段(b)分段。具体来说,我们建立一个数据存储器M来存储来自超级网络的中间输出。数据存储器被组织为队列,具有M最大的 最 大 容 量 。 在 每 个 训 练 时 间 步 t , 中 间 结 果X1,. . . 、X、K被添加到队列,并且如果队列已满,则移除一些过去的图像。在每个tp步骤,从数据存储器中随机采样一批数据Xm,并应用反向传播来导出代理网络权重的梯度:建筑的重量。 其体系结构如果权重小于阈值,则应丢弃。然而,我们发现这样的策略对最优化敏感-δ=L.f(X,p~;w),f(X,p~)Σ,(5)超参数。修剪的结果可以是不同的多次试验。因此,我们根据具有最高潜力的架构权重特别地,修剪机制可以被公式化为:其中f(j)表示对应于以下的原始算法:代理网络fj ,并且p~j表示用于该算法的一组随机采样的Lp表示用于代理训练的损失函数。我们不对不需要代理网络的模块执行代理(k,j)∈V,αkj>ηmaxjαkj,(k,j)∈V,否则,其中η∈(0,1)是相对阈值。(四)摘要ISP架构搜索的整个过程如图所示。第2段(b)分段。搜索算法总结在算法1中。在每个时间步,我们更新体系结构和算法参数,刷新数据代理调整。由于我们可以将ReconfigISP应用于不同的任务,因此数据分布可能非常多样化。因此,代理训练数据可能不覆盖目标任务的数据分布。此外,中间结果Xk是来自多个算法的输出的组合,这在代理训练过程中是不可见的因此,给定该数据分布间隙,代理网络可能无法接近原始算法。为了缓解这个问题,我们提出了代理调整,微调的代理网络,使用观察到的新数据在架构搜索。内存,并执行在线修剪,以切断不必要的模块。在每一步,我们进行代理调整,以确保每个代理网络的有效性。3.3. ISP参数优化在架构搜索之后,我们选择具有最高架构权重的ISP代理网络被替换回原来的模块(图1)。第2段(c)分段)。特别地,在步骤k,所选择的模块的索引是ak=argmaxjαkj,并且所选择的模块由fak表示。ISP模块池……去噪色调白色映射平衡生成可区分的代理网络输入不可微统计采样参数可微代理目标输入……….4253≡←−←−∅||--联系我们联系我们←−2→→→ˆ×算法1ISP架构搜索为模块池fj准备代理权重wj初始化算法参数pkj和架构αkj初始化数据内存M=,设置内存大小Mmax指定学习率γ、总迭代次数T、调优间隔tp对于t= 1,Tdo样本训练数据X训练、Y训练、X值、Y值αkjαkj更新架构,等式(3)pkjpkj更新参数,等式(2)使用中间数据Xk更新存储器M更新有效模V=(k,j)▷修剪,等式(四)如果t0 modtp则来自存储器M的采样数据Xm表2:SID数据集的定量结果[5]。Sid0.1s至10sRGB灰色PSNRSSIMPSNRSSIM索尼α7II重新配置ISP15.6925.650.15500.752720.3431.900.33520.9008表3:S7 ISP数据集的定量结果[27]。S7 ISPRGB灰色PSNRSSIMPSNRSSIM三星S7重新配置ISP21.0823.310.45180.700723.9926.830.62970.7697wjwjγδwj▷代理调谐,等式(五)结束if结束for拉普拉斯WB-二次给定搜索到的ISP架构,算法参数路径-恢复-拜耳最近伽马WB-线性伽马因为仍然有多个算法,所以eters不是最佳的路径-恢复-拜耳GTM-薄膜WB-二次在超级网络中的每一步都不修剪算法。为此,我们进一步优化了针对所选ISP流水线的算法参数. 推理过程在第k步公式为Xk=f ak(Xk−1,p ak;w ak),其中p ak是我们要优化的算法参数,w ak代表代理调整后的网络权重。损失函数取决于具体任务。对于图像恢复,我们采用L2损失,L=||X−Y||其中,X=X,K和Y分别表示输出图像和地面实况。至于对象检测,我们遵循YOLOv3的设计[24]。 损失函数由定位项和分类项组成,以分别惩罚坐标误差和类别标签失配。除了上述损失函数,只要反向传播适用,ReconfigISP可以针对任何目标函数4. 实验为了便于定量分析,我们将ISP的总长度设置为K=52,其中一个步骤在RAW域中,一个去马赛克步骤,以及三个步骤在sRGB域中。在该特定设置中,整个ReconfigISP框架总共包含226个架构和模块参数。我们采用L2损失进行代理训练。数据存储器大小选择为1,000。在线调谐阈值η被设置为0.2.代理调谐间隔tp为20。总迭代次数分别为200,000次和80,000次,用于架构搜索和参数优化。学习率γ和Meta学习率γ是相同的。初始值为1 10−4,然后在训练过程中每四分之一衰减一半SRCNN [8]2请注意,这是一个简化的流水线,因为实际上ISP流水线包含许多模块。但是,与非常深的ISP方法相比,我们的方法仍然显示出具有竞争力的结果(参见第2节)。4.5)。图3:在SID和S7 ISP数据集上搜索到的用于图像恢复的ISP架构。绿色、黄色和蓝色分别表示RAW RAW、RAW sRGB和sRGB sRGB的映射域。GTM和WB分别代表全局色调映射和白平衡。作为代理网络,并且可区分的代理在SIDD [1]数据集上预先训练。我们使用Adam [18]优化器并在PyTorch[21]上实现我们的框架。我们的实验在四个NVIDIAGeForce GTX 1080 GPU上进行。4.1. 图像复原为了验证所提出的方法对于不同传感器,场景和光照条件的有效性,我们选择了代理网络从未观察到的两个具有挑战性的基准SID数据集。 我们在SID数据集[5]上验证了我们的方法的有效性,该数据集包含在极低光下捕获的几个具有挑战性的图像。我们在Sony子集上进行实验,其中图像由Sonyα 7S捕获二. 为了验证我们的算法在小规模数据上的优越性在不丧失一般性的情况下,我们考虑具有0.1s短曝光和10s长曝光的特定设置。搜索到的ISP流水线如图所示。3(顶部)。在RAW域中选择深度去噪方法Path-Restore-Bayer拉普拉斯插值用于去马赛克。在sRGB域中,应用伽马校正,然后是两个白平衡模块,这表明在极端低光条件下调整白平衡是具有挑战性的。SidS7 ISP4254三星S7重新配置ISPGT索尼α7S II重新配置ISPGT图4:SID数据集的定性结果[5]。输入和地面实况曝光时间分别为0.1s和10s。图5:S7 ISP数据集的定性结果[27]。定量比较如表2所示。Sonyα 7 II表示默认摄像机管道产 生的 结果, 乘以 曝光补 偿系 数100( 10s除以0.1s)。我们在表2中给出了彩色和灰度图像的PSNR和SSIM结果。我们的ReconfigISP大大超过了默认的摄像机ISP,即改善10 dB以上。定性结果如图所示4.第一章与索尼管道相比,我们的方法产生更干净的值得注意的是,我们的方法仅使用数以百计的参数被调整。S7 ISP数据集。S7 ISP [27]是从三星S7后置摄像头收集的数据集。在设置SID之后,我们只使用5%的训练数据。验证和测试子集的数量不变。搜索到的ISP架构如图所示。3(底部)。管道与SID的管道略有不同。特别地,使用最近插值代替拉普拉斯滤波器。此外,在伽马校正之前应用全局色调映射方法Filmic。我们观察到Filmic对于S7 ISP数据集工作良好,但是当应用于SID数据集时,它可能放大伪影,其中在极低光下噪声严重。定量结果见表3。据观察,ReconfigISP优于三星相机管道超过2分贝的RBG和灰度图像。目视结果如图所示五、默认的三星ISP在低光条件下无法消除颜色噪声。相反,ReconfigISP在保留细节的同时产生干净的输出。4.2. 适应特定的效率约束在现实世界的应用中,由于有限的计算资源和对实时 显 示 的 需 求 , 我 们 可 能 有 不 同 的 效 率 约 束 。ReconfigISP通过在损失函数中引入效率项来调整性能-复杂性权衡。具体地,在ISP架构搜索期间,损耗L乘以(Lat)β,其中Lat代表电流ISP。β越大,管线将重建越有效figISP选择。特别地,ReconfigISP、ReconfigISP-Fast和ReconfigISP-Faster对应于β=0、β=0。14且β=0。28、分别请注意,这样的灵活性是不可用的,在传统的ISP管道和深ISP的做法。不同ISP框架的性能和CPU3运行时间如表4所示。相机ISP代表相应数据集的相机处理管道。与ReconfigISP相比,ReconfigISP-Faster实现了高达50倍的加速,但性能有所下降。我们观察到,加速度归因于更少的去噪计算尽管如此,ReconfigISP-Faster仍然优于或相当于默认相机ISP。所选ISP体系结构在补充材料中进行了描述。4.3. 目标检测为了验证所提出的框架在对象检测等高级任务上的有效性,我们收集了一个名为OnePlus4的数据集,其中包含几个驾驶场景3Intel(R)Core(TM)i7-8700 CPU@3.20GHz4数据集可在项目页面上找到。4255Lightroom软件ISP重新配置ISP图6:OnePlus数据集上用于对象检测的定性结果(放大以获得最佳视图)。表4:不同效率约束的结果。我们报告CPU运行时间处理一百万像素。表5:OnePlus数据集上的对象检测结果。DemosaicNetGTM-手动流水线,指示颜色对于检测任务可能不如噪声和对比度重要。定量比较如表5所示。我们报告每个类别的平均精度(AP)以及平均AP(mAP)。将ReconfigISP与Light-路径-恢复-拜耳伽马BM3d房间和软件ISP [16]。ReconfigISP超越图7:搜索到的用于对象检测的ISP架构。在低光条件下。我们使用一加6 T A6010智能手机拍照,传感器类型为索尼Ex- mor IMX 519。为了实现低光约束,我们设置ISO= 6,400,曝光时间=0.01s。在Light-room的帮助下,我们可以同时捕获RAW和JPEG图像. JPEG图像由Lightroom的默认ISP管道生成。我们重点研究了街景中的三类物体- 人、汽车和公共汽车。我们使用LabelMe [3]注释141张图像,其中50张图像用于训练,其余91张图像用于评估。在实验中,我们采用YOLOv3 [24]作为检测器。对于推理,YOLOv3观察ReconfigISP生成的图像并预测对象。至于反向传播,YOLOv3将梯度传递回ReconfigISP以促进架构搜索。请注意,YOLOv3在训练过程中不会更新。所选ISP架构如图所示。7.第一次会议。我们观察到,该流水线与用于图像恢复的流水线显著不同(参见 图 1B ) 。 ( 3 ) 第 三 章 。 特 别 地 , 深 度 模 型DemosaicNet [11] 用 于 去 马 赛 克 。 Denoising 不 仅 在RAW域中执行,而且还使用BM3D [6]在sRGB域中采用全局有趣的是,白平衡在整体上并没有调整默认Lightroom管道由一个很大的利润。与软件ISP [16]相比,ReconfigISP在所有三个类别上实现了更好的性能。 我们在图中呈现定性结果。六、ReconfigISP明显优于其他两种方法,在弱光条件下给出准确的对象类别和位置。尽管有变色,但仍实现了这种优化的性能,概括地说,颜色在对象检测任务中并不重要。4.4. 进一步分析ISP架构的影响。为了验证ISP架构搜索的重要性,我们比较我们的方法随机搜索基线。特别地,ISP架构被随机采样和调谐。最佳ISP是从1,000多条优化管道中选出的。这给了随机基线一个不公平的优势。要有一个完整的分析,我们交换ISP架构优化不同的任务,并观察性能变化。该分析在用于图像恢复的S7 ISP数据集和用于对象检测的OnePlus数据集上进行相应的ISP架 构 由 ReconfigISP-S7 表 示 ( 图 12 ) 。 3 ) 和ReconfigISP-OnePlus(图7),分别。在交换ISP架构之后,进一步微调算法参数结果示于表6中。在S7 ISP数据集上,最佳架构超过ReconfigISP-OnePlus近3 dB。在OnePlus 检测数据集上,专门的OnePlus人车总线地图Lightroom0.3180.4690.1670.318软件ISP [16]0.4270.6590.4580.515重新配置ISP0.5150.6970.5920.601OnePlus数据集和度量SID [5]S7 ISP [27]PSNR时间(s)PSNR时间(s)摄像机ISP15.69-21.08-重新配置ISP25.651.1623.311.53重新配置ISP-快速23.720.6322.700.61重新配置ISP-更快20.550.04920.420.0314256×表6:ISP架构的消融研究。数据集S7 ISP [27]OnePlus度量PSNRSSIM地图随机搜索23.130.68970.566重新配置ISP-S723.310.70070.352重新配置ISP-OnePlus20.550.68460.601表7:SID [5]数据集上不同数据量的结果训练补丁程序1005003,000U-Net [5]18.4324.1326.62重新配置ISP22.7324.9825.61流水线是优于S7架构的一个大的margin- gin。此外,与随机搜索相比,专用的ReconfigISP始终实现更好的性能。这些结果表明,体系结构优化是至关重要的ISP,我们的ReconfigISP成功地确定了适当的ISP架构,为不同的目标任务。代理调整的效果。我们研究了S7 ISP数据集上代理调优的重要性。在没有代理调谐的情况下,最后一个模块“WB-Quadratic”被替换为“WB-Grayworld”,其是没有任何调谐参数的简单白平衡算法。在优化算法参数后,该ISP结构的PSNR和SSIM性能分别为21.01 dB和0.6811 。 与 PSNR 为 23.31 dB 、 SSIM 为 0.7007 的ReconfigISP-S7相比,无代理调谐的新架构的性能明显下降。我们将这种现象归因于不同任务和数据集之间的数据分布差距。当代理网络不能模仿原始算法时,架构搜索变得不那么有效。因此,代理调优机制是必不可少的,我们的ReconfigISP框架。4.5. 与深度ISP的我们将我们的方法与采用广泛使用的U-Net架构的深度ISP进行了比较[5]。U-Net可以被视为一个上限,因为它是一个纯深度网络解决方案,具有大约700万个可调参数,而我们的解决方案涉及传统算法,可调参数的数量在表7中,我们呈现了具有不同数量的训练补丁5的定量结果。当数据量较小时,我们的方法比U-Net更鲁棒。 搜索到的ISP体系结构与在图3,除了100个训练补丁的情况,其中“WB-Quadratic”被替换为“WB-Whitepatch”。当数据量变大时,U-Net的性能毫不奇怪地超过了当前的ReconfigISP(管道长度为5)。这与我们的比较不公平。5每个训练补丁的分辨率为192 192。使用数据增强,包括裁剪和翻转。图8:与具有不同数量训练数据的U-Net [5法定性结果见图。8.通过100个训练补丁,U-Net输出了一个色彩和曝光失真的噪声图像ReconfigISP生成更好的结果,表明我们的方法对小规模数据更鲁棒。除了参数和数据效率之外,Recon-figISP还具有模块化和可解释性的独特优势,这在U-Net或其他深度方法中是不可用的。此外,U-Net不能像我们在Sec.四点二。重新设计架构是不可避免的。5. 讨论和结论调整ISP管道是出了名的费力。在本文中,我们设计了一个可重构的ISP(ReconfigISP),可以有效地和灵活地调整ISP架构给定一个特定的任务,只有通过调整数百个架构的权重和算法参数自动驱动指定的损失函数。实验结果表明,ReconfigISP在性能和灵活性上均优于传统ISP流水线。值得注意的是,ReconfigISP的主要- tains传统ISP管道的模块化和可解释性。由于这一独特的功能,ISP架构搜索为ISP设计和调谐提供了额外的见解例如,与sRGB域相比,深度去噪方法在RAW域中更鲁棒。另外,去噪算法的复杂度在很大程度上决定了ISP的效率。最后,白平衡对诸如对象检测之类的高级任务几乎没有贡献。谢谢。本研究得到了RIE 2020行业联盟基金-行业合作项目(IAF-ICP)资助计划的支持U-Net重新配置ISP100片500片3,000个贴片4257引用[1] Abdelrahman Abdelhamed,Stephen Lin,and Michael S.布朗智能手机摄像头的高质量去噪数据集。在IEEE计算机视觉和模式识别会议论文集,2018年。5[2] Bowen Baker 、 Otkrist Gupta 、 Nikhil Naik 和 RameshRaskar。使用再强化学习设计神经网络架构。在2017年学习代表国际会议的会议记录中。3[3] 阿德拉·巴瑞索和安东尼奥·托拉尔巴。有关图像注释的注释arXiv预印本arXiv:1210.3448,2012。7[4] 安东尼·布阿德斯、巴托梅乌·科尔和让-米歇尔·莫雷尔。一种非局部图像去噪算法。 IEEE计算机视觉与模式识别会议论文集,2005年。二、三[5] Chen Chen,Qifeng Chen,Jia Xu,and Vladlen Koltun.学会在黑暗中看东西在IEEE计算机视觉和模式识别会议论文集,2018年。二五六七八[6] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen O.埃吉亚扎利安人结合块匹配和三维滤波的图像去噪。电子成像,2006年。二、三、七[7] Linhui Dai,Xiaohong Liu,Chengqi Li,and Jun Chen.Awnet:用于图像isp的注意小波网络。在2020年欧洲计算机视觉研讨会上。2[8] Chao Dong , Chen Change Loy , Kaiming He , andXiaoou Tang.使用深度卷积网络的图像超分辨率。IEEETransactionsonPatternAnalysisandMachineIntelligence,2016。5[9] Gabriel Eilertsen Rafal Mantiuk和Jonas Unger。高动态范围视频的色调映射算法的比较评论。计算机图形论坛,2017年。3[10] 帕斯卡尔·格特罗伊。图像插值的线性方法图像在线处理,2011年。3[11] Mi cha eülGharbi , Gaura vChaurasia , Syl vainParis ,andFre´doDurand. 深 度 联 合 去 马 赛 克 和 去 噪 。 ACMTransactions on Graphics,2016。一、二、三、七[12] 史国,严子飞,张凯,左王梦,张磊。真实照片的卷积盲去噪。在IEEE计算机视觉和模式识别会议论文集,2019年。1[13] Eugene Hsu,Tom Mertens,Sylvain Paris,Shai Avidan和Fr e'doDurand。用于空间变化白平衡的光混合估计ACM Transactions on Graphics,2008。1[14] 胡渊明,何昊,徐晨曦,王宝源,林志颖。Exposure:一 个 白 盒 照 片 后 处 理 框 架 。 ACM Transactions onGraphics,2018。2[15] Thomas S.作者:George J. Yang,and Gregory Y.唐一种快 速 二 维 中 值 滤 波 算 法 。 IEEE Transactions onAcoustics,Speech,and Signal Processing,1979. 二、三[16] Hakki Can Karaimer和Michael S Brown 。一个软件平台,用于操纵相机成像流水线.在2016年欧洲计算机视觉会议上。一、二、七[17] Daniel Khashabi、Sebastian Nowozin、Jeremy Jancsary和Andrew W Fitzgibbon。通过学习的非参数随机场进行联合 去 马 赛 克 和 去 噪 IEEE Transactions on ImageProcessing,2014。1[18] Diederik P Kingma和Jimmy Ba。Adam:随机最佳化的方法。在2015年学习代表国际会议的会议记录中。5[19] 柳寒笑,凯伦西蒙尼扬,杨一鸣。Darts:差异化架构搜索。在2019年国际学习表征会议论文集。三、四[20] Ali Mosleh,Avinash Sharma,Emmanuel Onzon,FahimMannan,Nicolas Robidoux,and Felix Heide.摄像头图像处理流水线的硬件在环端到端优化。在IEEE计算机视觉和模式识别会议论文集,2020年。2[21] Adam Paszke、Sam Gross、Soumith Chintala、GregoryChanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。pytorch中的自动微分在神经信息处理系统研讨会的,2017年。5[22] TobiasP lótz和Ste f anRoth。神经最近邻网络。在神经信息处理系统进展会议录,2018年。1[23] Esteban Real , Alok Aggarwal , Yanping Huang , andQuoc V Le.用于图像分类器架构搜索的正则化进化。在AAAI人工智能会议上,2019年。3[24] 约瑟夫·雷德蒙和阿里·法哈迪Yolov3:一个渐进的改进。arXiv预印本arXiv:1804.02767,2018。五、七[25] 埃里克·莱因哈德,迈克尔·斯塔克,彼得·雪莉,还有詹姆斯·费尔沃达.数字图像的照相色调再现。2002年第29届计算机图形与交互技术集。二、三[26] Alessandro Rizzi,Carlo Gatta,and Daniele Marini.灰色世界和白色斑块之间的颜色校正。在IS T/SPIE电子成像中,2002年。3[27] Eli Schwartz , Raja Giryes , and Alex M Bronstein.Deepsp : 学 习 端 到 端 的 图 像 处 理 管 道 。 IEEETransactions on Image Processin
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 基于嵌入式ARMLinux的播放器的设计与实现 word格式.doc
- 经典:大学答辩通过_基于ARM微处理器的嵌入式指纹识别系统设计.pdf
- 嵌入式系统课程设计.doc
- 基于飞思卡尔控制器的智能寻迹车设计ARM基础课程课程设计.doc
- 下载基于ARM7的压电陶瓷换能器导纳圆测量仪的研制PDF格式可编辑.pdf
- 课程设计基于ARM的嵌入式家居监控系统的研究与设计.doc
- 论文基于嵌入式ARM的图像采集处理系统设计.doc
- 嵌入式基于ARM9的中断驱动程序设计—课程设计.doc
- 在Linux系统下基于ARM嵌入式的俄罗斯方块.doc
- STK-MirrorStore Product Release Notes(96130)-44
- STK-MirrorStore Storage Connectivity Guide for StorageTek Disk A
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-本科毕业设计.doc
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-.doc
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-本科生毕业论文.doc
- 麻阳风貌展示网站的设计与实现毕业论文.pdf
- 高速走丝气中电火花线切割精加工编程设计.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功