7529摄像机图像处理流水线的FahimMannan1Avinash Sharma1尼古拉斯·罗比杜1Emmanuel Onzon1Felix Heide1，2普林斯顿大学摘要商品成像系统依赖于硬件图像信号处理（ISP）流水线。这些底层管道由一系列处理块组成，这些处理块根据其超参数从RAW传感器测量结果重建彩色图像。硬件ISP超参数与输出图像具有复杂的交互，因此与接收这些图像的下游应用程序具有复杂的交互。传统上，ISP由成像专家单独手动调整最近，ISP已经用一阶方法进行了优化，该方法需要硬件ISP的可微近似。从这样的近似出发，我们提出了一种硬件在环方法，该方法通过使用与硬件ISP直接接口的新型0阶随机求解器来解决非线性多目标优化问题，从而直接优化我们验证了所提出的方法与最近的硬件ISP和2D对象检测，分割，和人类观看端到端的下游任务。对于汽车二维物体检测，所提出的方法优于手动专家调整30%的平均平均精度（mAP）和最近的方法，使用ISP近似18% mAP。1. 介绍硬件ISP是无处不在的低级图像处理管道，存在于几乎所有商品相机和各种应用中，如数字静态摄影、照相手机、视频监控、机器人、驾驶员辅助系统和自动驾驶车辆。ISP将原始传感器数据转换为适合人类观看或下游分析任务的图像。这种转换通常包括几个处理块，这些处理块以实时速率高效地运行，这对于机器人或自动驾驶车辆中的应用至关重要。不断增长的传感器分辨率要求硬件中的高效处理流水线8MPixSony IMX324传感器需要每秒处理大约1.5GB的RAW高动态范围数据现有的硬件ISP通常由专有的黑盒块组成，除了一组具有其操作范围的寄存器之外，几乎没有向用户公开的信息。ISP的行为可以通过一组用户可调整的超参数进行配置。超参数值不仅影响输出图像，还影响特定于域的应用程序。传统上，成像专家在小数据集上手动调整ISP的超参数，使用视觉检查和图像质量测量的组合[9]。由此产生的手工制作的超参数设置因此偏向于人类感知，并且不一定有利于分析更高级别的视觉任务[36，38]，见图。1.一、针对端到端损失优化硬件ISP是具有挑战性的，因为参数空间由数十到数百个分类和连续参数形成，这些参数可以通过中间ISP图像输出以复杂和非线性的方式影响下游任务。例如，单个二进制参数可以在完全不同的算法分支之间切换。由于超参数的组合空间很大，因此全网格搜索不是一种替代方法。最近的几项工作旨在通过解决ISP超参数优化问题来自动化这个过程。然而，为了解决这个具有挑战性的优化问题，他们依赖于硬件ISP的软件近似，以允许块坐标下降[30]，这需要ISP块内部的详细知识，或者端到端基于梯度的方法，这需要近似是可微的[35]。我们证明，这样的近似和一阶方法是容易局部极小的一些最近的硬件ISP。在这项工作中，我们离开优化软件approximations和证明，它是可以直接优化低级别的硬件ISP管道的端到端域特定的损失。所提出的硬件在环优化方法重新访问协方差矩阵自适应进化策略（CMA-ES）[16]。我们优化ISP7530(a) 使用默认ISP超参数进行检测（b）针对感知图像质量的专家调整的ISP超参数(c) Tseng等人使用ISP近似进行端到端ISP优化。[35]（d）硬件在环ISP端到端优化（本文）图1：使用[34]在真实世界的Sony IMX 249传感器上进行汽车物体检测，捕获使用ARM Mali- C71硬件ISP处理的图像所提出的硬件在环端到端检测丢失优化方法(d) 优于默认ISP超参数（a），ISP专家调整的感知图像质量（b），以及使用可微近似优化的ISP [35]（c）。超参数通过用具有基于最大秩的多目标标量化和初始搜索空间减少的新的CMA-ES变体来解决多目标黑箱优化问题所提出的方法找到一组最佳的折衷解决方案，即。帕累托前沿，在多个目标上。我们验证了所提出的优化方法的各种应用，包括二维物体检测，分割和人类观看。对于这些应用程序，我们证明了所提出的硬件在环的方法产生改进的端到端的损失相比，手动调整和现有的近似为基础的方法。具体而言，我们做出以下贡献：• 我们提出了一个端到端的超参数优化方法的相机ISP集成的硬件直接到优化循环。• 我们提出了一种新的CMA-ES策略，用于黑盒单目标和多目标ISP超参数优化，对参数量化具有鲁棒性边界效应。• 我们验证了端到端的摄像机ISP优化，用于2D对象检测、分割和人体观察。对于所有应用程序，我们的方法优于现有的最先进的方法，包括手动专家调整和通过一阶近似的优化限制在这项工作中，当考虑ISP处理的图像作为下游任务的场景理解时，我们假设该更高级别块的超参数和参数，例如，基于SIFT的[27]或学习检测器，已被微调为人工调谐的ISP输出，以供人类观看。尽管对下游应用程序模块遵循ISP优化可能会进一步提高端到端性能，在这项工作中，我们假设下游块是固定的。沿着整个视觉堆栈（包括图像理解模块，可能包括光学和传感器设计参数）联合优化超参数和算法参数的挑战性问题是未来研究的一个令人兴奋的领域，这项工作迈出了第一步。2. 相关工作图像处理流水线的优化最近，几种方法[28，30，31，38，35]已经探索了图像处理模块超参数的自动优化。请注意，ISP超参数优化不应与自适应捕获控制混淆[12，10，24，29，37]。自适应捕获控制算法（如自动曝光（AE））从RAW图像数据中提取统计信息，以修改捕获过程。我们保持摄像机控制算法和它们的超参数不变。Mittal等人[28]建议使用多尺度结构相似性指数（MS-SSIM）回归BM 3D降噪器的噪声标准偏差参数Pfister等人[31]建议优化稀疏正则化去噪。Nishimura等人[30]最近提出了一种使用Nelder-Mead的0阶白盒ISP优化方法;然而，他们的方法只能用于优化少量的超参数，每次优化一个ISP块，并且需要关于ISP内部的信息。白盒方法不适用于多个ISP模块的联合优化，白盒方法不能用于优化黑盒专有ISP。7531f：×图2：典型的硬件ISP架构（类似于汽车ARM Mali ISP）。ISP是使用图像重构块的序列将输入RAW测量I映射到输出彩色图像的函数。这些块根据超参数Θ处理图像。在这项工作中，我们优化了端到端目标的Θ，例如应用于ISP输出流的对象检测器的检测损失。视觉算法的超参数优化使得图像理解模块（诸如2D物体检测器）相对于照明和其他环境条件的变化是鲁棒的是一个具有挑战性的问题。贝叶斯优化方法已被用于优化数十个高成本损失函数的超参数。这些方法已用于优化计算机视觉模型的超参数[39，1]，建立在现有的超参数优化算法[2，42，3，26]上。进化策略[8，40]也被提出来优化快速计算机视觉算法。这些工作忽略了ISP在图像形成过程中的作用。ISP组件在视觉系统中的影响已在[6，35，38]中进行了研究。例如，Buckler等人[6]建议ISP在人类可视模式和计算机视觉模式之间切换，以产生仅适用于计算机视觉的感知质量较低的图像数据手动ISP超参数调整的图像下常设下游损失，例如交叉联合，是非常具有挑战性的。为了减轻这项艰巨的任务，一些相机和ISP制造商在设计过程的早期就构建了仿真设备[4]。不幸的是，这样的模拟环境往往有很大的差距[20]。所提出的硬件在环优化方法通过用实际硬件ISP处理RAW现场数据图像来弥合域间隙。最近Tseng等人使用可微近似的优化。[35]提出了一种黑盒ISP的自动优化方法，该方法基于学习可重构代理，该代理将整个ISP近似为RAW到输出图像传递函数。这是类似于所提出的方法，因为它允许优化的黑盒ISP。此外，作者还证明了他们的方法可以应用于各种下游任务，例如用于人类观看和图像理解的图像处理。与提议的硬件在环不同，3. 图像形成模型我们提出了一个代表数字相机图像形成过程的模型，从传感到后处理[5]：1. 光学器件和传感器：透镜或透镜组件（即，光学系统）将场景辐射聚焦到传感器上，传感器通过使用模数转换器将每个像素中测量的光电流转换为离散数来产生RAW像素值2. 白平衡：减去黑色电平偏移。检测缺陷像素并校正其像素值。执行镜头阴影校正然后，对所设计的渐晕像素值进行增益调整以匹配估计的或预设的白平衡。3. 去马赛克：RAW像素值通常使用具有拜耳马赛克图案的滤色器阵列传感器来三色（例如，RGB）像素值从镶嵌的RAW图像数据重建。4. 去噪：对像素值进行滤波以减少噪声，例如使用边缘保留滤波器或非局部补丁匹配。5. 锐化：使用反锐化掩蔽或反卷积增强图像细节。6. 颜色和色调校正：三色像素值根据估计的发光体重新映射。通过全局或局部直方图操作对图像进行色调映射以获得对比度，并使用伽马或S形曲线重新映射进行显示。7. 压缩：像素值被转换到特定的颜色空间（例如，sRGB）然后压缩（例如，JPEG）。为了简单起见，将整数值视为实数，我们对ISP进行建模，该ISP从大小为W×H的RAW滤色器阵列测量I重建三色彩色图像O，如下所示：然而，优化方法，Tsenget al. [35]依赖于近似模型（在硬件上训练），而不是RW×HRP[0，1] →RW×H×3，（I，Θ）→O.（一）硬件本身重建由P连续的值调制。光学传感器ISP我ISP输出下游输出白平衡德莫萨伊克去噪锐化色调颜色校正压缩对象检测7532连续超参数Θ，其值的范围归一化到单位区间R[0，1]。超参数通常是离散的，每个都有自己的操作范围，例如{0，1}用于算法分支切换，{0，. - 是的- 是的 ，210−1}的噪声阈值[35]。我们放松离散参数并将其映射为单位区间内的连续参数，仿射映射（详见补充材料）。4. 端到端损失函数现有的端到端评估度量包括例如用于对象检测的平均-平均-精度（mAP）和平均-平均-召回（mAR）、用于全景分割的全景质量（PQ）以及用于人类观看的PSNR和CIELAB PSNR C。我们直接使用这种度量的损失函数优化所提出的0阶方法。可以使用一个或多个度量来优化ISP，以用于特定的下游任务或潜在竞争任务的集合。为此，我们将ISP超参数优化作为具有最优解的多目标优化（MOO）[23]问题=argmin（L1（s（Θ）），. - 是的- 是的 ，LL（s（θ）（2）原Im ck优化器年龄阶段多目标损失组件ISP超参数Θ高级别工作硬件ISP已处理图像堆栈s（Θ）图3：用于多目标端到端ISP优化的拟议硬件在环方法的图示。例如，如果评估度量P的值在它们落在范围[a，b]内时被视为足够好，则对应的损失可以被定义为.Θ∈RP[0，1]哪里Θ∈RP[0，1]L（s（Θ））=0，如果P（s（Θ））∈[a，b]，否则1000000（|a−P（s（Θ））|、|P（s（Θ））−b|）的情况。（四）s（Θ）=（f（1，Θ），. - 是的- 是的 ，f（IS，Θ））（3）是由ISP使用相同的超参数值但S个不同的RAW图像输入从输入图像堆栈 I1，. . .，IS. 目标是等式1的向量L（Θ）。其中L个端到端损失向量分量L1（s（Θ））是在输出图像栈上测量的实值质量度量。每个端到端损耗分量L1（s（Θ））将分数分配给超参数设置通过评估ISP产生的图像的损失，由Θ调制。可能存在一个以上的最优解。首先，超参数设置Θ和输出图像栈s（Θ）之间的映射可以具有非平凡核，这意味着不同的超参数设置可以产生完全相同的输出图像，并且因此产生相同的损失。 这样的内核应该通过减少超参数搜索空间的自由度的数量来区分：理想情况下，s应该是一对一的，至少接近超参数设置，可以给出接近最优的结果。其次，MOO问题往往有多种解决方案。例如，第一最优解决方案可以提高但使L2的值比另一个同样最优的解决方案更差这表明了不同的权衡，冲突的损失函数。MOO问题的最优解集称为Paretofront[23]。我们将评估指标转换为损失，其中值0表示最佳（或足够好）的损失值。为所提出的方法便于对左距离进行不同于右距离的加权，以及使用除R11之外的其他距离度量。ISP超参数通常会影响输出图像以强耦合、非线性、甚至不连续的方式。因此，块坐标下降优化是不幸的，tunately容易局部极小值，因为我们在这项工作中证明。此外，许多重要的评估指标响应非线性或不连续的变化，在他们的IM，年龄输入结果，Ll（s（Θ））通常不能具有良好定义的梯度和崎岖的搜索景观，局部最优值、离群值、不连续性等，典型的[35]。此外，ISP内部往往是不透明的，要求进行黑盒优化。因此，常用的求解器不足以解决MOO问题（2），见补充材料。5. 硬件在环优化所提出的硬件在环ISP优化方法如图所示。3.第三章。目标函数评估开始于向ISP提供一组RAW图像，然后将其输出传递到下游任务模块。任务模块的输出由域特定评估度量评估，域特定评估度量被组合到总体向量损失L中。我们提出了一个非线性非凸黑箱优化器，使用CMA-ES [16]策略。虽然CMA-ES是一种0阶随机演化搜索方法，但由于它7533[0，1]（吨）（吨）（吨）JλLL[0，1][0，1][0，1][0，1]j[0，1]（L1（））。估计与逆算法1ISP超参数优化方法密切相关的协方差矩阵。Hessian [17，15].此功能允许CMA-ES处理不可分离的和条件恶劣的问题，包括（2）。具体地，我们使用具有代大小λ和总迭代次数Niter的 进 化 算 法1。动态加权最大秩损失单目标CMA-ES基于单个损失函数对每代试验进行排序。在执行MOO时，暴露于CMA-ES的损失函数是加权最大秩损失，这是加权切比雪夫标量的一种新的基于秩的变体。条件：Θ（0）∈RP，λ∈N<$，Niter∈N<$1：初始化CMA-ES，Θ←Θ（0），t←12：当停止标准不满足时，t≤Niterdo3： 对于j= 1至λdo4：Θj←从高斯随机抽取Θ5：将随机噪声添加到Θj6：将Θ（t）反射回RP7：s（Θ）←在I 1上运行ISP，. . .，IS化[11]。 其计算如下。 让审判成为一种....J（吨）Σ（吨）第八章：已知损耗的参数设置。 一是L1（s（Θj）），. - 是的-是的 ，LL（s（Θj））←损失计算每个试验相对于当前代和前代的试验中的每个相应损耗的等级。然后，在生成t内与Θ（t）相关联的加权最大秩损失为9： 结束10：Θ←更新CMA-ES，t←t+ 111：结束while12：返回ΘM（t）=maxw（t）·rank.jl ∈{1，.，L}lθ（t）L1（Θ（0）），...，Ll（Θ（t））j然后，对该试验的损耗分量进行分析，每次一个超参数之间的依赖（假设损失对于初始质心Θ（0）是已知的。在每代内固定的非线性权重w（t）用于调制损失函数L1的重要性。标量化是自适应的：在每一代结束时，根据最近的试验比例调整w（t）。已达到目标损失值0的代。落在R[0，1]搜索区间之外的随机绘制的超参数值为了防止ISP超参数卡在固定的离散值上，将高斯噪声添加到每个绘制的超参数值，其中选择标准偏差，使得没有比特变化的试验的比例近似于具有正质心（0）权重的试验的比例我们依靠跟踪蒙特卡罗模拟生成的统计数据来估计结果中的随机性偏差。影响下一代试验绘制的CMA-ES参数（如σ）详见补充资料。使用搜索空间缩减的热启动所提出的优化方法的另一个关键组成部分是使用基于（近似）拉丁超立方体采样和Kolgomorov-Smirnov独立性测试的新搜索空间缩减的热启动。搜索空间缩减的主要功能是重新映射RP以这种方式，积极影响损失值超参数范围在搜索超立方体RP内占据较大的体积 -是的搜索空间减少也为算法1提供了改进的Θ（0）。搜索空间缩减从RP采样开始-是的通过从高斯分布和均匀分布的混合中绘制，随机生成三坐标 超立方体因此，采样近似于拉丁语。统计每个参数和损失分量用Kolgomorov-Smirnov独立性检验的p值量化，其中观测值的数目被设置为小值。对于每个试验，计算受超参数影响的损失分量上的最大秩损失。然后，该超参数的目标区间被取为包含具有最佳对应最大秩的q%trial的超参数的所有值的最小区间这被重复多次，将每个超参数的采样限制到前一阶段在将结果传递给CMA-ES之前，我们为每个超参数构造一个三次样条，以便最终的间隔占据很大的百分比。R[0，1]。该样条用于重新映射超参数的值。这个可分的过程产生RP的一个双射映射自身。因为整个h超立方体仍然是可达的，所以所提出的CMA-ES变体可以从污染的统计分析中恢复。在搜索空间缩减之后，我们计算具有已知损失的所有试验的最大秩损失（在所有损失分量上），并且我们使用最小值作为算法1的初始超参数设置Θ（0）。帕累托前沿选择最后的Θ可能不是最好的。在算法1结束时，对所有已知损失的试验进行帕累托排序，最后遇到的一个被选为冠军。6. 评估在本节中，将使用三种ISP传感器组合来验证所建议的端到端硬件在环操作系统，7534[33]第十三届全国人大常委会第十三次会议审议通过了《中华人民共和国电信与信息服务业务经营许可证》。图4：图像理解评估：从左到右，使用[33]在COCO上进行 80类对象检测，使用[34]在KITTI上进行汽车对象检测，使用[18]在COCO上进行实例分割;从上到下，分别为默认ISP设置，ISP专家针对感知图像质量进行调整，以及特定任务优化的ISP。虽然任务特定优化的ISP没有实现与专家调整的ISP相同的感知质量，但是它们显著地改善了下游图像理解任务。各种下游任务的优化方法：• ARM Mali-C71 ISP和SONY IMX 249 CMOS传感器，具有28个ISP超参数，• OnSemi AP0202AT ISP和AR0231AT CMOS传感器，具有12个ISP超参数，表1：本评估中优化的下游应用程序和相应的端到端评估指标。任务端到端损失组件目标检测mAP和mAR [25]实例分割mAP [25]全景分割PQ [22]• 一种合成（模拟）ISP处理模拟RAW，感知图像质量5L[35]第三十五话在图1所示的处理块2，14个ISP hy-预参数详见补充材料。针对以下下游任务评估所提出的ISP优化方法的性能• 汽车2D物体检测使用[34]与Resnet101 [19]骨干。• 使用[33]的80类2D对象检测。• 实例分割使用[18]。• 全景分割，例如[18]分割和[7]语义分割。• 人类观看的感知图像质量。图像理解算法的训练和评估通常需要大量的带注释图像。注释的RAW数据被分成单独的优化和测试集。当使用现有数据集时，KITTI [13]，优化集取自训练数据集，我们保持测试集不变。我们发现，相对较小但具有代表性的优化数据集，大约S = 100个图像，对于ISP超参数优化是足够的。这并不奇怪，因为ISP的参数数量级比高级神经网络少。评估指标列于表1中：IoU 0.5的平均精度（mAP）[25]，每幅图像10次检测的平均召回率（mAR）[25]，全景质量（PQ）[22]，以及对于人类观看图像质量（IQ），ISP输出和参考值之间差异的101与[41]中引入的感知图像差异度量相结合的视觉图像，并表示为L_（？）PER C。6.1. 用于目标检测的ISP优化使用RAW数据进行图像理解任务的评估方法需要大量带注释的训练和测试数据。我们首先使用现有的大型sRGB数据集和合成ISP模拟RAW数据来为此，我们使用RAW数据模拟[21]处理sRGB图像，并使用合成ISP处理RAW图像，请参阅Supple- mental Material。我们针对两种不同的业务优化ISP-针 对 感 知 图像 质 量 优 化的ISP硬件在环端到端优化默认ISP超参数PERC7535表2：针对特定领域任务的合成ISP优化。任务：使用[33]和COCO [25]进行优化方法地图Mar默认参数0.150.13专家针对感知图像质量进行0.350.32建议用于对象检测丢失0.390.36[30]第三十话0.200.17任务：使用[34]和KITTI [13]进行优化方法地图Mar默认参数0.140.10专家针对感知图像质量进行0.610.57建议用于对象检测丢失0.750.71如图1所示的对象检测任务。4：使用[ 33 ]使用MSCOCO数据集[ 25 ]进行80类对象检测;使用[ 34 ]使用KITTI [ 13 ]数据集进行两类车辆检测。尽管专家调整的ISP超参数产生更少的噪声和感知更好的图像（见图4），但使用所提出的端到端优化方法，对象边界周围的对比度明显更高，这导致下游任务的性能更好表2示出了用于80类对象检测的mAP和mAR两者中的0.04的裕度，以及用于汽车对象检测的mAP和mAR两者中的0.14的裕度，从而验证了所提出的方法。接下来，我们将使用ARM Mali-C71 ISP验证所提出的硬件在环端到端优化方法。我们用SONY IMX249传感器拍摄了一组街景的RAW图像实验数据包含注释的白天和夜晚场景，适用于评估为自动2D目标检测设计的目标检测模型[34]（参见补充材料）。定量评价结果见表3。所提出的方法优于ISP专家调整的感知图像质量的利润率为0.30 mAP和0.25 mAR。使用所提出的硬件在环方法优化的ISP任务特定基于语义提升局部图像梯度，从而改善检测，即使图像受到更多噪声污染（图11）。1）。这一洞察促使我们在ISP专家领导的长达一个月的手动调整活动中手动提高本地梯度，以提高检测能力。由此产生的超参数实现了比其他方法更好的性能，但仍然没有达到所提出的优化方法，0.12 mAP和0.10 mAR。6.2. 图像分割的ISP优化接下来，我们演示了针对实例分割和全景分割任务的端到端ISP优化[22]。使用合成ISP和现有图像分割数据集进行评价。我们使用模拟的RAW COCO数据集优化合成ISP，表3：ARM Mali-C71 ISP针对汽车目标检测的优化[34]。优化方法地图Mar默认参数0.130.12专家针对感知图像质量进行0.140.13针对目标检测损失进行0.320.28Tseng等人[35]第三十五话失去0.260.23建议用于对象检测丢失0.440.38表4：使用默认ISP、针对感知图像质量调整的ISP专家以及使用所提出的方法优化的ISP生成的图像上的分割任务的评估。[18]第十七届中国国际纺织品展览会默认参数0.120.15专家针对感知图像质量进行0.260.28建议用于细分损失0.320.35最大化mAP使用[18]例如分割。图4显示了使用三个不同ISP超参数集的实例分割示例。例如分割，所提出的端到端优化实现了0.06 mAP的改善，与ISP专家调整的感知图像质量相比。我们执行一个单独的ISP优化，以最大限度地减少泛光分割的PQ损失。与专家调整的ISP相比，所提出的PQ损失优化在感知图像质量方面实现了0.07的改进（见表4）。6.3. 针对人眼视觉的ISP优化感知图像质量属性[32]，如清晰度、噪声、细节、色调再现、对比度，以及拉链和楼梯等伪影影响人类观看应用。就像Tsenget al.[35]，我们通过最小化ISP输出和参考图像之间的距离来优化ISP超参数，即[35]的基准电压源和ISP输出需要精确对准参考被增强，使得优化的ISP再现相应的感知图像质量属性：其利用S形曲线进行色调映射的距离使用感知损失LPERC=5LPERC+1计算，其中LPERC是感知度量的Ale xNet变量[41]，差异的1范数在归一化sRGB中测量。彩虹图的捕获是在两个增益，高和低，每个相应的LPERC被馈送到优化器（见补充材料）。表5示出了三个标准感知图像质量度量的值，测量的相机输出的彩虹图使用专家调整的ISP感知图像质量和ISP使用所提出的方法优化。图5显示光7536表5：Tseng等人针对感知图像质量对ARM Mali-C71和OnSemi AP 0202 AT ISP进行的专家调整和优化[35]提出的方法。ARM Mali-C71OnSemi AP0202ATExpert Tseng等人[35]建议 Expert Tseng等人[35]建议明智的优化比所提出的联合硬件在环优化方法。虽然逐块ISP优化[30]减轻了组合爆炸，但该实验表明ISP处理块不一定是独立的，并验证了所提出的所有超参数的同时优化。6.5. 使用ISP近似进行优化ARM Mali-C71采用专家手动调整超参数ARM Mali-C71使用ISP近似方法ARM Mali-C71使用硬件在环方法优化感知质量（建议）OnSemi AP0202AT配备专家手动调整的超参数OnSemi AP0202AT使用ISP近似方法优化OnSemi AP0202AT使用硬件在环方法优化感知质量（建议）我们还比较了所提出的方法的一阶ISP近似方法曾等人。[35 ]第35段。图5显示了使用ARM Mali-C71和On-Semi AP 0202 AT ISP处理的图像，这些ISP使用由专家针对感知图像质量调整的超参数，我们使用相同的端到端的损失所提出的方法和Tseng等人。(Ta-表1）。表5表明，所提出的方法优于Tseng等人。[35]在感知图像质量方面。接下来，我们将汽车2D目标检测任务的两种方法与[14]中的可微边界框回归和分类损失进行如表3所示，硬件在环的性能优于ISP近似，0.18 mAP和0.15 mAR。定性分析，Tseng et al. [35]通过找到一个提升局部梯度的超参数集来实现这一点（图10）。1）;所提出的方法找到一个超参数集，进一步增加它们。7. 结论我们提出了一个硬件在环的方法优化黑盒ISP。具体而言，我们将硬件ISP超参数调整公式化为多目标非线性优化问题，我们使用具有基于最大秩的标量化和初始搜索空间减少的CMA-ES策略来解决该问题我们验证了所提出的方法，端到端的摄像机ISP优化的2D对象的de-e-图5：ARM Mali-C71和OnSemiAP0202AT ISP提供感知图像质量。布斯用同样的超参数拍摄的照片实验结果表明，该优化方法可以获得细节更丰富、噪声更少、色彩更好的ISP超参数设置。6.4.最佳ISP优化接下来，我们比较了所提出的方法，西村等人的逐块ISP优化方法。[30 ]第30段。作者顺序地优化ISP的块，一次一组超参数，这个过程假设ISP块在功能上是独立的，可以单独用综合ISP法和80类目标检测法评价了目标优化。有关实验详细信息，请参见补充材料。表2显示，mAP和mAR评分显著低于阻断组。保护、分割和人工观察作为任务域。对于所有的应用程序，所提出的方法优于ex-abstract国家的最先进的方法，包括专家手动调整和一阶近似。所提出的方法优化ISP块的超参数不是孤立的，而是在整个图像处理堆栈内，硬件在环。未来研究的令人兴奋的方向包括端到端优化中的光学器件和传感器的设计参数，或搜索ISP算法和下游网络架构本身的设计空间，可能允许联合图像处理，传感器，光学器件和下游网络架构设计。8. 致谢作者感谢Amrit Krishnan、Dong-eun Seo、FedericoAriza、Karl St-Arnaud和Luis Garcia对实验进行了许多SSIM0.770.850.890.840.850.86PSNR16.5019.5321.5217.9717.6718.41CIELAB标准13.8110.549.9410.5810.409.887537引用[1] Re'miBardenet ， Ma'tya'sBrendel ， Bala'zsKe'gl 和MicheleSebag 。 协 作 超 参 数 调 整 。 在 InternationalConference on Machine Learning（ICML），第1993[2] James Bergstra，Daniel Yamins，and David Daniel Cox.做一个模型搜索的科学：视觉架构的数百个维度的超参数优化。2013年国际机器学习会议（ICML）。3[3] JamesS.是的，我是巴德内，我是工程师，还有巴尔·阿兹·凯格尔。H型参数优化算法。神经信息处理系统进展，第2546-2554页，2011年3[4] Henryk Blasinski ， Joyce Farrell ， Trisha Lian ， ZhenyiLiu，and Brian Wandell.优化自动驾驶的图像采集系统。电子成像，2018（5）：1-7，2018。3[5] Michael S.布朗了解计算机视觉的相机内图像处理流水线。IEEE计算机视觉国际会议（ICCV）-2019年。3[6] 马克·巴克勒苏伦·贾亚苏里亚和阿德里安·桑普森重新配置计算机视觉的成像管道。在IEEE国际计算机视觉会议（ICCV），第975-984页，2017年。3[7] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille. Deeplab：使用深度卷积网络、无纹理卷积和全连接CRF进行语义图像 分割 。IEEE Transactions on Pattern Analysis andMachine Intelligence，40（4）：834-848，2017。六、七[8] 欧内斯特·CH. Cheung，Jiali Wong，Joceyln Chan，andJia Pan.基于优化的立体视觉参数自动调整。在IEEE自动化科学与工程国际会议中，第855-861页3[9] IEEE相机手机图像质量标准。 IEEE Std 1858-2016（修订IEEE Std 1858-2016/Cor 1- 2017），第1-146页，2017年5月。1[10] Jingming Dong，Iuri Frosio，and Jan Kautz.学习图像处理的自适应参数调整电子成像，2018（13）：1-8，2018。2[11] Michael T. Emmerich 和 Andre 'H. 道 依 茨 A tutorial onmultiobjective optimization: Fundamentals and evolutionarymethods. 17（3）：585-609，Sept. 2018. 5[12] 爱德华多·S. L. Gastal和Manuel M.奥利维拉用于实时高维滤波的自适应流形。ACM Transactions on Graphics（SIGGRAPH），31（4）：33，2012。2[13] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？KITTI视觉基准套件。在IEEE计算机视觉和模式识别会议（CVPR）中，第3354-3361页，2012年。六、七[14] Ross Girshick，Jeff Donahue，Trevor Darrell和JitendraMalik。丰富的特征层次结构，用于精确的对象检测和语 义 分 割 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR）中，第580- 587页，2014年。8[15] 尼古拉斯·汉森。在BBOB-2009功能测试平台上对BI群体CMA-ES进行基准测试。GECCO遗传和进化计算会议的研讨会论文集，第2389-2395页，2009年7月。5[16] 尼古拉斯·汉森和安德烈亚斯·奥斯特迈尔。在进化策略中适应任意正态突变分布：协方差矩阵自适应。IEEE国际进化计算会议，第312-317页，1996年。1、4[17] 尼古拉斯·汉森和安德烈亚斯·奥斯特迈尔。进化策略中的完全去随机化自适应。演化计算，9（2）：159-195，2001. 5[18] KaimingHe ， GeorgiaGkioxari ， PiotrDolla'r ，andRossGir-shick.面罩R-CNN。在IEEE计算机视觉国际会议（CVPR），第2961-2969页，2017年。六、七[19] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议（CVPR）中，第770-778页，2016年。6[20] Judy Hoffman 、 Eric Tzeng 、 Taesung Park 、 Jun-YanZhu 、 Phillip Isola 、 Kate Saenko 、 Alexei A Efros 和Trevor Darrell。Cycada：周期一致的对抗性结构域适应。arXiv预印本arXiv：1711.03213，2017。3[21] SeonJooKim，HaiTingLin，ZhengLu，SabineSuésstrunk ，Stephen Lin，and Michael S Brown.一种新的彩色计算机视觉摄像机内成像模型及其应用。IEEE Transactions on Pattern Analysis and MachineInteligence，34（12）：2289-2302，2012. 6[22] Alexander Kirillov 、 Kaiming He 、 Ross Girshick 、Carsten Rothe r和PiotrDoll a'r。 全视节段在IEEE计算机视觉和模式识别会议（CVPR），第9404-9413页六、七[23] Marco Laumanns ， Lothar Thiele ， Kalyanmoy Deb 和Eckart Zitzler。结合收敛性和多样性的进化多目标优化。Evolutionary Computation，10（3）：263-282，2002. 4[24] Anat Levin，Boaz Nadler，Fredo Durand，and William TFreeman. 斑块复杂性、有限像素相关性和最优去噪。在欧洲计算机视觉会议（ECCV），第73-86页，2012年。2[25] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。Microsoft COCO：上下文中的公用对象。欧洲计算机视觉会议（ECCV），第740-755页，2014年。六、七[26] 伊利亚·罗希洛夫和弗兰克·哈特。CMA-ES用于深度神经 网 络 的 超 参 数 优 化 。 arXiv 预 印 本 arXiv ：1604.07269，2016。3[27] David G.洛基于局部尺度不变特征的目标识别。在IEEEInternational Conference on Computer Vision（ICCV），第2卷，第11502[28] Anish Mittal、Anush K Moorthy和Alan C Bovik。基于感知质量特征的图像去噪算法参数自动预测.在HumanVision and Electronic Imaging XVII ， 第 8291 卷 ， 第82910G页，2012中。2[29] Shree K. Nayar和Vlad Branzoi。自适应动态范围成像：空间上像素曝光的光学控制，7538时 间 IEEEInternational Conference on Computer Vision（ICCV），第1168页，2003年。2[30] Jun Nishimura ， Timo Gerasimow ， Rao Sushma ，Aleksandar Sutic，Chyuan-Tyng Wu，and Gilad Michael.使用 非线 性优化 的自 动在 IEEE图像 处理 国际会 议（ICIP），第2471-2475页一、二、七、八[31] Luke Pfister和Yoram Bresler学习滤波器组稀疏化变换。IEEE Transactions on Signal Processing，67（2）：504-519，2018。2[32] 乔纳森湾菲利普斯和亨利克·埃利亚松。相机图像质量基准测试。Wiley Publishing，第1版，2018年。7[3
