RGB-多光谱匹配：数据集和学习方法评价

15958RGB—Multispectral Matching：数据集，学习方法 评价法比奥托 希∗PierluigiZAMA Ramirez ∗饰 Poggi∗塞缪尔跳 落stefano殉道 者Luigi Di StefanoCVLAB ， 计算机 科学 与 工程 系University of Bologna （ 波隆 那 大学 ）Italy{fabio.tosi5 ， Pierluigi . Zama ， 意大利m.poggi}@unibo.it(a)RGB （ 3222 ）× 1605 × 3 ）(b)MS （ 510 ）× 254 × 1 . 地面 构造 （ Ground-truth ） 3222 ×（ 1605 年 ） (d)预测（ 3222 ）×（ 1605 ）Figure 1. (a)RGB图像和（b）低分辨率多光谱图像accired under varying lighting conditions。Visualization as a cube with on top thefirst band and on sides two stretched spectral slices of the bottom row and far—right column after the application of a color—map可视化作为一个立方体，并在颜色地图的应用程序之后。 （ C ）关于 Ground-Truth不 平等利比亚同The RGB image 图像And itspoint-cloud 的visualization 视觉 化while 的（ d ）预言by our our architecture 。abstractWe address the problem of registering synchronizedcolor 同步 化 色彩 的 问题（ RGB ）And多重 视角（MS ） 图 像 featuring very different resolution bysolving stereo matching correspon-dences . 不同 的 解决立体 声 矩阵 的 解析 。Purposely ， we 介绍 一 个 小说 RGB-MS 数据 集 帧13 Different场景以INOR 内部环境 And Pro - Viding 的 A 总 计 of 34 image 图 像 和 平Annotated 的同半 密集 ， 高 分辨率 的 土地 结构 标签 ， 以 其 形式 的 独立 性 地图 。To Tackle theTask ， we 开发 了 一 个 深度 学习 架构trained以A自我 监管manner by利用 不足 的 特性 ： 利用 furtherRGB 摄像 头 ， 只 需要 进行 训练 数据 采集 。在 这个 设置 中 ， 我们 可以 方便 地 学习 跨 模式matching的以The阿巴斯of关于 Ground-Truth labels by Distilling分 裂 知 识 Knowledge From 年 easier RGB-RGB 基 于matching task on a collection of about 11 k unlabeledimage triplets . （ 按 任务 进行 匹配 ）（ 1.16 pixelsaverage registration error ）为Future 未来Research 研究on这个novel ，挑战任务 。1. Introduction介绍传 统 的 RGB 传 感 器 acquire images with threechannels ， approximately mimicking color perception intrichromatic （ 三 色 通道 ） 色彩 感知Mammals像人类 ，何处三 个Kindle of∗联合 第 一授权 。15959cells are sensitive to three different ranges of wave——lengths in the visible spectrum（可见光中的三个不同等级）这 通常 是 通过using 使用Bandpass 乐队光学过滤 器对应to寿司col - ors ， arranged in a Bayerpattern （ 英语 ： arranged in a Bayer pattern ）6].多光谱 成像 （ MS ）devices将军 们寿司image 图像收购mechan - ics and enable acquisition of images with alarger number of channels ， i . e . ten or more ， 通常对应 于 nar - rower wavelength ranges . mechan - icsand enable acquisition of images with a larger numberof channels ， i . e . ten or more ， 通常 对应 于 nar -rower wavelength ranges 。 MS sensors may also besense - tive to wavelengths outside the visible spectrum（ 看 不见 的 光谱 ）e.g.inThe infra-red or ultra-violetbands 是什 么意 思 By extending the range ofwavelengthsaswellasthegranarityoftheirquantitiza—tion into image channels ， MS devicesenable extraction of additional information about thesensed scene about that human eyes fail to culture.在那些扭曲的场景中捕捉图像通道的粒子性。对于instance ， MS 成像 设备 正在 用于 艺术 机器 的 改进 分析 [15（ 重 定向 自 农业 经济 学 ） [81土地 使用 权 （ Land Use ） 79 目 标 追 踪 器 （ TargetTracking ）21（ Pedestrian ）探测[31]，counterfeit探测 、e.g. of已知 ， 则 （3临床 医学 及 皮肤 检查（39食品 安全 检查 （54污染 物 检测 （20].在Spiteof寿司ROAD Range of应用 程序 ，部署of MS传 感 器 is 通 常 情 况 下 limited to INDUSTRIELsettings or预期 设备像卫星 。 However ，The ability的to run 运行在 手机 和 其他 设备 上 的 应用 程序的 严重 性终端 用户 直接 运行 的 消费 品 可能 会在 风格 上 进行 跨 场景 切换 ， 比如 ， 等等 。早期 皮 肤 病 诊 断 学 （ Early diagnosis of skindiseases ）35食品 质量 管理 体系 （4]，mak -15960×INGplant phenotyping 的easier [69]，And others yet to想象 。While the number of traditional cameras on high-endphones （ 当 传统 相机 上 使用 高端 手机 时 ）HAVE饰 Been成长steadily以最近Years ，MS（ 请 注意 ：sen - sors have not been ported yet on consumer deviceslike phones or action cameras due to several limitations ）22].在 粒子 中 ， MS 传感 器 决议 是 显 着 的小 than标 准 RGB 照 相机 which 什 么 feature 功 能 Severalmegapix - els 的 of 决 议， 因 为 The 摩 西 suitabletechnology 技术to re/爱丽丝them EXTends The Bayer 的Pattern 模式used为Color 颜色多 光谱 过滤 器 阵列（ Multi-spectral filter arrays ）41英文 名称 ： Witheach native pixel of The Imagination 图 像 传 感器Detecting one 一乐队by placing 地点以Front of 之前itThe对应光学filter ，i . e 。 one 一MS《 Pixel 》for acamera sensing 16 bands uses a 4 grid of native pix - els .用于 区分 相机 传感 器 16 bands uses a 4 grid of nativepix - els . 使用 4 格 网 。Thus，MS sensors tend also tobe larger and bulkier than RGB cameras ； and they areorders of millitude more expensive，Thus，MS传感器往往是比RGB相机更大和更大的；而他们是指数级以上的订单，i. e.《货币贬值史》（MS cameras cost at leasttens of thousands of dollars/euros）1 . 存在 线性 相机（ MS cameras ）62或 MS照相 机realized 的同filterwheel 轮子technology 技术[8] which 可能feature 功能high 高Resolution 决议但是can sense only static场景 和不 适合 移动 部署devices 。As a result of these technological limitations ， MScam - eras compatible with cost and size requirements ofmobile devices . 作为 这些 技术 限制 的 结果 ， MScam - eras 与 移动 设备 的 成本 和 尺寸 兼容feature 功能very小决议 ，不足为The ap-plications listed above 的问题Moreover，执行对可用解决方案的MS图像的放大采样，它通常很重要，以调整具有RGB流的MS信息来自之间—ditional cameras on the device，where objectsor areas of interest可以通过有效的算法识别。Due to thechallenges of matching images across spectra ，themostly explored setup to acquire MS images and RGBimages 两 种 类型 的 图像 之间 的 差异同时has饰 Beento physically 物理ALGN their T-Tical 的Centers by using使用Beam Splitters 公司[11，31]，which 什么are how -ever unfeasible to deploy in mobile devices ， whereinstead the dense registration between the pair imagesmust be computed by computer vision （ 如何 在 移动 设备 上 部署 图像 ， 在 该 图像 之间 必须 由 计算机 视觉 系统 执行 ）Algorithms 算法Although establishing dense image correspondences isone of the fundamental and most studied problems incom—puter vision ， solthat address the cross—spectralim—ages and/or unbalanced resolutions are arrare. （ 拉 丁语：非常重要，几乎没有什么真正的解决方案）Theyonly investigated case is the special incarnation of the prob.（他们只是调查案件，案件是在哪里RGB图像是匹配到一个近红外线。 Red （ NIR ） or Infra-Red （ IR ） Oneat the Same Resolution （ 粉红 色 ）14，36，37，59，78].我们 的 最 佳 知识 （ The Best of Our Knowledge ，Thegen-eral MS-RGB case ， both balanced 和 unbalancedin （ 英语 ： both balanced ）resolution terms ， is yetunexplored in literature . （ 分辨率 的 术语 ， 你 在 文字中 unexplored 。搜索 这个 主题 几乎 已经 完全 被 公众可用 的 数据 集 的 黑客 所 掌握 ： 存在 方法 拦截 了 近红外/红外 - RGB 案例 已经 对 数据 集 进行 了 测试 ， 以cus 实现 - TOM 硬件 setups 特定 的 使用 案例 ， 如 au -tonomous driving or object detection ， 并且 永远 不会 实现pub - licly available （ 可 使用 ）14，78] 或 正在 测试小 数据 集 与 稀疏 数据 集 ： e . g . 使用 的 数据 集[36，37] ， 并 提出以[59] has 7 image 图像和平何处50-100 Object 项目Cor -15961···××·如果 你 有 一 个 用户 手册 ， 你 可以 参考 Pair onAverage Pair Have Been Manually 。 i.e. less 700ground-truth 的 使用的 回应 。在这项工作中，我们提出了第一个大规模和出版可用的数据集用于研究RGB—MS注册。在粒子，我们认为注册问题是一个Stereo Matching系列One dueto the two cameras being synchronized（两者合为一体）Our dataset features more than 11 K Stereo pairscomposed of a low-res 510 254 MS image and a high-res 3222 1605 RGB image which can be used tocompute a high-res MS image 3222 1605 RGB imagewhich can be used to compute a high-res MS image32222 1605 RGB image which can be used tocomputing a high-res MS image 可以 使用 到 计算 高分辨率 的 图像Registered AT pixel 级别同The RGB图像 . Exam - ples of pairs are shown in Fig. 考试 中的 国家1 A-B 。我们 数据 集 的 另 一 个 关键 特征是 ， 34 位 立体 声 工人 来自 13 个 dif - ferentscenes are densely annotated 。1（ C ） Thanks to anoriginal acquition methodology whereby a second RGBimage and several projectors are used to create a veryac-cure active space-time stereo setup . （ 第 二 个RGB 图像 和 严肃 的 项目 正在 使用 创建 一 个 非常 的 交流 - - 活跃 的 空间 立体 声 设置 ）16在 任何 情况 下 ， 我们 都 能 找到 更多 的 相关 数据 ，如 超过 1.25 亿 的 实际 数据 。We also 提出 了 一个 深度 学习 架构 ， 以 应对 交叉 透视 和 非 平衡的 挑 战 prob - lem ， that can be used to computeregistered MS images prob - lem ， that can be used tocompute registered MS images （ prob - lem ， 可 使用 到 已 注 册 的 计 算 机 图 像 ）at arbitaryresolutions and serves as a baseline for the dataset ，whose results are shown in Fig. （at arbitraryresolutions and serves as a baseline for the dataset ） 在这里 ， 数据 集 的 结果 是 什么 。1 D . When train -ing the network ，we leverage the large body ofunlabelled images in our dataset by sourcing 当 火车 -网络 运行 时 ， 我们 将 大量 未 分类 的 图像 注入我 们 的 数 据 集 proxy 代 理 标 签 ： Which AreObtained by剥削Again The次 D RGB房to Run StereoMatching 被动 矩阵Our dataset enables the commu -nity to study the challenging problem of cross-spectraland resolution-unbalanced matching of images ，whichis keyto enable porting of existingMSapplications in the . 我们 的 数据 集 依赖 于 commu -nity to study the challenging problem of cross-spectral和 resolution-unbalanced matching of images ， 而 这是 关键 的 存在 的 MS 应用 程序 移植 。消费 者 空间 是 解锁 新 应用 的 一 个 很 好 的 方式手机 影像设定 Specific to the Mobile device setup我们 的 合约are ：我 们 首 先 研 究 了 交 叉 光 谱 和 resolution-unbalanced dense 匹配 的 挑战 性 问题 ，which 什么isA KEY enablingtechnology技 术 to UnlockMSApplications on Mobile 移动 应用devices ;We present the first large scale publicly availabledata set for the 美国问题 ;thankstoaspeciaracquisitionmethodologyagguaggiation-ingtworegisteredhigh-resRGBcameras ，we also make available the first denselylabelled set of images for this problem （ 这个 问题 的 第一 个 致密 标签 设置 ）And we投标 书A训练方法 论which 什么可以 使用 Proxy 发送 无 标签 图像监督 ;我们 向 深度 建筑 师 提出 计算 未来 的 建议 -Dencesbetween图像AT Different Resolutions 的And同dif- ferent spectral content ， which can be used to generateMS images registered at pixel-level with the RGB （ 使用RGB 像素 级 内容 ）Stream 。项 目页 面可 用 https ： /cvlab-unibo.github.io/rgb-ms-web/.2. Related 相关Work 工作深立体声。First attempts to learn in stereo match - 以设计 为 中心 的 机器 人 匹配 功能 between imagepatches使用 Shallow CNNs 实现15962[13，45，75].（ 以下 简称 “ 已 建立 的 管道 ” ）56（ Other sub-tasks were cast in the form of a neural network ， such as optimization . ） （ 另 一 个 子 任务 将转换 为 一 种 神经 网络 工作 的 形式 。57，58）（ 这 ） （ 个 ） （ 人 ） （ 的 ） （ 话 ） （ ， ）（ 我 ） （ 不 ） （ 知 ） （ 道 ） （ 。1，5，19，23，33].However：TheDevelopmentofEnd/However ： The Development of End/最终 建筑46（ 重 定 向 自 REAL TURNING POINT IN THE ）field ，同more And more works聚焦知识on the 的设计Design of新architectures饰 Rather than on classical 经典我 - Rithms according 的to [53]，two main FAMILIESof Deep 深Stereo Networks Exist 2D 立体 声 网络32，42，44，46，49，61，72]And3D architectures [9，12，17，34，60，71，76，77].Self/Proxy—Supervised立体声在 平行 传播 In thespread ofEnd-to - End 结束stereo ，some第 一 名战略Were开发 商 Developed到 train寿司Model without 没有关于 Ground-Truth labels 实验 室[63，80]. （ 以下 简称Sev - eral works followed ，exploiting imagereprojectionacrossthetwoviewsasaformofsupervision ） 40 ， 65 ， 70 [ 编 辑 ] Algo ： TheGuidance Given by Traditional Stereo Algo （ 中文 字幕 ）2，52，63，64 ◎ 片 名 Was Used to Distill proxy代理标签 ： pervise the stereo网络 .Cross-Spectral 的 照片Matching 的. Finding相关 问答 be - tween images sensing different parts of thewavelength spectrum represents an additional challenge（ 将 两 个 图像 区分 为 不同 的 部分 ）本 任务 在 不同 的 设置 中 进行 了 调查 ， 在 大多 数 情况 下 ， 通过 RGB-IR 匹配 。14，47 [ 美 股 百科 ] RBD [50] 和RGB -nir ）36，37，59，78 [ 编辑 ] Modalities ， as wellbetween stereo images with very different radiometricvariations （ 英语 ： modalities ， as well between stereoimages with very different radiometric variations ）28，29].传统 上 ， 大多 数 人 在 设计 时 已经 同意Functions [14，27，28，59] or Description [29，36，50]. moreModern 现代approaches 的部署Deep Learning深度 学习to learn到 Deep相关Function [37]开始From Aself-similarity measure while zhi （ 自我 相似 性 度量 ）等 AL. [78] Designed an end-to - end net - work trained insemi-supervised manner on RGB-NIR ， by explicitlyleveraging knowledge about materials after . 设计 一 个端 到 端 的 净 工作 训练 ， 在 RGB-NIR 上 的 半 监督管理 者 ， 通过 explicitly leveraging knowledge aboutmaterials after 英文 名 ： Man - ual Annotation of theTraining Set 。Only a few recent works （ 仅 限 最近 的 作品 ）10，18，73远程 感应 焦点 （ Remote Sensing Focus ）on Affine转化to Tackle The RGB-MS Regius-tration 的任务 。 However ，以contrast to our our方法 ，They DO notexplicitly reason on searching dense correspondences be -tween the two input signals . 两 个 输入 信号 都 没有 。出版 论文 （ Among Published Papers ） [ 编辑 ] 78 is themost relevant to ours ， as it proposes an end-to - end modeltrained without ground-truth ， although in the RGB - NIRsetup . （ 这 是 一 个 没有 发展 趋势 的 端 到 端 模型 ，在 RGB - 近 红外 设置 中 几乎 是 如此 。（ 重 定向 自Conversely to ）78《 我们 的 故事 》 Our Novel proxy 代理supervised training paradigm does not require any manualnotation ， 方便 地 部署 额外 的 RGB 摄像 机 duringtraining data acquisition 。首页 > 外 文书 > 文学 > 通俗 小说 > Moreover ， We Propounded a Novel Dataset 同 半dense关于 Ground-Truth不 平等Maps ，count - ing a totalof more than 125 m annotated pixels ， whereas in [ 编辑 ]78（ were limited to a few ， sparse pixels ）i . e. 5 K 。3. RGB-MSDataset 数据在本节中，我们目前我们的小说RGB—MS数据集。We start by describing the acquisition setup and then we diginto the procedure to notate the RGB-MS pairs with semi-dense ground-truth 我们 开始 描述 收购 的 设置 ， 而 这就是 我们 去 记录 RGB-MS 对 半 密集 型 农村 地区 的需求labels 。159633.1. 房SetupOur acquisition setup consists of two synchronizedXimea cameras ： an RGB camera equipped with aSony IMX 253 LQR-C 12.4 Mpx sensor and an MScamera 我们 的 收购 设置 包含 了 两 个 同步 Ximea相机 ： 一 个 RGB 相机 配备 了 Sony IMX 253LQR-C 12.4 Mpx 传感 器 和 一 个 MS 相机based on基础 上A IM - SM 4X 4 - VIS 2 2.2 MPX传感 器同10乐队 Both cameras are mounted on a common supportwith a （ 暂 译 ： 我 的 相机 在 某 个 地方 ）4cmbetween their optical 之间 的 距离centers 。The two cameras are caliliated ， so as to form astereo system where the RGB device（left）is used asthe refer—ence camera. 这 两 个 摄 像 机 是 经 过 校 准的，所以就像一个立体声系统。这 是 由 OpenCV相机 校准 工具 所 完成 的 。7 （ After Havingacquired a set of im - ages with both cameras framing aplanar ） （ 《 在 我 的 世界 里 ， 我 的 孩子 们 》（ After Having acquired a set of im - ages with bothcameras framing a planar ） Chessboard 。 Then ，corner detection is performed on both images afterconver—sion to grayscale.（当被带到加沙时，角落检测正在演出。As for the MS camera，we found itsuffi—cient to average the 10 bands pixel—wise inorder to obtain a pseudo—grayscale image in whichcorners are easily de—tectable. As for the MS相机，我们发现它suffi—cient to average the 10 bands pixel—wise in order to obtain a pseudo—grayscale image inwhich corners are easily de—tectable.（字面上的像素像素 图像） 。Thus ，we estimate intrinsic and lensdistortion pa—rameters for both cameras and then ，after undistortion，cal—ibrate the RGB—MS立体声摄像机系统，并estimate transformations to rectify theRGB and MS frames. Thus，we estimate intrinsic andlens distortion pa—rameters for both cameras andthen ， after undistortion ， cal—ibrate the RGBGB—MS立体声摄像机系统，并强化了RGB和MS框架的转换。given the 的戏剧Difference 的between The two图像以terms根据 决议 ， 我们 无法 重新 启动 标准程序 ， 以便 例如 - 时间 重新 认证 参数 ， 直到 它最终 导致 重新 识别 图像 重新 定向 到 两 个 之间的 解 决 方 案 。 Thus ， we define the concept ofunbalance rectification in which （ Thus ， 我们 将define 不 平衡 重建 的 概念 ）we咨询two图像asunbalance 不 平衡rectified如果 ，af-ter resizing themto same resolution ， they are rectified . （ 必须 重新解决 问题 ， 否则 会 遭到 谴责 。 广告 - 补充 剂 中的 重要 细节物质 |3.2. Annotation管道我们现在介绍我们的注释管道，在改进我们的RGB—MS数据集时使用半密集型增长趋势不对称地图 。A variety of active depth sensors would fit thispurpose ， although ， on the one hand ， 显著 地 限制了resolution at which our ground-truth could becollected ， on the other introducing the need to carry outa registration between the RGB camera and the active 的解析 ， 在 其他 人 介绍 需要 带 出 一 个 记录 之间浏览 器 itself ， a non-trial task ITSELF 。To overcome these issues ， we leverage a space-timestereo （ 我们 将 超越 这些 问题 ， 我们 将 利用 一 个时空 立体 声 管 缐 ）16 Add a Second RGB Sensor toOur Camera （ 添加 一 个 第 二 RGB 传感 器 到 我们的 相机 ）Setp . 特别 地 ，we mount这个Additionaldevice on the right of the MS sensor ， i.e. with a baselineof about 8 cm （ MS 传感 器 的 权利 ， i.e. with abaseline of 约 8 厘米 ）同尊重to The other RGB房 ，thus Implement-ing 的A 12.2 MPX RGB stereo 的Setp .this configuration allows to fully exploit the high-resolution of the RGB cameras to provide much mo