多高度图像的星载合成孔径雷达（SAR）与地面图像的配准方法

阵列12（2021）100102中间多高度图像Hisatoshi Toriyaa，b，*，Narihiro Owadaa，Mahdi Saadat a，Fumiaki Inagaki a，Ashraf Dewan c，川村佑平d、北原板 ba日本秋田大学国际资源科学系b日本筑波大学计算科学中心c澳大利亚科廷大学地球与行星科学学院d日本北海道大学工学院A R T I C L EI N FO保留字：图像配准关键点匹配合成孔径雷达遥感A B S T R A C T星载合成孔径雷达（SAR，Synthetic Aperture Radar）图像与地面获取的图像配准时，从地面拍摄图像中提取地形、植被、水面等丰富的信息。同时，地面摄影图像所获得的高时间分辨率和高空间分辨率信息可以叠加到卫星图像上。然而，由于成像模式、空间分辨率和观察角度的差异，直接提取它们之间的对应点并不容易。本文提出了一种图像配准方法，通过一组不同高度拍摄的多高度图像来估计SAR图像与地面拍摄图像之间的对应关系。1. 介绍安装在卫星或飞机上的SAR（合成孔径雷达）是一种成像雷达，它利用微波对地球表面进行成像。可以从相位和偏振信息中获得地形信息，例如植被和浸没水[1]。此外，如果SAR图像和地面拍摄图像（例如移动相机、车载相机和监视相机）被共同配准（即，获得两个图像之间的投影变换）。然而，由于SAR卫星图像与地面拍摄图像在成像方式、空间分辨率、观测角度等方面的差异，很难直接估计两者之间的几何对应关系。目前还没有解决这一问题的报告。本文提出了一种图像配准方法，通过一组在不同高度拍摄的多高度图像（图1），找到星载SAR图像和地面拍摄图像之间的对应关系。实现了一种SAR卫星图像与地面采集图像之间的图像配准方法。它是一种新的方法，它允许我们集成从卫星图像和详细信息，如重建的3D场景从地面拍摄图像的对象的大规模事件识别。在所提出的方法中，我们将成像类型分为四类：“SAR”，“光学”，“低空”和“地面”。” 该方法将二者结合起来，实现了SAR图像与地面拍摄图像的有效配准。表1示出了上述成像类型的特性和使得难以检测对应点的因素。表1中的双向箭头对应于以下三个问题。我们试图在这项工作中通过检测以下之间的对应点来解决这些问题：I. SAR和光学图像：检测针对由于成像传感器的观测波长的差异而引起的成像模式的变化（模式差异）而具有外观差异的图像，我们使用SAR图像作为输入，并生成模拟光学图像外观的图像（生成的光学图像），以实现对应点* 通讯作者。 日本秋田大学国际资源科学系电子邮件地址：toriya@gipc.akita-u.ac.jp（H.Toriya）。https://doi.org/10.1016/j.array.2021.100102接收日期：2021年7月21日;接收日期：2021年9月13日;接受日期：2021年2021年10月15日网上发售2590-0056/© 2021作者。爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表阵列期刊首页：www.sciencedirect.com/journal/arrayH. Toriya等人阵列12（2021）1001022Fig. 1. 提出了SAR图像、光学图像、低空图像和地面拍摄图像之间的对应关系估计方法。通过检测多高度图像之间的对应点，实现了SAR卫星图像与地面拍摄图像的叠加，如下图所表1图像类型的特征双向箭头表示图像高度的差异通过对齐图像模态进行检测。II. 光学和低空图像：为了检测由于成像高度的差异而导致空间分辨率差异较大的图像之间的对应点，使用图像超分辨率对光学图像进行放大，并对低空图像进行缩小以对齐其空间分辨率。III. 低空和地面拍摄图像：为了检测由于成像方向不同而引起的投影失真的图像之间的对应点，根据摄像机的内部参数和成像时加速度计的值，通过校正地表区域的投影失真，生成从顶视点向下看的虚拟俯视图像。以这种方式，实现了两个图像之间的对应点搜索。2. 相关工作2.1. SAR图像与光学图像的一致性估计遥感图像之间的图像配准通常通过使用DEM（数字高程模型）和正射校正来执行[2，3]。然而，DEM的空间分辨率可能不足以精确配准具有高空间分辨率的SAR和光学图像此外，如果我们假设我们将评估由于灾害发生后立即出现的情况，一个地区的地形可能在灾害发生后发生重大变化。因此，DEM可能变得不适合使用。因此，需要一种不依赖于DEM的基于图像特征的配准方法。然而，微波的波长比可见光的波长长.由于它们的反射和散射特性的差异，即使它们代表相同的区域，SAR和光学图像的外观也有很大差异。因此，很难在两个图像中获得共同特征。需要从具有不同波长的两幅图像中检测共同特征以执行基于图像的配准（而不是基于DEM的配准）。已经提出了使用模板匹配的方法，包括NCC（归一化互相关）和互信息（MI）[4，5]。这些方法需要相对宽范围的图像特征。小的模板尺寸降低了模板匹配的准确性，而大的模板尺寸降低了对部分差异的鲁棒性（例如， 例如，在一个实施例中，灾前和灾后）和闭塞。因此，有必要使用局部图像特征的情况下，地形变化的部分，如灾前和灾后的注册。局部图像特征用于实现基于图像的几何配准[6特别地，与基于模板的匹配方法不同，基于关键点的方法具有使用局部对应性来估计两个图像之间的总对应性的优点。优点是即使观察区域的一部分发生变化，H. Toriya等人阵列12（2021）1001023[.）的情况下]⃦⃦由于使用了局部图像特征，因此可以从其它部分位置获得对应性。在SAR图像配准过程中，图像的重叠和透视缩短等几何失真是核心问题[1]。由于校正中途停留是复杂的，因此检测没有发生几何失真的区域（诸如地面、海岸线等）的方法是可行的。并且在该区域内找到对应点是一种解决方案。透视缩短也很难校正;对于小的透视缩短，可以通过使用对视点变化失真具有鲁棒性的算法来找到对应点。在这种情况下，图像配准应该用非线性投影来执行。对于低分辨率图像，几何失真在许多情况下可以忽略不计2.2. 光学图像与低空图像对应关系的估计在涉及低空无人机图像和光学图像的常规图像配准方法中，已经提出了通过应用运动恢复结构（SfM）[9]来生成3D模型的方法[10，11]。然而，这些方法需要许多无人机图像。很难将它们应用于单个无人机图像。将它们应用于少量图像存在问题，例如3D模型的生成误差和卫星定位误差的影响。为了在使用SIFT关键点[12]和使用NCC [13]的方法进行初始配准之后通过使用互信息的迭代处理来减少回归误差，已经提出了一种方法。然而，已知前一种方法在通过SIFT关键点的初始配准失败时难以进行图像配准，并且后一种方法在处理两幅图像之间的投影失真2.3. 低空与地面拍摄图像已经提出了一种方法来检测在由车载相机拍摄的地面拍摄图像和由飞行器拍摄的空中图像中捕获的道路区域中的对应点[14]。在该方法中，基于摄像机参数，将车载摄像机捕获的地面区域投影为好像从鸟瞰图捕获的地面区域，使得可以校正两个图像之间的透视失真。投影是根据摄像机的倾斜角度计算的。该方法通过使用SURF [ 15 ]检测对应点来估计两个图像之间的对应关系，然后估计汽车的位置和方向。在文献[14]中，由于使用了姿态固定的车载摄像机，因此假设用于校正投影畸变的参数是固定的，但是将该方法应用于姿态不固定的移动摄像机仍然存在改进的问题。3. SAR图像与光学图像的对应点检测3.1. 基于深度神经网络的SAR到光学图像转换在SAR中，主动成像是利用微波进行的，其反射和散射特性不同于可见光。结果，即使两者捕获相同的区域，也捕获具有与光学图像不同的外观的图像。因此，难以基于局部区域的相似性来检测对应点，例如SIFT [16] 。 在 所 提 出 的 方 法 中 ， 由 GAN （ Generative AdversarialNetworks）[17，18]，特别是cGAN（Conditional GAN）[19，20]训练的基于DNN（Deep Neural Network）的图像翻译器（作为“图像翻译DNN”）用于在进行对应点检测的过程之前将SAR图像外观翻译成光学翻译的图像（作为“生成的光学图像”）。在本节中，我们提出了一种方法来找到局部特征之间的对应关系，图二. 使用图像变换DNN进行图像平移和对应点检测，由GAN训练。多模（SAR和光学）图像使用图像特征为基础的关键点检测，描述和匹配算法，如图所示。 二、作者提出了核心技术[21]。然而，之前的研究[21]使用PiX 2piX [22]通过cGAN训练图像翻译DNN存在模糊细节和丢失局部特征的问题。为了获得更准确的对应点，我们需要使用强调局部信息的训练方法。为了克服以前研究的缺点[21]，我们提出了一种方法来获得不丢失局部特征的图像变换DNN，这是通过在GAN训练期间对答案图像数据应用边缘增强滤波器来检测对应点所必需的3.2. 使用条件对抗生成网络使用SAR图像作为输入，光学图像作为答案，我们用cGAN训练图像翻译DNN，并通过预测学习SAR到光学图像翻译的图像翻译DNN来生成光学图像。GAN使生成器和图像处理器竞争以生成高质量的生成光学图像。精度 如图3所示，由于利用传统cGAN生成的图像中的模糊，相应点检测的性能下降。在所提出的方法中，生成器G所生成的图像的质量通过在训练的CXD期间对答案图像应用边缘增强滤波器来提高。图4示出了cGAN模型，其中DNN被训练以执行图像翻译。将SAR图像设置为cGAN的输入x，并且将作为将边缘增强滤波器应用于光学图像y的结果的Fedge（y）设置为用于训练生成器G（图像平移DNN）和ARMD的答案。使用该图像转换DNN将SAR图像转换为生成的光学图像的过程允许生成的光学图像具有与原始光学图像相同的模态，并且可以应用诸如SIFT的常规对应检测过程。在这种情况下，所提出的方法的损失函数L_Proposed可以参考PiX2piX [22]的损失函数表示如下L建议（G，D）=EylogD Fedge（y）+Ex，z[log（1-D（x，G（x，z）]+λEx，y，z[F边（y）-G（x，z）1]，其中常数λ在本工作中设置为0.13.3. 使用关键点检测器和描述符的所提出的方法的对应点检测过程的概述在图2中示出。使用在前一节中描述的学习模型获得图像平移DNN，并且通过图像平移DNN将SAR图像平移成生成的光学图像。SIFT [16]用于对应点检测过程，并在生成的光学图像和实际光学图像之间执行H. Toriya等人阵列12（2021）1001024图三. 传统cGAN生成的图像（左）和答案图像（右）。左图像中，模糊平滑掉亮度梯度，从而失去了对应点检测的准确性。见图4。通过添加边缘增强滤波来保留对应点搜索所需的局部特征的GAN。3.4. 伪对应点在生成的光学图像和实际光学图像之间执行对应点检测处理。在检测对应点的过程中，会识别出一些虚假的对应点，这些点降低了图像配准的精度。在高海拔图像之间的配准的情况下，可以根据关键点的尺度和方向去除假对应点，因为它们可以被视为尺度、旋转和平移的差异[23]。4. 光学图像与低空图像在本节中，我们描述了一种用于检测具有显著不同空间分辨率的图像之间的对应点的方法，图五. 空间分辨率的差异。如低空图像（无人机图像）和光学图像（光学卫星图像），作者在参考文献[24]中提出了核心方法。通过对低分辨率（LR）图像进行超分辨率处理来提高图像的空间分辨率，同时降低高分辨率（HR）图像的空间分辨率，以实现两幅图像的对齐，从而提高图像的对齐精度。如图5所示，低空图像和光学图像的空间分辨率相差很大（本文假设比例尺为12倍）。另一方面，在使用图像特征的对应点检测处理中假设约5倍的比例尺[25]。在这种情况下，可以考虑通过对LR图像（光学卫星图像）应用超分辨率处理以增加空间分辨率并减小两个图像之间的差异来增加对应点检测处理的精度的方法。4.1. 基于特征区域超分辨率的空间分辨率差异图像对应点检测事实上，顶视图像中的人造结构表现为相对简单的形状，并且将超分辨率处理应用于LR图像以减小两个图像之间的空间分辨率差异并提高对应点检测的准确性。作为示例，图6示出了双三次插值和超分辨率之间的比较。可以看出，与双三次插值相比，所提出的方法恢复了局部区域，例如道路的白线和结构的轮廓。我们使用一种基于DNN的方法（称为H. Toriya等人阵列12（2021）1001025图第六章角点和边缘特征估计的比较。无人驾驶飞机在城市地区，和周围的地区派生的关键点提取为补丁。此外，HR图像被缩小以生成LR图像。在LR图像中，从与HR图像中的块相同的区域提取块。如果关键点的尺寸（用于特征检测的关键点周围的区域的直径）太小，则LR图像的空间分辨率不足。因此，在HR图像中的关键点检测期间，关键点的大小是重要的考虑因素，并且使用适当的阈值仅在具有特定大小的特征点周围执行块提取。根据HR图像和LR图像的空间分辨率的差异来确定阈值。4.3.考虑空间分辨率和对应点检测精度的在本节中，我们描述了对齐两个图像的空间分辨率以进行对应点检测的过程。为了实现准确的关键点检测、描述和匹配，两幅图像的空间分辨率应该相同[25]。然而，随着超分辨率因子的增加，DNN估计中出现伪影，并且对应点检测的准确性降低。因此，我们将高因子超分辨率处理应用于LR见图7。通过超分辨率和降尺度处理相结合，提高了对应点的检测精度，使两幅图像的空间分辨率达到一个合适的值。分辨率超分辨率因子越高，图像越好，因为它提高了对应点的准确性;但是，如果因子太高，则在图像中产生伪影，并且出现许多假对应点。在我们对超分辨率因子和假对应点之间的平衡的研究中[24]，我们确认当空间分辨率的差异为12倍时，将因子限制为4-6倍是合适的。在我们的方法中，如图7所示，超分辨率处理应用于LR图像（光学图像），同时，降尺度处理应用于HR图像（低空图像），以实现空间分辨率和对应点搜索精度之间的良好平衡。4.2. 局部区域我们采用了基于DNN的方法进行超分辨率处理。为了训练一个对局部区域进行超分辨的深度神经网络，需要确定一个有效区域作为训练数据。图8示出了训练数据生成的过程。 SIFT关键点检测被应用于由一个或多个相机拍摄的一组HR图像图像，使得对应点检测的准确性不降低，然后缩小HR以与LR图像对准，以生成具有HR和LR图像之间的空间分辨率的中间分辨率（MR）图像，并以相同的空间分辨率执行对应点搜索。在缩小处理之前预先应用对应于缩小因子的平滑滤波器以防止moi r′e（干涉条纹）。4.4.超分辨率与中分辨率图像对应点的检测及单应矩阵的由于所提出的方法中的超分辨率处理的目的是估计结构的边缘和拐角的特征，因此关键点检测器应该有效地区分这些特征。此外，由于无人机拍摄的低空图像中并不总是保留方位信息，因此关键点检测器应该能够从而以对旋转变化鲁棒的方式检测对应点。在所提出的方法中，ORB [26]被用作关键点检测器，并且由于这种条件，SIFT被用作关键点描述符。ORB关键点检测器基于FAST [27]，可以快速检测边缘和角点特征，ORB在检测关键点时还计算亮度梯度的方向，因此满足上述条件。RANSAC的鲁棒估计[28]是H. Toriya等人阵列12（2021）1001026见图8。训练数据集生成以训练超分辨率DNN来估计局部区域的过程。该过程包括检测HR图像上的关键点并从周围区域中提取补丁，然后从LR图像的相同区域中提取补丁见图9。通过ORB+ SIFT进行对应点检测（左）和图像配准示例（右）。在左侧，蓝色点表示未找到对应点的关键点，黄色点表示找到了哪些对应点。对应点由黄线连接。右图显示了基于对应点信息，通过计算单应性变换将低空图像叠加到光学图像上。见图11。低空与地面拍摄图像对应点检测方法综述。见图10。由于成像方向的不同而引起的地面区域的透视变形。左图为地面，右图为低空。当水平拍摄地面时，前景区域的空间分辨率较高，背景区域的空间分辨率较低（透视失真）。使用所获得的对应性信息来估计对应性。图9示出了对应点检测和图像配准的示例。见图12。 虚拟顶视图图像生成。H. Toriya等人阵列12（2021）1001027（）（）（）1111图十三. 虚拟俯视图与低空图对应点的检测。5. 低空与地面拍摄图像我们提出了一种方法来计算之间的几何对应关系低空图像垂直向下看，地面拍摄的图像与移动，车载，或监控摄像头，eras通过检测对应点，使用关键点匹配。低空图像和地面图像的成像方向有很大的不同。结果，如图10所示，对象（特别是地面区域）的可见性由于透视失真而改变，使得难以检测对应点。作者提出了移动摄像头定位的核心技术[23，29]。如图11所示，该方法通过将地面拍摄图像中的地面区域投影到虚拟俯视图像中来校正透视失真并实现对应点检测，就像从俯视图向下看一样[23]。图12示出了用于生成虚拟顶视图像的过程。假设用于拍摄地面拍摄图像的摄像机的内部参数已知，根据拍摄图像时摄像机的倾斜角计算旋转矩阵X，如图13所示，通过SIFT检测所生成的虚拟俯视图和低空图像之间的对应点。从对应点估计从虚拟俯视图到低空图像的单应矩阵xH2如图图14示出了在计算H1和H2之后，从地面到低空图像的单应矩阵可以表示为它们的乘积。当表示地面拍摄图像、虚拟俯视图像和低空图像上的点的x、y、xv、yv、xa、ya对应时，它们被描述如下：⎛xv⎞ ⎛x ⎞ ⎛xa⎞ ⎛xv⎞y v#（2）图 14. 计算 的 单应 矩阵X 从 地面 到 一个低-高度图像因此，从地面拍摄图像到低空图像的单应矩阵xH如下所述H=H2H1#（3）图15. 本节中的确认概述。H. Toriya等人阵列12（2021）1001028图16. 实验地点的鸟瞰图（日本琦玉县秩父县横濑市）。6. 图像配准过程我们通过整合第3节、第4节和第5节中描述的方法，验证SAR和地面拍摄图像之间的图像配准。5，如图所示。 15个。6.1. 实验地点和数据集6.1.1. 实验场图16示出了实验地点的航拍图像。实验地点为日本琦玉县秩父县横泽市，实验数据集包括Sentinel-1卫星图像（SAR图像）、GeoEye-1和Sentinel-2卫星图像（光学图像）、低空图像和地面拍摄的公共区域图像。之所以使用两种不同空间分辨率的光学卫星图像，是为了制备具有中间空间分辨率的图像，并对差异进行插值，因为目前一般可用的SAR图像的空间分辨率最多为几米/π× el，而光学卫星图像的空间分辨率为几十厘米/π× el。GeoEye-1和Sentinel-2卫星图像具有分配给每个像素的地理信息（即，它们已经注册），因此可以获得准确的对应关系。6.1.2. 图像翻译DNN的训练数据集利用Sentinel-1 SAR卫星图像和Sentinel-2光学卫星图像（光学图像）对图像翻译DNN进行训练。从2019年1月1日至12月31日期间Sentinel-2A和Sentinel-2B卫星拍摄的67幅图像中选择了16幅没有被云覆盖的图像，并分别选择了拍摄日期较近的Sentinel-1卫星图像作为一对。表2显示了选定的图像数据集。将16张图像中的一张用作验证数据集。使用从日本地理空间信息局的基础地理空间数据下载服务获得的DEM（数字高程模型）登记每个图像对[30]，并且将每个图像对的空间分辨率设置为12.5 m/piX el，使得图像重叠piX el × piX el。从图像中每128像素高度和宽度切出256× 256像素的块，并且将896个块预先作为训练数据集，将56个块作为验证数据集。的在[μ-2σ，μ+2σ]范围内的亮度值被线性归一化到[-1， 1]范围，并用于训练和验证。6.1.3. 用于超分辨率DNN的作为HR图像，我们使用了2019年9月19日在日本东京县大岛镇无人机拍摄的城市地区的航拍图像。无人机是DJI Phantom 4，HR图像的空间分辨率为图十七岁 补丁提取过程中的随机偏移。表2用于训练图像翻译DNN的图像数据集的日期和时间突出显示的行是指验证数据集。H. Toriya等人阵列12（2021）1001029×××18V=×edge（，-v的+-v的图18. 用于图像翻译的生成器（上）和转换器（下）的结构。在图18中。用于训练的图像块大小为256× 256像素，输入批次大小为16，训练时间为12小时。学习发生器和除颤器的速率设置为1.010-3损失函数分别为L1范数和二进制交叉熵。PatchGAN [22]的补丁大小被设置为128X 128PIXELS。我们使用了Cygnus [32]，这是筑波大学计算科学中心的一台高性能计算机。关于训练时间，如图19所示，确认生成器（图像平移DNN）的验证数据中的损失函数的值长时间没有变化，因此在12 h后终止训练，图像使用在验证数据中损失函数具有最小值1.668的参数来10比 1图像平移DNN是使用其参数构造的，图19. 生成器在训练图像翻译DNN时的损失函数图。蓝色和橙色的线显示了训练和验证的损失函数数据，分别。损失函数为1.66810- 1。用于训练边缘增强滤波器的边缘增强滤波器实现为：4.0 cm/pilX el.HR图像缩小到原始大小的1/4，F vI⎡⎣-v-v的-vI获得用于训练的LR图像。关键点大小的阈值被设置为12.0像素。如图17所示，将随机移位添加到补丁提取过程。这是因为先前的实验表明，关键点总是位于补丁的中心，使得在没有随机移位的超分辨率（SR）图像中观察到点状伪影。斑块大小为128X 128像素，斑块数量约为36，000。训练中图像的每个像素Xel深度数据集为无符号8位RGB，首先将其转换为灰度以形成一个通道，然后将[0， 255]范围内的亮度值线性归一化为[-1，1]范围作为输入。6.2. DNN培训详情6.2.1. 图像翻译DNNU-Net [31]被用作图像转换DNN，将SAR图像转换为生成的光学图像，并由cGAN训练，如图所示-v-v v其中I是输入图像，v是用于设置边缘增强的强度的参数在这个实验中，V 0。使用1是因为它在初步实验中显示出有希望的结果。6.2.2. 超分辨率DNNU-Net被用作光学图像的超分辨率DNN，并由GAN训练，如图20所示。用于训练的图像大小为128X 128像素，输入批次大小为128，训练时间为48 h。生成器和学习器的初始学习率设置为1.010- 3，24 h后减半的损失函数分别为L1范数和二进制交叉熵。PatchGAN的补丁大小被设置为64X 64像素。至于训练时间，如图21所示，确认发生器的验证数据中损失函数的值）=的、H. Toriya等人阵列12（2021）10010210图20. 超分辨力发生器和超分辨力发生器的结构。拍摄图像，这使我们能够捕捉到在高海拔地区难以捕捉的局部变化。另一个可能的应用是户外XR（增强现实、虚拟现实和混合现实的统称）。如图23所示，可以实现在地面视点上覆盖地理信息的系统。然而，如图23的右侧所示，如果卫星图像直接覆盖在地面视点上，则由于空间分辨率的差异而不能呈现有用的信息。因此，有必要构建一个考虑到空间分辨率差异的系统，例如将从高空图像中提取的信息转换为矢量层并将其叠加在地面视点上。见图21。生成器在训练超分辨率DNN时的损失函数。蓝色和橙色的线显示了训练和验证数据的损失函数。（超分辨率DNN）长时间，因此在48 h后终止训练。当验证数据中的损失函数为最小值7.775 × 10-2时，使用参数构建超分辨率DNN。7. 结果和讨论图22示出了每个图像之间的对应点检测的结果图像。可以证实，所提出的方法有效地工作在每个处理步骤，并准确地检测对应。图23和图24示出了基于检测到的对应点的SAR和地面拍摄图像的配准结果。合成孔径雷达所获得的信息可以叠加在地面拍摄的图像上。此外，可以确认，具有高时间（高频）和高空间分辨率的信息，其接近地面并且可以详细了解地面上的信息，被叠加在SAR图像上。这项研究的一个可能的应用是在灾害发生后立即分享受损地区的信息。我们可以通过利用SAR的特性（即使在恶劣的大气条件下也可以进行观测）和地面的特性来分享这一点。8. 结论本文提出了一种通过检测不同海拔高度的多幅图像之间的对应点来实现SAR图像与地面拍摄图像的融合的方法。通过实际图像的实验验证了该方法的可行性和实用性。这使得以前完全分开处理的SAR卫星图像和地面拍摄图像的信息相互交换成为可能。实现了一种SAR卫星图像与地面采集图像的配准方法。这是一种新的方法，使我们能够集成大规模事件识别的对象从卫星图像和详细的信息，如重建的三维场景，从现实世界的地面拍摄图像的信息。作为对未来的进一步展望，通过将我们提出的方法应用于众包收集的一组图像[33]，将有可能在任何点实现高空间和时间分辨率，并且我们可以期望构建与当前GIS不同的“下一代GIS（地理信息系统）”。“下一代地理信息系统“将使信息的即时共享超越成像设备、位置和时间的差异。此外，它还有望作为信息基础设施，被用作社会的重要信息源。H. Toriya等人阵列12（2021）10010211图22. 多高度图像间对应点检测结果。显示了光学和生成的光学图像（顶部）、光学和低空图像（中心）以及低空和地面拍摄图像（底部）H. Toriya等人阵列12（2021）10010212图23岁 将多高度图像叠 加 到地面拍摄图像上的结果。由日本危机制图者（NPO），一个灾难无人机救援队。（dronebird.org/，访问时间：2021年4月13日）引用[1] 放大图片作者：AnthonyJ. 成像雷达原理与应用In：Manualof Remote Sensing.约翰威利父子公司;&1998.第三版，第二卷第三版[2] 放大图片作者：Le MoigneJ，Netanyahu N，Eastman R.遥感图像配准剑桥大学出版社; 2011.[3] 小詹森数字图像处理导论：遥感透视。第四版出版社：Prentice Hall Press;2016.[4] 饰Marchand E.利用互信息进行精确的实时跟踪。2010.https://doi.org/10.1109/ISMAR.2010.5643550网站。[5] 熊波，李伟，赵玲，陆军，张旭，匡刚。基于直线特征和互信息的SAR与光学图像配准。2016. 网址：//doi. org/10.1109/IGARSS.2016.7729667。[6] Y.耶湖，加-地沈，M。Hao，J.Wang，and Z. Xu，“基于形状属性的稳健光学到SAR图像匹配“，Geosci Rem Sens Lett IEEE，第14卷，第4期，第13页。564-568，2017年4月，doi：10.1109/LGRS.2017.2660067。[7] 张文，王芳，刘文，刘文.通过改进的相位一致性实现光学和SAR图像的自动配准。” 2019. p. 931-4 https://doi.org/10.1109/IGARSS.2019.8898506。[8] Ye Y，Bruzzone L，ShanJ， Bovolo F，Zhu Q.多模态遥感图像配准的快速鲁棒匹配。IEEE Trans Geosci Rem Sens 2019; 57（11）.https://doi.org/10.1109/TGRS.2019.2924684。9059-9070，图24. SAR图像与地面拍摄图像的配准结果。可以看出，发生回射的区域（例如建筑物）由明亮的像素表示。作者贡献Hisatoshi Toriya：概念化、方法学、软件、验证、形式分析、调查、数据管理、Narihiro Owada：原始草稿准备，验证，可视化。Mahdi Saadat：方法论。稻垣文明：验证。Ashraf Dewan：概念化，资源，编辑，监督。川村友平：监督。北原伊樽：概念化、方法、资源、资金这项工作得到了日本JSPS研究员资助金JP19J11514和日本JSTCREST资助金JPMJCR16E3的支持。竞合利益作者声明，他们没有已知的可能影响本文所报告工作致谢无人机摄影是与DRONEBIRD合作进行的[9] Snavely N，Seitz SM，Szeliski R.摄影旅游：探索3D照片收藏在ACM SIGGRAPH中。2006.第835- 846页。https://doi.org/10.1145/1179352.1141964网站。[10] M. A. Fonstad，J.T. Dietrich，B. C. Courville，J.L. Jensen和P.E. Carbonneau，“运动中的地形结构：摄影测量的新发展”，《地球表面过程地貌》，第38卷，第4期，第110页。421-430，2013年3月，doi：10.1002/esp.3366。[11] 作者：Kobayashi K，Shishido H，Kameda Y，Kitahara I.一种利用灾害地图和众包收集高重要性多视角图像的方法。IEEE大数据国际会议。2019年1月。第3510-2页。https://doi.org/10.1109/BigData.2018.8622193.[12] 黄SM，黄CC，周CC.质量失配下的无人机图像序列与Google卫星图像配准。在ITS电信国际会议上。2012.第311- 315页。https://doi.org/10.1109/ITST.2012.6425189。[13] 范乙，杜毅，朱磊，唐毅.基于图像熵和边缘的无人机下视航空影像与卫星影像配准。在：智能机器人和应用国际会议; 2010年11月。第609- 617页。https://doi.org/10.1007/978-3-642-16584-9_59。[14] Noda M等人，通过将车载摄像机图像与航拍图像匹配来进行车辆自我定位。在亚洲计算机视觉会议上。2010.第163- 173页。网址：//doi. org/10.1007/978-3-642-22819-3_17。[15] 杨 志 华 ， 李 志 华 ， 李 志 华 . 加 速 鲁 棒 特 性 （ SURF ） 。 Comput Vis ImageUnderstand 2008. https://doi.org/10.1016/j.cviu.2007.09.014网站。[16] 劳从尺度不变的关键点中提取独特的图像特征 Int J Comput Vis 2004;60（2）：91-110. https://doi.org/10.1023/B:VISI.0000029664.99615.94。Nov.[17] Goodfellow IJ，et al.，Generative Adversarial Nets。Adv Neural Inf Process Syst2014; 3：2672-80.访问时间：2020年9月19日。[联机]。可通过以下网址获得：http://www.github。com/goodfeli/adversarial.[18] 李文辉，李文辉.“Unsupervised representation learning with deep convolutionalgenerative adversarial networks，“Nov. 2016 [Online].网址：arxiv.org/abs/1511.06434。[19] Mirza M，Osindero S.条件生成对抗网（Conditional Generative AdversarialNets）http://arxiv.org/abs/1411.1784。[2020年12月14日访问。[20] Miyato T，Koyama M. cGAN与投影机” 可通过以下网址获得：http://arxiv.org/abs/1802.05637。[21] Toriya H，Dewan A，Kitahara I. SAR2OPT：使用生成对抗网络进行多模态图像之间的图像对齐。国际地球科学与遥感研讨会。2019.第923- 926页。https://doi.org/10.1109/IGARSS.2019.8898605.H. Toriya等人阵列12（2021）10010213[22] Isola P，Zhu JY，Zhou T，Efros AA.使用条件对抗网络进行图像到图像的翻译。IEEE计算机视觉和模式识别会议，2017年11月。第5967-76页。https://doi.org/10.1109/CVPR.2017.632网站。[23] 作者：Toriya H，Kitahara I，Ohta Y.使用鸟瞰影像的行动摄影机定位。IPSJ传输计算目视Appl.2014;6：111-9. https://doi.org/10.2197/ipsjtcva.6.111。[24] Toriya H，Dewan A，Kitahara I.用于不同空间分辨率图像间对应点匹配的自适应图像缩放。IEEE大数据国际会议。2021.第3088-95页。https://doi.org/10.1109/bigdata50022.2020.9377754.[25] Tareen SAK，Saleem Z. SIFT，SURF，KAZE，AKAZE，ORB和BRISK的比较分析，“在。计算，数学和工程技术国际会议2018年; 1月：1-10日。https://doi.org/10.1109/ICOMET.2018.8346440.[26] [10]李晓，李晓，李晓.“ORB：an efficient alternative to SIFT or SURF，“在IEEE计算机视觉和模式识别会议上。2011. 第2564- 2571页。https://doi.org/10.1109/ICCV.2011.6126544网站。[27] Rosten E，Drummond T.用于高速角点检测的机器学习。在：欧洲计算机视觉会议，第3951卷。LNCS; 2006年。第430- 443页。https://doi.org/10.1007/11744023_34。[28] Fischler MA，Bolles RC.随机样本一致性：模型拟合应用于图像分析和自动制图的范例。Commun ACM Jun. 1981;24（6）：381-95.https://doi.org/10.1145/358669.358692网站。[29] 作者：Toriya H，Kitahara I，Ohta Y.一种基于鸟瞰图像的移动摄像机定位方法。2013. https://doi.org/10.1109/ACPR.2013.27网站。[30] 基本地理空间数据（FGD）-日本地理空间信息管理局。2021年4月7日访问），https://www.gsi.go.jp/kiban/index.html。[31] Ronneberger O，Fischer P，BroX T. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议2015;9351：234-41。https://doi.org/10.1007/978-3-319-24574-4_28.[32] “Supercomputers 2021年4月7日访问，https://www.ccs.tsukuba.ac.jp/eng/supercomputers/。[33] 豪·J 众包的兴起。有线Mag.2006年。https://doi.org/10.1086/599595.