海岸成像研究网络：摄影测量工具箱及其应用

软件X 12（2020）100582原始软件出版物CIRN定量海岸成像布列塔尼湖作者：Katherine L.布罗迪美国海岸和水力学实验室陆军工程师研究和开发中心，1261 Duck Road，Duck，NC 27949，美国ar t i cl e i nf o文章历史记录：收到2020年收到修订版，2020年8月16日接受，2020年保留字：MATLAB摄影测量教程无人机系统（UAS）海岸成像研究网络a b st ra ct海岸成像研究网络（CIRN）该存储库包含对陆基多/单相机站或固定无人机系统（UAS）的倾斜图像执行端到端地理校正的脚本。该工具箱生成地理校正帧、集合统计产品和用于光波、海流和测深反演分析的二次采样像素集合。虽然专家们多年来一直使用类似的脚本操作，但这个工具箱是为摄影测量新手准备的。具有示范数据的说明性由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本1.0此代码版本使用的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2020_236代码海洋计算胶囊已提交出版。等待批准。GNU通用公共许可证，第3使用git的代码版本控制系统使用MATLAB 2019 b w/统计学和机器学习，图像处理的软件代码语言，工具和服务编译要求、操作环境依赖性首选Cal-Tech相机校准，不需要（参见用户指南，更多信息）。如果可用，链接到开发人员文档/手册https://github.com/Coastal-Imaging-Research-Network/CIRN-Introduction-to-Quantitative-Coastal-Imaging-Toolbox/blob/master/user_manual.pdf问题支持电子邮件Brittany.L. erdc.dren.mil1. 动机和意义视频监测是科学家和工程师获得有关沿海环境的定性和定量信息的准确且具有成本效益的工具[1]。许多近岸过程（如波浪传播、波浪破碎和冲流上升）提供了光学和热特征，可由彩色、灰度和红外摄像机利用这些特征来区分波峰和波谷、水和泡沫或陆地和水。算法可以利用这些特征来估计地球物理参数*通讯作者。电子邮件地址：Brittany.L. erdc.dren.mil（B.L.布鲁德），凯瑟琳.L.布罗迪@erdc.dren.mil（K.L.Brodie）。https://doi.org/10.1016/j.softx.2020.100582包括定向波谱、水深测量、表面流和海岸线迁移[2然而，所有这些算法都需要图像地理校正，其中去除透视的影响，并且将倾斜（传统）图像缩放到真实世界坐标不幸的是，对于大多数沿海科学家和工程师来说，摄影测量通常不包括在海洋学课程中，并且可能是在他们的项目或研究中定量利用视频监控的障碍。因此，尽管其优点和被雇用超过30年来，定量海岸成像并没有广泛的狭隘的学术研究谱系之外。2352-7110/Elsevier B. V.这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx2B.L. Bruder和K.L.Brodie/SoftwareX 12（2020）100582Fig. 1. CIRN定量海岸成像系统存储库和工作流程。白色框表示特征化，黄色框表示文件夹，方框表示脚本..（关于此图例中颜色的参考解释，请读者参考本文的网络版本认识到这一点，主题专家（SME）成立了海岸成像研究网络（CIRN），并于2015年开始开发为了配合训练营课程，基于[20]开发了一个存储库，用于演示固定无人机系统（UAS）的RGB视频的端到端地理校正，后来在[21]中开发为图形用户界面（GUI）。自2015年以来，这个被称为无人机数据库的数据库在出版物中被多次引用B.L. Bruder和K.L.Brodie/SoftwareX 12（2020）1005823图二. 使用uasDemoData的B_gcpSelection（A）和E_scpSelection（A+B）的GUI界面示例。(A)SCP和GCP点击面板。(B)面板显示SCP 4搜索半径内的像素强度值以及应用二进制阈值时的区域计算结果中心（白点）。(For对所提及的颜色在此图图例中，读者可参考本文的网络版尽管它取得了成功，无人机训练营也有局限性，新兵训练营的参与者提供了广泛的反馈。新手和经验丰富的用户都发现很难为自己的数据实现原始的无人机数据库演示作为UAS数据的集中可执行文件运行，后端子功能高度减少，需要非常特定的数据结构和元数据。这使得新手能够提取关键的摄影测量处理步骤来开发自己的代码。为了解决这些问题，CIRN开发了下一代-CIRN Quantitative Coastal Imaging软件包是一个指导性的摄影测量软件开发工具包（SDK），适用于各种海岸成像应用。所提出的工具箱是一个线性的脚本集进行端到端的地理校正处理的海岸图像从无人机系统和单（或多）相机陆基台站。该工具箱演示了如何从电 影文件中提取图像 ，识别视 场中已知地面控制 点（GCP）的像素位置，求解相机外参数（位置和方向），校正运动在帧之间，对图像进行地理校正，计算集合统计校正产品，并提取校正的时间序列用于高级处理。照片被分割以保存中间结果并突出关键的摄影测量基础。子功能在脚本中突出显示，并聚合起来执行核心功能.其结果是，所提出的工具箱作为一个交钥匙应用程序的新手用户，但也提供了一个存储库的关键子功能，用户获得更多的经验，以开发自己的代码。最终，所提出的工具箱的目标是绕过摄影测量阻抗，存在于许多沿海工程师，地球科学家和海洋学家，并扩散使用视频监控在更广泛的沿海社区。2. 软件描述CIRN定量海岸成像系统是一系列MAT- LAB脚本，可用于对固定UAS和单（或多）相机陆基影像的倾斜影像集进行地理校正，以生成经典的4B.L. Bruder和K.L.Brodie/SoftwareX 12（2020）100582图三. 使用uasDemoData的D_gridGenExampleRect输出示例。(A)地理坐标中分辨率为5 m的经地理校正的影像示例（右图面板）。左图是倾斜图像中校正网格的重投影。颜色是X（顶部）和Y（底部）坐标。(B)具有更高10 cm分辨率、更小范围并在局部旋转坐标系中显示的示例。(For在此图图例中对颜色的参考的解释，读者可参考网页这篇文章的版本）。products [1].这些脚本突出地调用并突出显示了一系列子函数，这些子函数实现了基本的摄影测量计算。这些脚本预先填充了演示UAS和多摄像头数据，并可按下载方式运行。为了适应其他数据集，用户需要提供：具有合适的地面控制点（GCP）的图像数据、GCP地理坐标和摄像机内部校准参数。有关地理校正图像采集要求的更多详细信息，请参见[22]，相机内在校准请参见[23]。2.1. 软件构架该应用程序是一系列线性MATLAB m脚本，演示了一系列功能步骤：（1）预处理（从视频文件中提取图像）;（2）摄像机标定（求解摄像机外函数）;（3）投影域定义;（4）图像稳定;和（5）整流产品的产生（图）。①的人。这些脚本可以根据应用程序以不同的处理顺序运行。脚本模块化减少了复制代码，并突出了图像收集技术（UAS与地面）之间的共性用户手册提供了脚本和子函数的详细依赖关系、输入和输出。文件名和图1中的字母数字前缀可以推断，文件是按顺序运行的。每个脚本代表一个关键的摄影测量处理步骤或决策点（例如使用什么GCP），并保存中间产品（例如extrinsics等）。输入到下一个脚本中。中间产品允许用户在处理中具有灵活性，并且易于探索处理决策（例如，改变坐标系或网格分辨率），而不必重新启动整个端到端处理。元数据（如GCP投影错误）也保存在输出mat-files中。B.L. Bruder和K.L.Brodie/SoftwareX 12（2020）1005825图四、 本地旋转坐标系中uasDemoData的G1_imageProducts集成输出示例。除了主存储库目录中的演示脚本外求解摄像机外函数并计算摄像机投影矩阵）。这些功能也可以独立于演示脚本使用，使其易于适应用户的需求。主目录中的其余文件夹包含UAS（X_UASDemoData）和多摄像机陆基台站（X_FixedMultiCamDemoData）的演示数据。每个演示的处理序列在图1中突出显示。预先填充了前缀为（A0-G2）的演示脚本，以端到端处理UASDemo-Data。FixedMultiCamDemoData路径从D_gridGenExampleRect开始，因为已经提供了几何解决方案，并且需要用户取消注释代码的第4节以执行正确的输入参数。FixedMultiCamDemoData也预填充了带前缀G1-G2的文件，并且都需要取消对第5这两个演示都在第3节中演示。3. 说明性实例该存储库有两组演示数据，并且已预填充以处理这两组数据。在本节中，将演示两种处理顺序（UAS和固定站，图1）。首先演示UAS路径，因为它运行整个处理工作流，不需要用户修改。然后，从多相机演示数据集的产品，提出了突出的多相机的能力。中间输出的图像未显示，但可在用户手册中找到3.1. UASDemoData要运行UASDemoData集，用户首先运行A0_movie2Frames脚本。该脚本将视频文件转换为用户指定帧率的连续倾斜图像集合。示例文件是由DJI Phantom Pro 4在Duck，NC USA在60 m海拔处拍摄的4K视频。为了演示的目的，视频已经修改了注释和降低的帧率（2 Hz）。然后用户运行A_formatIntrinsics。该脚本从Cal-Tech CameraCalibra- tion Database（第三方MATLAB存储库）加载用户指定的calb_result.mat文件，以执行相机固有计算[23]，并输出正确格式化的相机固有系数。更高级的用户可以跳过这一步，如果自己计算，则手动输入相机内部函数的用户手册提供了更多关于工具箱使用的系数定义和失真模型的信息B_gcpSelection加载UAS视频的第一帧（或用户指定的任何倾斜图像），并为用户提供GUI以单击GCP（图2A），然后在命令窗口中以数字标识GCP。图图2A示出了原始的第一帧，其已经被修改以向用户示出GCP位置和编号建议。选择完成后，该函数将输出一个包含GCP图像（UV）坐标的mat-file。下一个函数C_singleExtrinsicSolution使用B_gcp选择（GCP UV坐标）和A_formatIntrinsics（内部信息）输出的mat-files以及逗号分隔的文本文件来求解第一帧的extrinsics。 输入点击的GCP的XYZ坐标，通过GCP编号链接。该脚本使用非线性求解器（MATLAB统计学中的nlinfit）来求解组合相机外部/内部（EOIO）解决方案，以重新投影XYZ GCP点并最小化其UV对应点之间的误差。用户可以指定使用哪种GCP组合，并且必须输入初始猜测。XYZ值可以在任何地理参考框架中。该函数保存摄像机EOIO的矩阵文件以及计算的外部不确定性和GCP重投影误差（在本例中计算的水平RMSE为0.14 m该脚本还显示第一帧的图形，其中包含单击和重新投影的GCP值，以定性评估解决方案。接下来，用户通过输入网格限制/分辨率和局部旋转角度/原点，在D_gridGenExampleRect中定义所需的校正网格和与海岸线对齐的旋 转 坐 标 系 。 按 原 样 运 行 ， 脚 本 将 加 载 来 自C_singleExtrinsicSolution（EOIO solution）的输出，并在地理（图3A）和旋转的本地参考帧中产生第一帧的对应地理校正图像。旋转坐标系经常被用来方便地描绘横向和沿岸过程，通常需要许多光学海岸分析。该脚本提供两个参考帧的输出，包括示例校正的. png和具有校正网格和旋转参数的mat文件。请注意，演示网格假定用户输入的高程是平坦的，通常是飞行期间的潮汐高程。然而，为了更精确的校正（正射校正），用户可以修改脚本以包含不同的浮雕。该脚本是一个指导性和探索性的工具，用于确定网格分辨率、旋转、范围和Z高程的影响。图图3B展示了在局部坐标系中以用户指定的更高分辨率进行的校正。除了地理校正图像外，该脚本还生成校正网格重新投影到倾斜6B.L. Bruder和K.L.Brodie/SoftwareX 12（2020）100582× ==图五. uasDemoData的G2_pixelInstruments输出示例。(A)重新投影到倾斜图像上的像素横断面的位置。(B)像素仪器数据示例自左而右环行5米5米网格（第一帧），X 225米和0.2米分辨率的沿岸样带时间叠加，Y 600米和0.2 m分辨率。图像（Fig. 3）。这是评估像素密度和解释校正过程的有用工具。下一个功能是E_scpSelection，其中用户选择用于在采集期间调整UAS轻微移动的稳定化控制点（SCP）。该脚本的运行方式类似于B_gcpSelection，允许用户定义图像中的SCP位置，但也提示用户确定搜索半径和像素强度阈值（图2B）。目的是选择一个阈值，其中仅识别明亮或黑暗的静止对象（暗 红色），以便可以在定义的搜索半径（以像素为单位）内一致且自动地计算其区域中心（白点）。与B_gcpSelection类似，uasDemoData的第一帧为用户提供了SCP、半径和阈值的建议。 此函数的输出是一个包含SCP UV坐标以及阈值和半径的mat文件。脚本F_variableExtrinsicSolution使用初始IOEO从 C_singleExtrinsicSolution 和 SCP 信息 从E_scpSelection 用 于 计 算 一 系 列 连 续 倾 斜 图 像 的 外 部 解 。 与C_singleExtrinsicSolution类似，该脚本使用非线性求解器来使用自动识别的SCP求解每个帧的外部。该脚本为图中的每个新帧绘制计算的SCP中心，该函数输出一个mat文件，其中包含每个帧的EOIO解决方案以及一个绘制相机随时间变化的外势的图形G1_imageProducts将给定在F_variableExtrinsic Solution中求解的相应EOIO帧的每个单独帧校正到由D_gridGenExampleRect生成的用户指定的校正网格。该脚本显示校正的示例帧，并将连续帧输出为任一参考帧中的png文件以及集合集合的地理校正统计图像产品的png（图4）。关于统计产品和使用的更多信息，见[1]。B.L. Bruder和K.L.Brodie/SoftwareX 12（2020）1005827见图6。用于fixedMultiCamDemoData的D_gridGenExampleRect（A-B）和G2_pixelInstruments（C）的示例输出。（A）局部坐标中的示例地理校正图像。以及（B）地理坐标（C）在多个照相机中投影在图像空间上的像素仪器G2_pixelInstruments生成基于光学的地球物理处理算法所使用的pixelInstruments（像素阵列）的mat文件。该脚本的运行方式与G1_imageProducts类似，需要分别来自F_variableExtrinsicSolution和D_gridGenExampleRect的相同EOIO和格网输入，但它不是对完整影像进行地理校正和保存，而是对单个地理空间剖面或子采样格网进行校正。这些数据点为每个连续的倾斜图像校正，并顺序保存在一个垫文件。该脚本是预先填充的，以创建一个示例像素阵列，沿海岸样带，跨海岸样带和绘图的每一个例子（图。 5 B），以及他们的位置重新投影到第一帧图像（图。 5 A）。3.2. FixedMultiCamDemoData要 处 理 多 相 机 数 据 集 ， 用 户 需 要 取 消D_gridGenExampleRect、G1_imageProducts和G2_pixelInstruments中的部分，以将函数指向正确的图像目录、网格文件和EOIO解决方案。FixedMultiCamDemo-数据数据来自位于北卡罗来纳州Duck的43米高的塔顶上的六个固定摄像机;每个倾斜图像是2015年10月8日每30分钟拍摄的10分钟时间平均值。固定站路径从函数D_gridGenExample Rect开始，假设没有摄像机 移 动 ， 并 使 用 来 自 多 个 摄 像 机 的 预 填 充 IOEO 解 决 方 案（FixedMultiCamDe-moData;图6对于用户自己的数据，必须为每个摄像机运行前缀为A-C的脚本，以确定IOEO解决方案。.由于与uasDemoData位于同一位置，因此两个演示的网格参数相同。对于多相机数据，D_gridGenExampleRect也是一种探索相机接缝之间的地理校正精度的工具（使用羽化方法混合[1]）。G1_imageProducts 和 G2_pixelInstruments 函 数 输 出 - 为FixedMultiCamDemoData 提 供 与 uasDemoData 相 同 的 产 品 和 图形。 这两个功能都允许用户输入/加载一个变化的潮汐高度矢量来解释8B.L. Bruder和K.L.Brodie/SoftwareX 12（2020）100582潮汐高程，因此也是延长时间段内的校正高程 ; 此矢量将覆盖D_gridGenExampleRect中指定的高程。图6C突出显示了跨多个相机重新投影的像素仪器。 由于每个图像是以30分钟的间隔拍摄的，因此与10分钟的uasDemoData收集相比，不需要为FixedMultiCamDemoData运行函数E_scpSelection和F_variableExtrinsicSolution，因为没有摄像机移动。但是，如果每日热膨胀导致摄像机移动，并且存在可以用作SCP的固定点，则它们可以应用于固定摄像机图像。随后的函数可以选择输入固定站的时变外部解4. 影响CIRN定量海岸成像系统的主要影响是消除了许多海岸工程师、地球科学家和海洋学家在自己的工作中实施定量视频分析时面临的摄影测量障碍。定量视频技术是监控许多工程和研究项目的变革性技术。海岸图像可以定性和定量地利用，以提供有关海岸过程、海滩沙丘地形、近岸水深、沙洲位置、波浪和爬高高度以及海岸基础设施状况或港口或入口通航能力的信息由于在财务和时间方面的运营成本较低，工程师和科学家可以通过视频监控更及时地响应和监控更多的近岸过程。最近低成本视频技术（智能手机，UAS，go-Pros）的普及使得这项技术的硬件比以往任何时候都更容易获得。该工具箱旨在提供一个同样可访问的软件解决方案，其影响将是在多个地点、环境条件和空间尺度上增加定量沿海数据，最终有助于减少全球沿海灾害。5. 结论CIRN定量海岸成像系统是一个MATLAB脚本集合，用于从UAS和陆基相机图像中生成地理校正图像虽然专家们多年来一直采用类似的脚本操作，这个工具箱是为摄影测量新手和CIRN课程的一部分。演示教的基础知识，但也可以很容易地过渡到应用程序的操作数据处理。所提出的工具箱作为一个交钥匙应用程序的新手用户，但也是一个存储库的关键子功能，用户获得更多的经验，以开发自己的代码。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢资金由美国陆军工程兵团（ USACE ）的沿海海洋数据系统（CODS）计划提供。作者要感谢CIRN社区对代码的评估和提供的宝贵反馈。此外，还要感谢Argus的原始代码开发人员Rob Holman博士和John Stanley，感谢他们出色的指导和存储库基础。引用[1] Holman RA ， Stanley J. 《 阿 格 斯 的 历 史 和 技 术 能 力 》 。 Coastal Eng2007;54 （ 6 ） ： 477-91. http://dx.doi.org/10.1016/j.coastaleng 的 网 站 。2007.01.003。[2]Holman R，Plant N，Holland T. cBathy：一种用于估算近岸水深的稳健算法。J Geophys Res Ocean2013;118（5）：2595-609.[3]Cohen AB，Aarninkhof SGJ，Chickadel CC.沿岸流的视频观测。《2004年海岸工程》：（4年）。WorldScientific; 2005，p. 1468-79.[4]阿尔玛·伯格斯马·EWJ基于视频的深度反演技术，一种方法与合成案例的比较。Coastal Eng2018;138：199-209.[5] NG工厂、Holland KT、Haller MC。从波浪分辨时间序列图象估算海洋波数 。 IEEETransGeosciRemoteSens2008;46 （ 9 ） ： 2644-58.http://dx.doi.org/10.1109/TGRS.2008.919821网站。[6]Alexander PS，Holman RA.基于视频成像的近岸地貌定量化研究。Mar Geol2004;208（1）：101-11.http://dx.doi.org/10的网站。1016/j.margeo.2004.04.017。[7]Baldock TE ， Pasta T ， Power HE 。 碎 浪 带 状 况 的 视 频 遥 感 。 IEEEPotentials2017;36（2）：35-41.[8]Harley MD，Turner IL，Short AD，Ranasinghe R.评估和整合常规、RTK-GPS和图像派 生海滩调查方法， 用于每日至十 年期的海岸监测。 CoastalEng2011;58（2）：194-205.[9]佩普湖BLIM工具箱手册。IMAU代表R 08 -02，部门物理地理学大学，2008年，由作者根据要求提供[10]Ruessink BG，Pape L，Turner IL.每日到年际的跨岸沙洲迁移：来自多沙洲系统的观测。Cont Shelf Res2009;29（14）：1663-77.[11]Power HE，Holman RA，Baldock TE.由光学遥感冲带流型导出的冲带边界条件。 JGeophys Res Ocean2011;116（C6）.[12][10] van Dongeren A ， Plant N ， Cohen A ， Roelvink D ， Haller MC ，Catalán P. 海滩向导：通过模型计算和远程观测的同化进行近岸水深估计。CoastalEng2008;55（12）：1016-27.http://dx.doi.org/10.1016/j.coastaleng.2008.04.011网站。[13]Holland KT，Puleo JA，Kooney TN.使用基于视频的粒子图像测速技术对斜流进行量化。Coastal Eng2001;44（2）：65-77.[14]Almar R，Blenkinsopp C，Almeida LP，Cienfuegos R，Catalán PA.使用Radon变换的波浪上升视频运动检测。2017年10月17日，《经济学人》，第46-51页。http://dx.doi.org/10.1016/j.coastaleng.2017.09.015网站。[15]杨文龙，李晓梅. 海岸线监控的新算法从沿海视频系统。Earth Sci Inf2017;10（4）：495-506.[16]Almar R ， et al. A new breaking wave height direct estimator fromvideoimagery. Coastal Eng2012;61：42-8.[17][10]杨晓，王晓，王晓.从视频成像中提取波形：一种新方法。2008年：（5年）。World Scientific; 2009，p. 661比73[18]NG工厂，Aarninkhof SGJ，特纳 IL，金斯敦 KS. 的性能 海岸线检测模型应用于视频图像。J Coast Res2007;658-70.[19]Aarninkhof SGJ，Ruessink BG，Roelvink JA.根据时间曝光视频图像进行近岸潮下水深测量。J Geophys Res Ocean 2005;110（C6）.[20] 黄文辉，陈文辉，陈文辉.使用小型四轴飞行器的冲浪区表征：技术问题和程 序 。 IEEE TransGeosci Remote Sens 2017;55 （ 4 ） ： 2017-27.http://dx.doi.org/10.1109/TGRS.2016.2635120网站。[21]沃斯湾使用旋翼无人机对近岸区域进行遥感。 新南威尔士大学; 2017年。[22]荷兰KT，霍尔曼RA，李普曼TC，斯坦利J，工厂N。视频图像在近岸海洋学野 外 研 究 中 的 实 际 应 用 。 IEEE J Ocean Eng 1997;22 （ 1 ） ： 81-91.http://dx.doi.org/10.1109/48.557542网站。[23]布盖摄像机标定工具箱，第1080卷。2008年，URLhttp://www.vision.caltech.edu/bouguetj/calib_doc。