海岸影像站设计：MATLAB代码库和应用程序，用于数据收集和图像处理

软件X 11（2020）100377原始软件出版物海岸影像站设计卡拉·M 作者：Margaret L. 帕尔姆斯滕美国海洋科学部海军研究实验室，1005 Balch Blvd.，斯坦尼斯航天中心，MS 39529，美国ar t i cl e i nf o文章历史记录：收到2019年收到修订版，2019年8月19日接受，2019年保留字：MATLAB海岸成像研究网遥感图像处理a b st ra ctStation Design是一个MATLAB代码库和应用程序，用于规划安装在固定平台上的摄像机或沿海地区的小型无人机系统（sUAS）的数据收集。或河流环境。图形用户界面通过基于以下信息提供相机阵列视场和图像分辨率的估计来简化设计数据收集的过程：从用户定义的相机配置的假设投影矩阵。用户可以将结果保存为地理标记的图像和keyhole标记语言文件，以便导入到地球浏览器中。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v1.0永久链接到代码/此代码版本使用的存储库https://github.com/ElsevierSoftwareX/SOFTX_2019_33法律代码许可证GNU通用公共许可证，版本3使用git的代码版本控制系统使用MATLAB 2018 a的软件代码语言、工具和服务编译要求、操作环境依赖性Delaware OpenEarth插件、CIRN支持插件（请参见更多信息）如果可用，链接到开发人员文档/手册https://github.com/Coastal-Imaging-Research-Network/Station-Design-Toolbox/StationDesignGui/UserGuide_StationDesignGUI.docx问题支持电子邮件kara. nrlssc.navy.mil1. 动机和意义图像在广泛的环境中提供了大量的信息，可用于对静态和动态现象进行定量测量。近年来波浪、表面流和水深的定量估计都可以从光学或红外视频中获得，这些视频是通过俯瞰海岸和河流区域的摄像机收集的[例如，1来自图像衍生变量的观测已被用于识别新的地球物理现象，监测环境数据中的长期特征，并为边界条件或同化到数值模型中提供数据第6自从科学家在第二次世界大战期间首次开始从胶片中提取地球物理参数以来[9]，在沿海地区使用成像技术，*通讯作者。电子邮件地址：kara. nrlssc.navy.mil（K.M.Koetje），margaret.nrlssc.navy.mil（M.L.Palmsten）。https://doi.org/10.1016/j.softx.2019.100377随着高质量计算机视觉相机的广泛可用性，低成本动作相机（即，GoPro摄像机）、网络摄像机、价格实惠的红外摄像机以及安装在小型无人机系统（sUAS）上的摄像机[1]。由于大量数据存储、更大的连接性和更高的传输速度以及现代摄影测量和计算机视觉方法，收集和处理视频图像的能力得到了提高。尽管可以轻松获得高质量的视频数据，由于提取地球物理数据的工具数量有限，新视频监测站的设计对于新用户来说可能是一个障碍，特别是那些没有摄影测量专业知识的为了满足这一需求，我们开发了一个图形用户界面（GUI）和一套MATLAB功能，旨在为科学家设计和选择新的固定平台视频成像站或sUAS数据收集的硬件。该应用程序的目标是通过在地理空间上可视化采样选择的结果来简化站点设计过程。用户可以比较相机型号、镜头、相机配置和站点位置，2352-7110/Elsevier B. V.这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx2K.M. Koetje和M.L. Palmsten / SoftwareX 11（2020）100377图1.一、 车站设计流程图。设计和购买选择。该软件产生摄像机视场和分辨率估计的校正图，并将图导出到Keyhole标记语言（KML）文件以导入到地球浏览器（例如，Google Earth）。设计沿海或江河视频监测站取决于观测要求。例如，海洋表面重力波的观测需要足够的视场来捕获几个波长，每个波长的最小空间分辨率约为5个样本[10]，导致在O（1000 m）的视场上的分辨率为O（10 m）。相比之下，使用大尺度粒子图像测速（LS-PIV）算法[11]观察河流表面水流河流应用中所需的视场通常小于对海浪成像所需的视场[12，13]。最终，台站设计可能会对从视频图像中提取的地球物理参数的质量以及计划项目的总体成功产生重大影响[14]。由于水面波的成像对摄像机姿态敏感[15]，因此台站设计人员必须考虑潜在摄像机安装位置、摄像机高度和摄像机指向角度的影响，并且由此产生的地球物理参数估计值可能会受到这些影响的影响。Holman等人[16]讨论了在开发基于sUAS的采样方案时这些考虑因素的2. 软件描述Station Design工具包包含使用MATLAB 2018a App Designer创建的基于MATLAB的应用程序该应用程序提供指导时，相机镜头之间的选择或快速确定是否初步系统设计将满足所需的视野和图像分辨率的要求。应用程序预测的视场和分辨率应视为估计值，而不是精确的表示。2.1. 软件构架该应用程序调用一个图形用户界面，并利用一套开放源码的MATLAB例程，以产生估计的相机足迹和分辨率地图。车站设计图可以分为四个整体组件：用户输入、计算机视觉功能、地理空间功能和输出（图1）。①的人。GUI和用户输入-Station Design GUI在MATLAB中打开一个用户界面应用程序，用户可以手动输入摄像机规格、站点位置信息，并提供支持计算例程的路径（图1，灰色框）。或者，用户可以选择先前生成的输入文件来填充输入参数。GUI所使用的轮廓线基于阵列中的各个相机视场和相机数量来计算相机方位角，校正在水平线上延伸的相机覆盖区，并在GUI窗口中渲染相机覆盖区。[ 17 ]第一章：沿海成像研究网络（CIRN）支持例行程序 1，绿框）提供机器视觉功能以计算相机与图像之间的几何关系，如所描述的[18]关于矩阵的定义。功能输出包括摄像机阵列视场和摄像机中心坐标系和局部笛卡尔坐标系中的图像分辨率图，为用户提供对摄像机捕获的视图的估计和所提出的成像站的分辨率。[19 ]第19话：你的心在哪里？1，红框）为MATLAB提供了丰富的开源地理空间工具，包括SuperTrans [20]，它可以在二维笛卡尔坐标系（例如，UTM）和地理坐标。SuperTrans从国际油气生产商协会（IOGP）[21]管理的EPSG大地测量参数数据集中提取数据，将摄像机视场的二维投影转换为地理坐标[18]。OpenEarth还提供GooglePlot工具箱来生成在地球浏览器中可查看的相机足迹和分辨率地图的地理标记叠加（例如，Google Earth），以便获得相机系统的范围和分辨率的物理透视图[22]。请注意，摄像机覆盖区的投影被映射到零高程（相对于用户选择的垂直基准），并且不针对地形或水面高程的变化进行校正二维图像在三维表面上的投影将在相机视场的预测中引入误差，并且应当被用作估计。输出文件-用户可以创建图像文件并将其保存到用户指定的目录中，该文件包含相机足迹和分辨率地图的渲染，以及可以在地球浏览器中查看的地理标记图像（图1）。 1、黄盒子）。3. 说明性实例在该示例中，相机系统处于设计阶段，在美国密西西比州的珠江上进行部署的目的K.M. Koetje和M.L. Palmsten / SoftwareX 11（2020）1003773图二、 工作站设计GUI，使用从输入文件中提取的用户输入填充。图3.第三章。由 应 用 程 序 生 成 的 摄 像 机 阵 列 的预测沿岸和跨岸图像分辨率的 等 值 线 图 。4K.M. Koetje和M.L. Palmsten / SoftwareX 11（2020）100377图四、 由应用程序生 成 并在Google Earth中查看的相机阵列的长距离分辨率曲面图。该站将收集空间分辨率足以进行LS-PIV。打开MATLAB后，用户选择OpenEarth的快捷方式。有关在MATLAB中安装OpenEarthSDK的信息，请参见随附的Station Design SDK用户指南软件[23]然后，用户打开Station Design GUI并完成三个步骤以生成输出文件。首先，相机信息被加载或输入到GUI（图11）。2）的情况。 软件中包含一个示例输入文件input_1.m。输入文件定义本示例中使用的摄像机、配置、方向和部署位置。用户还选择路径，CIRN支持目录和保存输出文件的路径。用户可以随时通过单击“保存用户输入”按钮并选择文件名来存档摄像机信息选项。接下来，用户选择“Plot Camera Footprint”按钮。计算得到的摄像机足迹并在GUI内的摄像机中心坐标系中绘制（图2）。最后，用户选择“生成KML文件”来创建一系列图像文件（图10）。 3）和地理标记的文件。用户可以通过打开Google Earth中的.kml文件获得相机阵列覆盖范围和分辨率的实际视图（图4）。对于给定的摄像机配置（图2），新站以所需的分辨率捕获河流表面的全宽进行LS-PIV分析。如果结果不足以实现实验的目标，则用户可以返回GUI并调整任何站配置输入，直到实现可接受的设计。4. 影响台站设计方案的主要影响是减少开发新的沿海视频监测台站的障碍，由于低成本光学和红外摄像机以及sUAS平台的可用性增加，新用户增加该工具箱以.kml文件的形式提供该工具箱可处理摄影测量，用户无需在开发新站点或飞行sUAS之前开发自己的代码，GUI简化了工作流程。最后，工具箱提供了示例相机和镜头配置，以帮助新用户为新站点做出明智的选择。站设计图的开发对于侧重于从沿海和河流环境中的图像提取地球物理参数的实际应用和研究例如，海岸监测站已被用于监测海岸工程项目（例如，澳大利亚昆士兰州的特威德湾和荷兰的沙引擎）[24，25]。海岸成像站可以提供边界信息，并验证近实时和预测模型[26]。最后，成像站可以为沿海和河流导航和灾害提供信息27]。Station Design是海岸成像研究网络（CIRN）内的一个开源存储库。CIRN开发者是研究人员，他们利用沿海、河口和河流环境中的可见现象特征。一个由学术和政府机构组成的国际团体使用CIRN的知识库，CIRN的新兵训练营和讲习班也推广使用这一工具5. 结论Station Design SDK提供了一个简单、用户友好的应用程序，它利用了现有的开源摄影、图像处理和地理空间绘图例程。该工具箱可以作为一个有价值的车站设计援助，K.M. Koetje和M.L. Palmsten / SoftwareX 11（2020）1003775专业人士和新手一样。该工具箱有助于CIRN管理和分发的现有存储库，提供了一个新的工具来加速和简化基于摄像机的监控系统的设计过程。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢作者由美国海军研究实验室基地计划通过海军研究办公室资助。台站设计模型使用了海岸成像研究网络（CIRN）支持模型和在MATLAB中开发的OpenEarth模型（Delaware）。引用[1]Holman RA，Stanley J.《阿格斯的历史和技术能力》。CoastEng2007;54（6-7）：477-91.[2]Taborda R，Silva A. COSMOS：一个轻量级的海岸视频监控系统。ComputGeosci2012;49：248-55.[3]Brignone M ， Schiaffino CF ， Isla FI ， Ferrari M. 海 滩 视 频 监 控 系 统 ：Beachkeeper Plus。Comput Geosci2012;49：53-61.[4]一个开源、低成本的基于视频的海岸监测系统。地球表面过程Landf 2010;35：1712-9. http://dx.doi.org/10的网站。1002/esp.2025。[5]李文辉，李文辉，李文辉，李文辉.海岸监测视频系统。In：Pranzini E，Wetzel L ，editors. 海 滩侵 蚀监 测， BEACHMED-E/Optimal项 目的 结 果。Firenze，IT：NuovaGraficaFiorentina Press; 2008，p. 101-9[6]Lippmann TC ， Holman RA. 沙 坝 形 态 的 时 空 变 异 性 。 J Geophys ResOceans1990;95（C7）：11575-90.[7]杨文龙，王晓梅，王晓梅. 从几天到几十年的海岸线变化：长期视频成像的结果。J Geophys Res Oceans2015;120（3）：2159-78.[8]Wilson G，Özkan-Haller H，Holman R，Haller M，Honegger D，Chick-adel C.通过遥感观测数据同化的冲浪带水深测量和环流预报。J Geophys ResOceans2014;119（3）：1993-2016.[9]威廉姆斯WW。敌占区海滩坡度的确定。Geogr J1947;109（1/3）：76-90.[10]NG工厂、Holland KT、Haller MC。从波浪分辨时间序列图象估算海洋波数。IEEE TransGeosci Remote Sens2008;46（9）：2644-58.[11] 美国地质调查局OSW表面速度测量仪（SurfBoard）：大尺度粒子速度测量 （ LSPIV ） 视 频 采 集 指 南 ， 第 5 版 .Atlassian Confluence 2018 。https://my.usgs.gov/confluence/pages/viewpage.action？pageId=546865360。[2019年7月18日访问]。[12]Puleo JA，McKenna TE，Holl KT，Calantoni J.从热红外图像的时间序列量化河流表面流。水资源研究2012;48（1）.[13]Palmsten ML，Kozarek JL，Calantoni J.曲流弯道中床形形态动力学的视频观测。Water Resour Res 2015;51（9）：7238- 5 7 .[14] [10]张文辉，张文辉.利用合成光学视频对波视角的线性深度反演灵敏度。海岸工程2019. http://dx.doi.org/10.1016/j.coastaleng.2019.103535网站。[15] 沃克河海洋光场统计。纽约：约翰威利父子公司; 一九九四年[16]Holman RA，Brodie KL，Spore NJ.使用小型四轴飞行器的冲浪区表征：技术问题和程序。IEEE TransGeosci RemoteSens2017;55（4）：2017-27.[17]海岸成像研究网络。支持例程。GitHub. 2017，https://github.com/Coastal-Imaging-Research-Network/Support-Routines/commit/e8039925eb10db8fc3f522019295e6ab6f92a96f.[2018年10月1日[18]Hartley RI，Zisserman A.计算机视觉中的多视图几何。第2版剑桥：剑桥大学出版社，2004年.[19]Delicious. OpenEarth工具，修订版15584 SVN.OSS。2018年12月28日，https://svn.oss。deltaresnl/repos/openearthtools/trunk/. [2018年10月1日访问]。[20]Delicious. OpenEarth产品套件：SuperTrans，版本8。Atlassian Confluence2011。https://publicwiki.deltares.nl/display/OET/SuperTrans网站。[2019年7月15日访问]。[21]国际油气生产商协会。EPSG大地测量参数数据集，版本9.7。2018年12月28日，中国科学院出版社。http://www.epsg-registry.org/[2018年10月[22]Delicious. OpenEarth技术笔记：Matlab绘图到Google Earth，版本14.AtlassianConfluence2015。https://publicwiki.deltares.nl/display/OET/Matlab+plotting+into+Google+Earth. [2019年7月15日访问]。[23]Koetje KM，Palmsten ML.车站设计工具箱用户指南。 备忘录报告7434-19-9867，美国海军研究实验室; 2019年， https://github.com/Coastal-Imaging-Research-Network/Station-Design-Side/releases/tag/v10/StationDesignGui。[24]特纳IL，安德森DJ。基于网络的“实时”海滩管理系统。Coast Eng2007;54（6-7）：555-65.[25]Stive MJF，de Schipper MA，Luijendijk AP，Aarninkhof SGJ，van Gelder-Maas C，van Thiel de Vries JSM等。J Coast Res2013;1001-8.[26] 作者：David S，J. J.海岸模型试验台STWAVE的研制与安装。技术说明I-93 ， 美 国 陆 军 工 程 兵 团 海 岸 和 水 力 工 程 ;2017 年 ，https://apps.dtic.mil/dtic/tr/fulltext/u2/1028126 pdf。[27]Holman R，Plant N，Holland T. cBathy：一种用于估算近岸水深的稳健算法。J Geophys Res Oceans2013;118（5）：2595-609.