图像的透视变换，以便实现对图像对象位置、大小和距离的准确重建

SoftwareX 10 （ 2019 ） 软件100333CameraTransform 的 ：A Python package for Perspective 视角Corrections 的而且 Image mapping 地图理查德·C。Gerum A A，∗塞巴斯蒂安 · 里希特A A，B亚历山大 · 温特A A，B克里斯托弗 · 马克A A，Ben Fabry 。A A作者 ： Céline Le Bohec C，D丹尼尔 · P · 辛德勒A A，BA A Biophysics 生物 物理 学集团 ，司of物理 ，大学of埃尔 兰根 - 纽伦堡 ，GermanyBapply Ocean Physics及工程 学 ，Woods 的hole Oceanographic 海洋 学机构 ，Woods 的hole ，MA ，USAC中心Scientifique de摩纳哥 ，区de生物 学 Biology波兰 ，原则of摩纳哥 ，Monaco 摩纳哥D大学de斯特拉斯堡 ，CNRS ，IPHC ，UMR 7178, Strasbourg ，法国A A r t i c l E i n F o ;Article 文章History ：接收5六月2019 收到在Revised Form 24 September 2019 年 9 月24 日 接受2019Keywords：Perspective projectionQuantitative image analysis地理参考图相机 镜头 Camera LensdistortionA B sT RA C t摄像机图像和视频记录是调查自然栖息地中动物的简单和非侵入性工具。定量评估，通常需要对图像中的对象位置，大小和距离进行准确的重建。Here ， we provide an open source software package toperform 我们 提供 一 个 执行 的 开源 软件 包SUCH卡路里 。 OUR办法allows 的The user 用户两 个Correct for Perspective 视角破坏 ，将 图像 转换 为 “ 鸟 眼 ” View projects ， 或 将 图像 协调 器 转换为 现实 世界 的 协调 器 和 反之 亦然 。相机 的 参数 ， 是 必要 的 ， 以 执行 类似 的 图像 校正 和 转换（ 电梯 ， 倾斜/滚动 的 距离 ， 并 头 的 相机 ） 必须 从 图像 使用 上下文 信息 作为 可见 的 视野 ，GPS 坐标 的 地标 ， 已知 的 对象 大小 ，or images of The SAME Object obtained 的from Different 不同Viewing天使 所有Mathematical操作 在 Python 包 中 实现CameraTransform 公司。实施的性能是使用已知相机参数的计算机生成合成图像进行评估的。Moreover，我们测试了我们的算法在图像上的皇帝企鹅殖民地，并证明相机拍摄和滚动镜头可以预测一个错误，而不是一个错误，相机的高度小于5%。theCameraTransform公司基于矩阵的图像转换和定量图像信息的提取。扩展 文件 和Usage Examples 实例在AN生态 学Context are提供athttp://cameratransform.readthedocs.io。©2019 the作者 . Published 发布By Elsevier B . V 。 This is AN open 开放access 访问Article 文章Under The ccby License（http://creativecommons.org/licenses/by/4.0/）.codemetadataCurrentcode Version 版本V1.1常驻link 链接两 个代码/存储 库used for this code Version 版本https://github.com/ElsevierSoftwareX/SOFTX_2019_198Legal 合法code LicenseMITCode 版本系统usedGitSoftwarecode语言 ，工具 ，及Services 服务usedPython ， Matplotlib ， Pylustrator ， SciPy ，Numpy ， Pandas Compilation Requirements ， 操作 环境&依赖 性Python v3.4.x and HiGHERif available 相关 链接开发 商手册/Manualhttp://cameratransform.readthedocs.org/支援 Emailfor Question 问题Richard . Gerum （ 德国 ）fau.de∗ Corresponding 相关作者 |Email address：Richard . Gerum （ 德国 ）fau.de（ R . C 。 Gerum ） 。https://doi.org/10.1016/j.softx.2019.1003331. Introduction介绍相机 陷阱 ， time-lapse 记录 ， 或 视频 记录 在 生态 学 研究中 被 广泛 使用 的 工具 [1，2 for esti-mating abundance （ 英语 ： Mating abundance ）3” （ 《 行为 研究 》 ）4 ，5].however，suchimagesinherentlycontainperspectivedistortions that （ 这些 图像 通常 包含 前瞻 性 的 偏差 ）need2352-7110/© 2019 年 ， 作者 ？ 2013 年 12 月 21 日@下午 12 时 45 分 i = =http://creativecommons.org/licenses/by/4.0/）.Contents lists available 可 提供ScienceDirect 的software xJournal 日志主页 ：www.elsevier.com/locate/softx2R. C。 罗 文 ，s 。 Judge ，a . Winterl et艾尔 /software x 10（ 2019 ）100333××==××==Fig. 1。相机参数2. Intrinsic parameters：Pixels中图像的尺寸wimagehimage1）求tan（wsensor 传 感 器hsensor 传 感 器（重定向自The Focal Length）F in（mm）extrinsicparameters：（c）side view：the Elevation相关Specifies the height of the camera above a reference altitude，e.g. above ground，美国标题传感器正常（sensor normal）和垂直方向（vertical direction）之间的距离。(d)上一个：THE offset（x，y）specifies the x，y coordinates of the（X，Y）1 ） reference position （x 0， ，y（ 0 ） ，且 y HEADING The Angle Between 的 评论x Direction （ 方向 ） 和 Viewing Direction （ 观看 方向 ） (e)Imagesensor ：The roll specify 规格The Angle Between The lowersensor 传感 器EDGE及The横向Direction 。to accounted for when accurate positions and distances need to什么 时候 需要 会计 算be衡量 。 TO Correct for Perspective 视角distortion及两 个Map image points to real-world positions ， itis paramount to know the intrinsic and extrinsic cameraparameters （ 现实 世界 中 的 位置 ， 它 是 参数 化 的 ， 以 了解 内在 和 外在 相机 参数 ）6，7].实际上，我们可以说：RAMETERS就是传感器和镜头。Extrinsic 的参数 是 该 场景 中的 地理 相机 位置 相对 于 Landmarks ， 相机 的 海拔 ， 倾斜/滚动 的 角度 ， 和 标题 .极端参数的一些，hower，往往是difficult或imprac—在记录的时间在野外测量.在 这里 wepresent 出席methods 方法两 个Reconstruct 重建unknown极端 主义camera3.1. intrinsic 内在 的parameters 参数intrinsic matrix entries contain information about the fo - - callength 内在 矩阵 的 长度 信息F 2013 第 十 届 中国 国际 摄影 展（wsensor 传感 器hsensor 传感 器1 ， 则 实数 a = （wimagehimage在 Pixels（ See ）Fig. 1（ a ， b ） ？具体 地 说 ， 内在 矩阵 是 有效 的 焦长度FPIX 2013 第 十 届 中国 国际 汽联 （wimage/2, himage/（ 2 ）（F PIX 0wimage/20）parameters from features in the image.（图像中的特征）数学 过程 - - 因为 这个 重建 是 基于 线性 代数 和isCintr。=0FPIXhimage/200010（1）执行在The Python package CameraTransform 公司。 在重建 外部相机 参数 ，CameraTransform 公司供应 商A A工具 箱两 个transform point 地点协调 员在The image地理 坐标 。在 以下的 ， 我们 解释 数学 - 详细 说明 重建 的 不 确定 性 ， 和 描述 实际 操作applications 。2. Software完整 的 软件CameraTransform 公司， released under the MITlicense ， is Implemented in Python 3.6 （ 在 Python 3.6 中 实现 ）8解释 型 编程 语言 优化 科学 目的为了最大限度地提高效率，我们使用了多个开源图书馆。对于 数值 操作 ， 如 矩阵 操作 ， 我们 使用 Numpy 。图书馆（9]. Statistical Distributionare执行使用 SciPy 软件 包 （10].数据 可视化 （ 使用 plotlib ）11（ python ） （12图书馆 已 被 保存 ， 使用 熊猫 图书馆 。（13].3. Cameramatrix映射现实世界的点（X，Y，Z坐标在米）的所有信息都需要在相机矩阵中存储。相机 矩阵 在 投影 坐标 中 表达及is分割Into两个部分-The intrinsic 内在 的matrix和 对应 于 固有 和 外在 相机参数 的 外在 矩阵（14].FPIX =F·wimage/wsensor 传感 器（ 2 ）Diagonal Elements帐户从图像中的像素重新扩展到传感器上的毫米位置。图像 与 传感 器 之间 的 偏移 量 ， 而 图像 的 起源 位于顶部 左侧 角 ， 和The Origin of The sensor 传感 器协调 员is atThe中心 |EQ。（1）only applies for the rectlinear projection of a 线性投影 的 应用Hole - 孔camera（ Camera ）（ Obscura ） 。 theCameraTransform 公 司 package 因 此 ， 支 持 Cylindrical 的 orequirectangular 的 projects ， Which Cannot be expressed inmatrix notation . （ 不能 用 矩阵 表示 法 表示 。These arecommonly used for panoramic 其它images（ See补充信息 ） 。the package also supports corrections for radial lens distortions（ 英 语 ： package also supports corrections for radial lensdistortions ）信息 ） 。3.2. Extrinsic 的parameters 参数镜头的偏移量（X，Y，Z）相对于任意固定的现实世界的参考点（0.0.0）。自定义，（x 0，y 0）是相机的位置，而参考点的z坐标是地面水平，因此z是这是相机的升级。协调系统的X，Y平面通常是水平平面。Furthermore ， 外在 矩阵 包含 了 时间 线α 标 题《 The Heading Angle 》αHEADING 英文 片名 And the Roll Angleαroll《 相机 》 （ See Fig.1 E 和 补充 信息 ） 。外部 参数 用于 轮换 并 翻译 内在 相机 矩阵 ， 与 主要 目的 到映射 或 项目3D -R. C。 罗 文 ，s 。 Judge ，a . Winterl et艾尔 /software x 10（ 2019 ）1003333=××±― ―±±从现实世界的坐标点到2—D图像协调员。背景 投影 从 一 个 2 - D图像 点 到 3D 现实 世界 的 坐标 ， however ， 一直 是 欠 明确的 ， 以 在 图像 中 的 油漆 的 信息 ， 并 在 此 之前 ， 需要 一 个附加 的 约束 ， 即 z-coordinatereal-world - point 与 另 一 个real-world 的 距离 。补充 资料explains 解释严重Strategies 战略两个 PERFORFORM The 英 文名 称：Rectilinear ，Cylindrical ， or Equirectangular Backprojection 。4. Fitting of the Extrinsic Camera 其它 优惠/消息parameters参数当本质相机参数描述相机和镜头镜头的属性是非常清楚的，这往往不是案例的外部参数定义了相机的方向。下面，我们将从最简单的案例开始，其中相机的头和位置是无关紧要的，因此可以设置任意值。This leaves only three free parameters （ 仅 限三 个 参数 ）Elevation 相关，标题及roll，Unless The camera何为 Properly横 向 aligned， 在 Which case 问 题 rollisapproximately 近似 的Zero 。 The More 更多complicated 复杂的case 问题where 哪儿Knowledge 知识of camera HEADING和位置is重要 ，E . G 。 for多 相机setups ，or IF The图像 需要 被地理 映射 ， 它 被 描述 下面 。the CameraTransform 公司软件 包 提供 多种 配置 - 允许 用户从 字符 集 中 的 特征 获取 外部 参数image .4.1. fitting by object 相关heightif ifThe true height of Objects在The image is认识 的 ，for例如 ， 对于 一 组 动物 ， 或者 更 一般 地 说 ， 如果 图像 中 看到的 点 之间 的 距离 是 已知 的 ， 相机 参数 可以 是 合适 的 。This works especially well for the tilt angle as it most sensitivelyaffects the apparent object height . （ 这个 作品 特别 适合 作为它 最 敏感 的 影响 对象 height ）补充 资料 ， 图 B.5b ） 。Toevaluate the parameter uncertain - ties ， we use Metropolis 蒙特卡洛 抽样 ，16，17].这个采样过程的输入是一个基（foot）和顶（head）位置的列表。Optionally ， also the position of thehori . （ 可选 的 ， 因此 位置 的 hori ）Landmark ，or参考Objects SUCH as rulers 相关or Survey波兰 Can be提供两 个改善The algorithm 算法（ for Details湖下面 ） 。The AlgorithmProjects the foot positions from the image to real——worldcoordinates，using the constraint z 0，then projects the headpositions from the image to real—world coordinates，using as aconstrainted the x position of the projects foot points.用图片中的位置到现实世界中的位置，然后将项目标记为项目的x位置。这些点对之间的距离是物体的估计比例。这 一 部分 已经 给 了 一 个已知 的 重要 分布 的 概率 （ 即 用户 不 需要你 知道 吗 Know the精确height but CAN instead提供 商AN估计for The mean 和standard Deviation ，or any非 GAUSIAN Distribution of Theexpected object 预期 对象Heights ） 。Metropolis algorithm starts with arbitrarily chosen pa 计量值 （ 用于 升降 ， 倾斜 和 滚动 ） 和 评估 概率p0 assigned tothese parameter values 相关 的 值Optionally ， the user canprovide starting values ， but usually the algorithm converges（ 可选 ， 用户 可以 启动 值 ， 但 使用 算法 进行 转换 ）wellfrom A A Random初始 化 。 Subsequently 的 。小 随机 数 是 添加 到 参数 值 ， 并 对应 概率p1这 是 重新 评估 。如果 概率 增加 ， 新 参数 样本 已 保存 ， 如果 概率 下降 ， 新 样本 仅 用 概率 保存p1/p0， otherwise discarded 。经过多次迭代（典型地在我们的案例中需要10 000个，在标准桌面PC上通常需要0.5分钟），所保存的参数样本集代表了所指定参数的分布（提升，倾斜和滚动）。FromThese 这些parameter 参数样本 ，one 一CAN最 后Compute The平均 值 ： denoting the best - fit parametervalues ， and the standard deviation or credible interpretals ，denoting the uncertainty of the parameters . （ 拒绝 最 佳 拟合参数 值 ， 标准 偏差 或 可信 区间 ）如果一个地平线在图像中可见，CameraTrans—形式使用地平线线作为附加条件来限制Tecker—Mine外部相机参数。Based onthe elevation ， tilt and roll ， the astronomical horizon line of aperfectly spher - ical earth is projected onto the image ， and itsdistance to the user-provided horizon is . 基于 高度 ， 时间 和位置 ， 一 个 完美 的 球体 的 天文 地平线 - 科学 地球 是 投射 在图像 上 ， 它 的 距离 到 用户 提供 的 视野 是最 低 限度 。TOevaluate this方法 ，AN artificial 艺术image（Fig. 2 a ）iscreated using the 使 用 CameraTransform 公 司 包。 A set ofrectangles with a width 一 个 长度 的 集合of 30 cm及A A heightof 0.75 m are randomy 随机 的placed at di-Tances 范围 从 50 米到 150 米 ， 并 使用 以下 摄像 机 参数 子 顺序 投影 到 图像 平面 ： 焦点 长度14 mm ，sensor 传感 器Size 17.39.7 mm with46082592 PX ，cameraheight 16.1 m ， 标 题 Angle 85.3· ， 及 roll Angle 0.3· 。usingThe 软件ClickPoints 问题（18 1 . 已知 函数 y = {1 ， 2} ， 则 a10 =（Fig. 2 c ） 并 为 他们 提供 抽样 常规 的 输入 。We theninvestigate how the estimated distribution of elevation ， tiltangle，and roll angle vary with the number of provided objects.我们调查了这个估计的分布，tilt angle和提供的对象的数量。Theanalysis is performed with 分析 是 被 执行 的及Without A A地平线 ，for 5, 10, 25,及50 randomy 随机 的Chosen 对象 the结果show that By包括A A Larger 的Number nof objects ， the uncertainty of the parameter estimate （ as indi- cated ）By The width of The分布 ）Decreases 的Roughly 的asn― ―0。5（Fig. 2）.“ 我们 发现 ， 两 个 摄像 头 的 提升 和 直到 远 距离可以 被 适合 considerably 较少 不 确定 性 ， 如果 一 个 地平线is提供（Fig. 2 h ， h ， i ） ，compared 比较两 个parameter 参数2013 第 十 届 中国 国际 公开 赛 （Fig. 2（ D ， E ， F ） ？Furthermore ， The Uncertainty of the parameter estimates其它 相关 文章on The position of The Objects在The image（ See专 辑 - Tary 信 息 ） 。 Objects 对 象 that are evenly 什 么 的Distributed 分布throughout the image provide better estimatescompared to objects that are clustered （ 不 含 图像 提供 者 ，优于 估计 对象 ）在The Front or在The Back of The image .2013年12月21日@下午12时45分i == Fig. 3 1 ） =植物 保护 区Aptenodytes Forsteri 南 极 洲 （ 英 语 ： Microbs system ）（ Microbs system ）15]）.摄影 机 定位 在 一 个 冰岛 ， 海拔 19米 ， 以 海 平面 为 测量differential 差别GPS | We估计The极端主义camera parameters by 参数提供 providing The feet及head头Positions 地点of 50动物 ，假设 平均 值 为 0.75 m ， 且 不 确定性 已 作为 免费 参数 。Furthermore，我们假设，所有动物的Z位置是完全平等的，因为他们是站在冰冻的海洋冰，我们假设是平坦 的 。 Fig.3 shows the projected top 项 目 View 基 于 on Theextract ： 极 端 主 义 camera parameters 。 外 部 参 数 是 ：elevation。90。7米，标题84。60。42·而且 Roll0。20。41·。 大小 变异 The SizeVariation ofThepenguins，which was left as a free parameter for the metropolisalgorithm to sample，was estimated to be 0.059 m.这是估计为100米.现有 参数 现在 可以 使用 e.g. 来 估计 在 荷兰 的 散 列 面积The image . for this Purpose ，The user 用户PAINTS The区域上一篇 ： 超 可爱 的 企鹅 Occupied by the Heads of HuddlingPenguins （ Pink Line ） Fig.3 A ） ， 并 且 该 区 域 的circumference 已 转变 为 一 个 顶 视图 投影 （ Pink Line in Fig.3d ， f ， and moved down （ 移动 下 ， 距离 为0.75 m（ 一 个Penguin 企鹅height ）两 个indicate The huddle地区（ GreenLine ）Fig. 3（ D ， F ） ？4.2. Fitting By 的地理 参考1戴尔PowerEdge 12 G T320（Fig. 4 a ） 图像 中 的 对象 的大小 并 不 完全 超出 y-positions 的 范围 ， 并且 由 对象 heightfails 拟合 。如果没有可见的视野，那么图像需要一种不同的方法如果 一 个 准确 的 地图 或 一 个 高 分辨率 的 卫星 图像 的 感 兴趣 的 区域 是 可用 的 ， 点 响应 之间 的 图像 和 地图 可以 使用Instead 来 估计 相机 参数 使用 图像 登记办法 。4R. C。 罗 文 ，s 。 Judge ，a . Winterl et艾尔 /software x 10（ 2019 ）100333====Fig. 2。 影响对象数量以确定摄像头的提升，直到距离和滚动范围。(a)Artificial image with randomly placed objects and horizon（随机放置对象和地平线的人工图像）(b)3地平线 上 的 点 和 50 个 对象 的 脚 和 头 点 是 手动 选择 的 。 大 都会 抽样 对 上述 参数 的 不 确定 性 （ Elevation ， tilt ， andRoll ）for A A fit Without using HorizonPoints 项目（ D ） - （ F ）及with Horizon Points 项目（ 1 ） （ i ） ，for Different 不同Number of randomy 随机 的selected（ without replacing ）Objects（ N5，blue line；n？10，橙线；N15，green line，n5红线（Red Line），true value，black line。(For原文标题：Interpretation of the References to Color in thisFigure legendReaderis reference两 个The WEB Version 版本of this article . ）在The示例SHOWN在Fig. 4，Photographs 照片of A A王北京（Aptenodytes 的Patagonicus 的）colony at The BAIE du海 灵《 Possession Island 》Crozet Archipelago ）Have Been Takenfrom A A直升 机Fly-ing approximately 近似 的300 m Aboveground 。 We choose 选择Eight 2013 年 12 月 21 日@下午 12 时29 分 i = = Fig. 4 a ， c ） 。为了计算图像注册的成本功能，我们正在项目图像点（蓝点在Fig. 4 1 . 卫星 图像 中 的 蓝点 （ bluepoints in ）Fig. 4 c ） 计算 目标 点 的 距离 （ 红 点 ）Fig.4 b ，c ） 。英文 片名 The Fit Routine of CameraTransform 公司Thencomputes the 其他height及标题of the camera as well as the 摄像机 一样 好相机 的 X ， Y-position 和 Heading 。示例In Fig.4with an RMS error of 0.76 m between transformed image andtarget points demonstrates that the fit routine matches all exceptone point ， which （ 转换 图像 和 目标 点 之间 ， 演示 适合 常规 匹配 除 一 个 点 外 ）is The branch point 地点of A A河thatHAS Shifted from The 2013 第 十 届 中国 国际 摄影 展 （Fig. 4c ） 。5. Stereo 的images如果对象大小是未知的，一个立体相机设置可以被用来确定多个对象的大小，这些对象是从两个不同的位置和角度记录的，提供两个图像中正确的对应点可以是模糊的标记，并且可以表示两个摄像头之间的距离或绝对大小ofA A single 单一Object在The image isknown 。CameraTransform 公 司 估 计 The relative 相 关 Orientation ofThe摄影 - eras By minimizing 最 低 限度The back-projected 的distance 距离of A A Marked一 个 图像 中 的 点 与 另 一 个 图像中 的 对应 点 的 线 （ epipolar 线 是 图像 B 中 与 图像 A 中 的 单个 点 的 线 ） ， 反之 亦然 （ 见 补充 图 C7 ） 。We found thata minimization of back-projection error in Pixels is preferable toa more . 我们 发现 ， 在 Pixels 中 将 反向 投影 错误 最 小 化 是首选 的direct最 小 化 的 距离 之间 的 Corresponding raysPoints 项目在TheWorld空间 ，杜两 个Scaling 的岛 。我们的方法基于蒙特卡洛方法，并提供了所估计参数的完整分布，以证明估算的不确定性。Furthermore ， 我们 的 方法 直接提供The relative 相关Orientation of The两 个摄像 头 ，Whereas的8 点 常见 算法 （19所以 ， 相对 的 取向 不 可能 是 客观 的 ，相对 的 取向 也 不 可能 是 客观 的 。extracted 。6. ImpactWe present the python package 我们 现在 提供 Python 包CameraTransform 公 司 for estimat-ing 的 极 端主 义 cameraparameters 参数基于on image特点 Features ，卫星 图像 ，及images obtained 的 from multiple Viewing 天 使 More - 关 于CameraTransform 公司allows 的users两 个地理 参考images or tocorrect 相关images for Perspective 视角distortion（ E.G. ） 两个obtain 相关top-view or ' bird ' s-eye ' ' view projects ） 。Thepackage has been previ - -APPLIE 应用for Studying皇帝及王Penguin 企鹅殖民 地（5， ，15，20， 但 一般 适用 于 其他 定量图像 分析where 哪儿The极端 主义camera parameters 参数werenot or不 可能 在 记录 的 时间 在 现场 测量 。该软件包是在GPLv3开源许可证下发布的，以允许在科学中持续使用和应用。Thedoc-documentationishostedon文件http://cameratransform.readthedocs.io并 进一步 详细 介绍 如何安装 该 软件 包 。文档 即 提供 了 大量 使用考试 。比赛 宣言 Declaration of CompetitionInteresttheAuthors 作 者 Declare 的 that They Have no knownCompeting 1 . 财务 - - 商业 利益 或 个人 关系 可能 引起 的influence The Work报告在this纸 。R. C。 罗 文 ，s 。 Judge ，a . Winterl et艾尔 /software x 10（ 2019 ）1003335Fig. 3。 Fit of camera parameters using image objects.使用图像对象拟合摄像机参数。(a)使用 MicroObs 系统 进行 图像 处理 （15《 企鹅 殖民 地 》脚（绿色）和头（黄色）的位置50企鹅是manually marked（shown in set（b））and the circumference of a huddle was marked（purple，shown in inset（c））.手工标记的50企鹅是在集合（b）中显示的头和脚的位置我们 使用 相机 来 预测 前景 （ 预测 头部 位置 显示 为 红色 正方 形 ） ， 以 将 图像 投射 到 顶部 视图 。insect（e）显示结果uncertainty 不 确定 性of The projected Pengui