没有合适的资源?快使用搜索试试~ 我知道了~
首页相机姿态PAE:提升位置精度,轻量化优化与重建存储
相机姿态PAE:提升位置精度,轻量化优化与重建存储
0 下载量 186 浏览量
更新于2024-06-19
收藏 738KB PDF 举报
本文主要探讨了一种名为"相机姿态自动编码器"(Camera Pose Auto-Encoder, PAE)的新型技术,它旨在改进姿态回归任务的性能,同时在内存效率和运行时间上提供优势。相机姿态自动编码器是一种基于深度学习的方法,它采用了一种教师-学生框架,其中APR(绝对姿态回归器)网络被用作"教师",指导多层编码器的学习。PAE的目标是通过学习一种潜在的姿态表示,能够在不依赖于查询相机内在参数的情况下,高效地估计相机的位置和方向。 相较于传统的基于结构的定位方案,APR和PAE提供了不同的权衡。APR虽然在精度上可能更为先进,但可能存在较高的存储需求和计算开销。相比之下,PAE通过轻量级的测试时间优化策略,如利用编码器的最接近解来细化相机位置估计,实现了在剑桥地标和7Scenes基准上的顶尖位置精度,同时保持了较低的内存成本。 文章特别强调了PAE在实际应用中的价值,比如在虚拟现实、增强现实、室内导航和自动驾驶等领域,它能够处理没有内在参数或内在参数不准确的情况。此外,PAE还展示了训练图像可以从学习到的姿势编码中重建的能力,这为整合来自训练集的视觉信息提供了可能性,进一步增强了其在计算机视觉中的适应性和灵活性。 该研究的工作成果包括开源的代码和预训练模型,便于其他研究人员在相关领域进行深入探索和应用。相机姿态自动编码器为解决姿态估计问题提供了一种创新且高效的解决方案,具有广泛的实际应用前景。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/88587898/bg4.jpg)
+v:mala2255获取更多论
文
4岁。Saught和Y. 凯勒
查询和参考相机。它们还需要存储用于检索将被匹配的参考图像的图像
描述符以及它们的局部特征的3D坐标。通过3D点描述符的乘积量化[39]
或仅使用所有3D点的子集[19,30],可以减少所需的内存。例如,可以
通过优先匹配步骤获得该子集,该步骤首先考虑更有可能产生有效2D到
3D匹配的特征[30]。最近,Sarlin等人。[29]提出了一种CNN来检测多级
不 变 视 觉 特 征 ,对 查 询 和 参 考 图像 具 有 像 素 级 置 信 度 。 Levenberg-
Marquardt优化以由粗到精的方式应用,以使用其置信度匹配相应的特
征,并且训练是有监督的 由预测的姿势。代替检索参考图像和匹配局
部特征以获得2D到3D对应,一些方法直接从查询图像回归3D场景坐标
[35]。从查询图像回归的2D像素和3D坐标之间的所得匹配用于使用PnP-
RANSAC估计姿态。Brachmann和Rother[3,4]的推广 这种方法通过训练
端到端可训练网络来实现。使用CNN来估计与查询图像中的像素相对应
的3D位置,并且 可微分PnP-RANSAC使用2D到3D对应关系来估计相机
姿态。这种方法实现了最先进的精度,但类似于其他基于结构的姿态估
计方法,需要查询相机的固有特性。
2.2
基于回归的位姿估计
Kendall等人。[16]是第一个将卷积骨干应用于绝对姿态回归的人,其
中 相 机 姿 态 直 接 从 查 询 图 像 回 归 。 具 体 来 说 , MLP 头 被 连 接 到
GoogLeNet骨干,以回归相机基于回归的方法远不如基于SOTA结构的
定位准确[3,4],但允许在几毫秒内进行单次前向传递的姿态估计,
而无需查询可能不准确且不可用的相机固有参数。一些APR公式使用
不同的CNN骨干[18,21,44,33]和MLP头的更深架构[44,21]提出。
其他作品试图通过对随机丢弃的激活模型的预测进行平均来减少过拟
合[17],或者通过使用长短期记忆(LSTM)层来减少全局图像编码的
维度[42]。多模态融合(例如,使用惯性传感器)也被建议作为提高
精度的一种手段[6]。基于注意力的方案和变压器最近被证明可以提高
APR的性能。Wang等人建议使用注意力来指导回归过程[43]。点积自
注意力被应用于CNN主干的输出,并使用基于注意力的新表示(通过
求和)进行更新。然后用MLP头部回归姿势。一种基于变换器的多场
景绝对姿态回归方法是由Switt等人提出的。[34]。在他们的工作中,
作者使用了一个共享的主干,使用一个完整的Transformer对多个场景
该方案被证明提供SOTA多场景姿态精度相比,目前的APR。APR中的
主要挑战之一是权衡位置和方向损失。Kendall等人
剩余17页未读,继续阅读
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 构建Cadence PSpice仿真模型库教程
- VMware 10.0安装指南:步骤详解与网络、文件共享解决方案
- 中国互联网20周年必读:影响行业的100本经典书籍
- SQL Server 2000 Analysis Services的经典MDX查询示例
- VC6.0 MFC操作Excel教程:亲测Win7下的应用与保存技巧
- 使用Python NetworkX处理网络图
- 科技驱动:计算机控制技术的革新与应用
- MF-1型机器人硬件与robobasic编程详解
- ADC性能指标解析:超越位数、SNR和谐波
- 通用示波器改造为逻辑分析仪:0-1字符显示与电路设计
- C++实现TCP控制台客户端
- SOA架构下ESB在卷烟厂的信息整合与决策支持
- 三维人脸识别:技术进展与应用解析
- 单张人脸图像的眼镜边框自动去除方法
- C语言绘制图形:余弦曲线与正弦函数示例
- Matlab 文件操作入门:fopen、fclose、fprintf、fscanf 等函数使用详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)