3D照片风格化：从单个图像生成风格化的新视图

14 浏览量更新于2025-01-16 收藏 26.83MB PDF 举报

16273

3D照片风格化：学习从单个图像生成风格化的新视图

FangzhouMu1*JianWang2†YichengWu2†YinLi1†

1威斯康星大学麦迪逊分校2Snap研究1{fmu2,yin.li}@wisc.edu2{jwang4,

yicheng.wu}@snap.com

单个内容图像+风格风格化视图1风格化视图2

图1.3D照片风格化。给定单个内容图像，我们的方法以任意风格合成场景的新视图。通过这样做，我们的方法在现有照片中提供了一个沉浸式的观看体验，让人回忆起一个难忘的时刻。

摘要

视觉内容创作在移动摄影和AR/VR应用方面引起了极大的兴趣。风格转移和单图像3D摄影

作为两个典型的任务迄今为止发展独立。在本文中，我们将两者联系起来，解决了3D照片

风格化这一具有挑战性的任务——在给定任意风格的情况下，从单个图像生成风格化的新

视图。我们的关键直觉是风格转移和视图合成必须共同建模。为此，我们提出了一个深度

模型，该模型从场景的点云表示中学习具有几何感知的内容特征，从而生成在视图之间一

致的高质量风格化图像。此外，我们引入了一种新的训练协议，以便只使用2D图像进行学

习。通过广泛的定性和定量研究，我们展示了我们方法的优越性，并展示了我们方法在从

2D图像资产创建3D内容的不断增长的需求下的关键应用。1

*方舟在Snap研究实习期间完成了部分工作†共同通讯作者1

项目页面：http://pages.cs.wisc.edu/˜fmu/style3d

1.引言

给定输入的内容图像和参考风格图像，神经风格转移[4,13,

14,16,22,24,32,35,42,

50]创建了一幅“以风格为画笔”的内容图像。尽管得到了

高质量的风格化图像，但结果仅限于内容图像的相同视角。

如果我们可以从不同的视角渲染风格化图像呢？见图1中的

两个例子。当与视差一起显示时，这种能力将为2D图像提供

更加沉浸式的视觉体验，并支持在移动和AR/VR设备上交互

浏览3D照片的应用。在本文中，我们解决了这一新任务，即

从单个输入图像和任意参考风格图像生成风格化的新视图，

如图1所示。我们将这个任务称为3D照片风格化——风格转

移和新视图合成的结合。

3D照片风格化存在几个主要的技术障碍。正如[21]所观察到

的那样，直接将现有的风格转移方法和新颖的视图合成方法

结合起来，即使使用了通过运动结构和多视图立体测量获得

的密集的3D几何，也会产生模糊或不一致的风格化图像。当

输入为单个内容图像时，这个挑战进一步表现出来，方法必

须依赖于单目视觉。

下载后可阅读完整内容，剩余9页未读，立即下载

cpongm

粉丝: 6

3D照片风格化：从单个图像生成风格化的新视图

构建Domino Web视图：设计与操作

PostgreSQL C# 开发工具V3.0：自动化脚本生成

Domino Web视图设计：构建嵌入式视图模板

librender:基于单个对象的渲染器

webrevs：为webrevs自动生成的JSON文件

Android自定义视图：实现直播风格的圆点加载动画

打造模块化微日志视图：Pippo与WebSocket的应用实践

Domino Web视图设计：内嵌HTML与风格定制教程

JCreator Java开发工具使用教程：从工程到代码视图

探索iOS功能区视图：WOWRibbonView源码解析

最新资源