多服装网络：图像驱动的3D服装着装与高级控制

多服装网络（Multi-GarmentNet，MGN）是一种创新的深度学习模型，旨在从图像中精确地预测和理解3D人物的着装。它突破了传统的单表面表示方法，如网格或体素，将服装和身体形状分离并提供更高的控制度。MGN的核心贡献在于其能够从视频的几帧（1-8帧）中提取信息，将这些信息映射到SMPL[40]模型，这是一种流行的人体参数化模型，用于表示人类的三维姿态和形状。 MGN的设计目标在于实现更加逼真和可控的3D重建，这对于虚拟现实/增强现实（VR/AR）、娱乐、电影制作以及虚拟试穿等应用场景具有重要意义。它通过一个新颖的数据集训练，这个数据集包含712个数字化的服装，它们被精确地与真实世界中不同服装和姿势的人体扫描对应。通过这个过程，模型学会了如何将一件服装适应不同的体型和姿势。 与先前的方法相比，MGN的主要优势在于： 1. 高质量的3D重建：MGN能够生成更精细的服装和身体模型，提供了显著提高的视觉效果，使得重建结果更为逼真。 2. 控制性增强：MGN不仅能从一个主体中推断出3D服装，并将其“穿戴”到另一个主体上，如图1所示，这在先前技术中是难以实现的。用户可以根据需要调整服装的体型、纹理和几何形状，实现个性化的着装效果。 3. 灵活性：无论是来自数字衣柜的服装还是MGN预测的服装，都可以应用于任何目标主体和姿势，极大地扩展了应用场景的灵活性。 为了促进研究和应用的发展，MGN团队将公开提供他们的数字衣柜数据集、模型和相关代码，以便其他研究人员能够在他们的工作中利用服装穿着SMPL的功能。这一工作不仅推动了计算机视觉和图形学领域的发展，也为3D人像处理和交互式体验技术开辟了新的可能性。