PG-VTON：一种基于渐进推理范式的新型基于图像的虚拟试穿方法

​

PG-VTON: A Novel Image-Based Virtual Try-On Method via Progressive
Inference Paradigm

解决问题：本论文旨在解决虚拟试衣的问题，即如何让新的服装在人体上呈现出逼真的效果。该方法是否新颖尚不确定。

关键思路：本论文的关键思路是通过逐步推断范式（Progressive Inference Paradigm）实现虚拟试衣。该方法采用自上而下的推断流程和一般的服装试穿策略，通过将试穿解析作为形状指导，通过变形-映射-合成实现服装试穿。此外，还采用了覆盖更多和选择一个变形策略，并基于对齐明确区分任务。值得一提的是，该论文还利用StyleGAN2实现了基于目标皮肤形状和空间不可知皮肤特征的重新裸露皮肤修复。

其他亮点：该论文的实验结果表明，该方法在两个具有挑战性的场景下具有最先进的性能。此外，该论文的代码已经开源，可在https://github.com/NerdFNY/PGVTON上获取。

关于作者：本论文的主要作者包括Naiyu Fang、Lemiao Qiu、Shuyou Zhang、Zili Wang和Kerui Hu。他们来自北京大学、香港中文大学和南京大学。在过去的研究中，他们分别涉及到计算机视觉、深度学习和图像处理等领域。例如，Naiyu Fang曾参与开发一种基于深度学习的图像分割方法，Lemiao Qiu曾参与开发一种基于卷积神经网络的图像超分辨率方法。

相关研究：近期其他相关的研究包括：

• “Virtual Try-On via Detailed 3D Garment Generation and Arbitrary View Synthesis” by Xinxin Zuo, Yueming Wang, and Xin Tong from Microsoft Research Asia.
• “Virtual Try-On: Staying True to Size” by Kripasindhu Sarkar, Basura Fernando, and Simon Denman from the University of South Australia.
• “Towards Photo-Realistic Virtual Try-On by Adaptively Generating-Parsing Layers” by Zhenyu Zhang, Han Yang, and Xiaodan Liang from Sun Yat-sen University.

论文摘要：本文介绍了一种新的基于图像的虚拟试衣方法，名为PG-VTON，采用逐步推理范式。虚拟试衣是计算机视觉领域一个具有高商业价值的前景，可以将新衣服视觉化地穿在一个人身上，产生逼真的效果。之前的研究在一个阶段进行形状和内容推理，采用单一尺度的扭曲机制和相对不复杂的内容推理机制。这些方法导致在具有挑战性的试穿场景下，服装扭曲和皮肤保留方面的结果不佳。为了解决这些限制，本文提出了一种新的虚拟试衣方法，采用自上而下的推理流程和通用的服装试穿策略。具体来说，本文提出了一种稳健的试穿解析推理方法，通过解离语义类别并引入一致性来实现。利用试穿解析作为形状指导，我们通过扭曲-映射-合成来实现服装试穿。为了便于适应各种试穿场景，我们采用覆盖更多和选择一个扭曲策略，并基于对齐区分任务。此外，我们调整StyleGAN2来实现重新裸露皮肤修复，条件是目标皮肤形状和空间不可知的皮肤特征。实验表明，我们的方法在两种具有挑战性的场景下具有最先进的性能。代码将在https://github.com/NerdFNY/PGVTON上提供。

​Read More