使用自校正伪立体技术进行单视角视图合成

​

Single-View View Synthesis with Self-Rectified Pseudo-Stereo

解决问题：该论文旨在解决从单张图像中合成新视角的问题，通过将单视图视图合成问题扩展到多视图设置，利用可靠和明确的立体视觉先验生成伪立体视图，从而将具有挑战性的新视图合成过程分解为立体合成和三维重建两个简单问题。

关键思路：该论文的关键思路是利用伪立体视图作为辅助输入来构建三维空间，从而简化新视图合成过程。此外，论文提出了自校正立体合成方法，通过修正错误区域来合成结构正确且保留细节的立体图像。论文还提出了两种策略来发现难以训练和不正确的配准样本，并使用图像修复技术来填补这些区域，形成最终的伪立体视图。

其他亮点：该论文的实验结果表明，该方法优于现有的单视图视图合成方法和立体合成方法。论文使用了多个数据集进行实验，并开源了代码。该方法还可以与任意三维表示一起使用，这为未来的研究提供了很大的灵活性和可扩展性。

关于作者：主要作者包括Zhou Yang、Wu Hanjie、Liu Wenxi、Xiong Zheng、Qin Jing和He Shengfeng。他们来自中国的多个机构，包括南京大学、浙江大学和华中科技大学。以前，他们在计算机视觉、深度学习和图像处理等领域发表了多篇代表性论文，如“Learning to Segment Object Candidates”，“Deep Direct Regression for Multi-Oriented Scene Text Detection”和“Deep Image Matting”。

相关研究：近期其他相关的研究包括：“Multi-View Stereo via Graph Cuts on a Directed Graph”，作者为Yasutaka Furukawa和Carlos Hernández，机构为华盛顿大学；以及“Neural 3D Mesh Renderer”，作者为Nikos Kolotouros、Georgios Pavlakos、Michael J. Black和Kostas Daniilidis，机构为宾夕法尼亚大学。

论文摘要：这篇论文介绍了一种使用自校正伪立体技术的单视角图像合成方法。将单视角图像合成问题扩展到多视角设置，利用可靠和明确的立体先验生成伪立体视角，作为构建三维空间的辅助输入。这样，具有挑战性的新视角合成过程被分解为两个更简单的问题，即立体合成和三维重建。为了合成一个结构正确、细节保留的立体图像，提出了自校正立体合成方法，以识别和矫正错误区域。通过修剪网络以显示低置信度预测和双向匹配立体图像来发现难以训练和不正确的变形样本。然后对这些区域进行修补，形成最终的伪立体图像。在这个额外的输入的帮助下，可以轻松获得一个优秀的三维重建，而且这种方法可以与任意三维表示一起工作。大量实验证明，这种方法优于现有的单视角图像合成方法和立体合成方法。

​Read More