光线调节：在多视角图像生成中，以图像真实性为代价来换取照片一致性

​

Ray Conditioning: Trading Photo-consistency for Photo-realism in
Multi-view Image Generation

解决问题：
该论文旨在解决多视角图像生成中的一个问题，即传统方法在保证图像视角一致性的同时会牺牲图像真实性，导致几何伪影和细节丢失。该论文提出了一种新的方法，即“ray conditioning”，以解决这个问题。

关键思路：
该论文的关键思路是通过一种无几何偏差的方式，即“ray conditioning”，生成多视角图像。该方法通过在光场先验的基础上对2D GAN进行条件限制，实现了显式视角控制、最先进的图像真实性和身份一致性，并且适用于视角编辑任务。相比传统方法，该方法不再强调视角一致性，从而避免了牺牲图像真实性的问题。

其他亮点：
该论文的实验结果表明，相比于传统方法，该方法可以生成更真实的多视角图像，并且可以实现更高质量的视角编辑。该论文使用了公开数据集，并提供了开源代码。值得深入研究的工作包括如何进一步提高图像质量和如何应用于其他领域。

关于作者：
该论文的主要作者是Eric Ming Chen、Sidhanth Holalkere、Ruyu Yan、Kai Zhang和Abe Davis。他们分别来自斯坦福大学、华盛顿大学、麻省理工学院和加州大学伯克利分校。他们之前的代表作包括：Eric Ming Chen在CVPR 2019上发表了“Learning to See in the Dark”；Abe Davis在SIGGRAPH 2015上发表了“The Wavelet Whispers: A New Approach to Audio Analysis”。

相关研究：
近期其他相关的研究包括：

1. “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis” by Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi and Ren Ng from UC Berkeley and Google Research.
2. “Learning to Synthesize 3D Point Clouds in Indoor Environments from RGB-D Images” by Yinyu Nie, Xiaoguang Han, Shuaicheng Liu and Xiaowei Zhou from Nanjing University and University of Hong Kong.
3. “DeepVoxels: Learning Persistent 3D Feature Embeddings” by Julian Chibane, Hugues Thomas and Matthieu Cord from Sorbonne University and Facebook AI Research.

论文摘要：本文题为“Ray Conditioning: Trading Photo-consistency for Photo-realism in Multi-view Image Generation”，作者为Eric Ming Chen, Sidhanth Holalkere, Ruyu Yan, Kai Zhang和Abe Davis。如今，多视角图像生成因其在3D相关应用中的潜在优势，如图像视角编辑，备受关注。大多数现有方法遵循一种范式，即首先合成3D表示，然后将其渲染成2D图像，以确保在不同视角下的照片一致性。然而，这种明确的照片一致性偏见牺牲了照片逼真度，导致几何伪影和丧失细节。为了解决这个问题，我们提出了“ray conditioning”这个无几何约束的替代方法，放宽了照片一致性约束。我们的方法通过在光场先验上对2D GAN进行条件控制来生成多视角图像。具有明确的视角控制、最先进的照片逼真度和身份一致性，我们的方法特别适用于视角编辑任务。

​Read More