EverLight：室内外可编辑的HDR照明估计

​

EverLight: Indoor-Outdoor Editable HDR Lighting Estimation

解决问题：本篇论文旨在解决现有光照估计技术只能针对室内或室外环境的问题，以及编辑光照能力与真实感之间的矛盾。同时，论文提出了一种新的方法，将参数化光模型与360度全景图相结合，用于渲染引擎中。

关键思路：本文的关键思路是将参数化光模型和360度全景图相结合，使用GAN的LDR全景图外推技术，将其扩展到HDR，以实现可编辑的光照效果。论文还引入了一种新的光照共模方法，将光照相关特征注入生成器中，使原始或编辑场景的光照与全景图生成过程紧密耦合。相比目前领域内的研究，本文的思路具有新意。

其他亮点：本文的实验结果表明，该方法可以适用于室内和室外环境，并且即使与特定领域的方法相比，也能实现最先进的结果。此外，本文的方法可以轻松地编辑光照方向、强度、数量等，以影响阴影，并提供丰富、复杂的反射。

关于作者：本文的主要作者是Mohammad Reza Karimi Dastjerdi、Yannick Hold-Geoffroy和Jonathan Eisenmann。他们分别来自加拿大滑铁卢大学、蒙特利尔大学和卡内基梅隆大学。他们的代表作包括：Mohammad Reza Karimi Dastjerdi在SIGGRAPH 2017上发表了一篇名为“Deep Scattering: Rendering Atmospheric Clouds with Radiance-Predicting Neural Networks”的论文；Yannick Hold-Geoffroy在CVPR 2018上发表了一篇名为“Deep Outdoor Illumination Estimation”的论文；Jonathan Eisenmann在SIGGRAPH 2019上发表了一篇名为“Neural Volumes: Learning Dynamic Renderable Volumes from Images”的论文。

相关研究：近期其他相关的研究包括：“Learning to Predict Indoor Illumination from a Single Image Using Generative Adversarial Networks”（作者：Jiawei He等，机构：加州大学戴维斯分校）；“Deep Outdoor Illumination Estimation”（作者：Yannick Hold-Geoffroy等，机构：蒙特利尔大学）；“Deep Scattering: Rendering Atmospheric Clouds with Radiance-Predicting Neural Networks”（作者：Mohammad Reza Karimi Dastjerdi等，机构：加拿大滑铁卢大学）。

论文摘要：本文探讨了现有的光照估计技术通常只针对室内或室外环境的问题，其中一些方法专注于捕捉准确的能量（例如通过参数化光照模型），这强调了阴影和强烈的投射阴影；或者是产生可信的纹理（例如使用GAN），这优先考虑可信的反射。虽然已经提出了提供可编辑光照能力的方法，但这些方法往往是基于简化的光照模型，提供有限的真实感。本文提出了一种方法，将文献中的最新趋势相结合，将参数化光模型与360度全景图相结合，用于渲染引擎中的HDRI。我们利用了基于GAN的LDR全景图外推方法的最新进展，将其扩展到使用参数化球面高斯函数的HDR。为了实现这一点，我们引入了一种新颖的光照共同调制方法，将光照相关特征注入整个生成器中，紧密地将原始或编辑后的场景光照与全景图生成过程相结合。在我们的表示中，用户可以轻松地编辑光线方向、强度、数量等，以影响阴影，同时提供丰富、复杂的反射，而且与编辑无缝融合。此外，我们的方法涵盖了室内和室外环境，即使与特定领域的方法进行比较，也展示了最先进的结果。

​Read More