Snap | 迈向可学习的游戏引擎

​

【推荐理由】Learnable Game Engine（LGE）通过仅使用单眼注释视频来训练类游戏引擎的神经模型。该方法在渲染质量方面显著优于现有的神经视频游戏模拟器。LGE可以解锁导演模式，其中游戏通过在幕后进行策划来进行游玩。

Plotting Behind the Scenes: Towards Learnable Game Engines

WILLI MENAPACE, ALIAKSANDR SIAROHIN, STÉPHANE LATHUILIÈRE, PANOS ACHLIOPTAS, VLADISLAV GOLYANIK, SERGEY TULYAKOV

[University of Trento & Snap]

【论文链接】https://arxiv.org/pdf/2303.13472.pdf

【项目链接】https://learnable-game-engines.github.io/lge-website/

【摘要】游戏引擎是计算机图形学中的强大工具。它们的强大功能背后是巨大的开发成本。本文提出了一个框架，仅使用单眼注释视频训练类游戏引擎的神经模型。结果是一个可学习的游戏引擎（LGE），它维护场景、物体和其中的代理的状态，并使从可控视点渲染环境成为可能。类似于游戏引擎，它模拟游戏的逻辑和物理规则，使用户能够通过指定高级和低级行动序列来玩游戏。最引人入胜的是，我们的LGE解锁了导演模式，其中游戏通过在幕后进行策划来进行游玩，使用语言和期望状态来指定代理的高级动作和目标。这需要学习“游戏AI”，我们的动画模型封装了这个过程，使用高级约束来导航场景，与对手对战，设计获胜策略。学习这样的游戏AI的关键是利用本文收集的大量丰富的文本语料库来描述游戏中的详细动作，并用于训练我们的动画模型。为了渲染环境和代理的状态，我们使用了一种组合的NeRF表示方法，用于我们的综合模型中。为了促进未来的研究，我们提供了新收集的、注释和校准的大规模网球和Minecraft数据集。我们的方法在渲染质量方面显著优于现有的神经视频游戏模拟器。此外，我们的LGE解锁了超越当前技术水平能力的应用程序。

​Read More