全球最大的游戏引擎Unity要出生成式AI工具了，能不能做好3D是个问题

在游戏行业，生成式AI大模型目前被讨论最多的两个应用方向，一个是将AI运用于NPC的开发（使NPC更像真人），另一个是游戏引擎AI辅助工具的落地（帮创作者提高生产效率）。

针对后者，在6月8日举办的Unity技术开放日北京站上，Unity中国首次对外提出了要构建Unity中国版引擎Copilot——U3D Copilot的构想。

Unity中国AI技术负责人暴林超在演讲中谈到这一构想，

“通过建立大语言模型和用户交互这样一个更自然的交互界面，来串联起我们的3D AIGC模型，以及Unity引擎内部可以提供的一些工具（如程序化生成等）。同时我们会探索将用户的隐私数据更安全地在本地做管理，在保护用户隐私的情况下，用户可以实现在本地部署引擎，并以这样的方式接入Copilot。”

“Copilot”（直译为“副驾驶”）的说法目前被广泛用于GitHub Copilot和Microsoft 365 Copilot等产品，几乎已经成为AI辅助工具的代称。

不过从Unity技术开放日当天透露的信息来看，U3D Copilot目前还只停留在构想，Unity中国并没有在现场进行任何相关演示。

这场活动是Unity时隔两年之后再次举办线下巡回技术开放日。

“前两年大家还都在讲元宇宙，今年都在讲AIGC，几乎是引爆了整个（游戏）行业。”Unity中国CEO张俊波在当天的致辞中讲到。

不仅是行业，Unity的中国业务也在过去两年经历了较大变化。去年8月，Unity中国宣布成立，引入了阿里巴巴、中国移动、吉比特、米哈游、OPPO、佳都科技和抖音等投资者，成为Unity在中国的合资公司。张俊波的title从“Unity大中华区总经理”变为“Unity中国总裁兼首席执行官”，负责AI技术的暴林超则是在不久前刚加入Unity中国。

“这也是我们关注中国开发者的新起点。”张俊波在致辞中说。

Unity中国关注生成式AI的步调和Unity基本一致。

Unity可以说是最早宣布将投入生成式AI大模型的大型游戏引擎。今年3月举办的GDC开发者大会上，Unity发布了一段名叫“Unity AI”的视频。视频以文本框的形式输入了一系列指令，包括“生成一个女性3D角色”，“生成一片拥有灰暗天空的大型地貌”，“慢慢推进摄像机，并加入戏剧性的光线”等等，暗示这些效果和资产未来都可以跳过繁琐的代码与调试，在Unity中通过文字prompt直接生成。

Unity CEO John Riccitiello在接受采访时同时提到，未来不排除会开放一片AIGC专用的交易市场，供开发者在其中买卖AI工具。

而后在今年5月发布第一季度财报时，Unity在股东信中专门开辟了“Gen-AI（AI时代）”专栏来回答股东提问。比如提到会在今年内推出使用自然语言的UI页面，而“一键生成游戏”的工具现阶段还不太可能，其目前对AI工具的定位更多是草稿的快速生成助手。此外，Unity还计划将引擎打造为一个供开发商训练AI模型的工具，帮助开发商“按照自己的需求进行数据创造、模拟和训练”。

Unity中国频繁因为AI被关注也是最近一个月的事情。

5月初，Unity中国在采访中透露已建立了中国本土AI研发团队，其负责人也开始频繁出现在各种关于AIGC的活动上，如张俊波“有八成原画师下岗”和“今后的游戏公司不一定会像现在那么集中在几个大厂等巨头公司”等言论也频繁在行业中被提及。

而在6月8日举办的北京站技术开放日上，Unity中国引擎技术负责人左瑞文也在介绍中明确提到，Unity中国在今年的首要任务——研发Unity中国版引擎的三大方向之一，就是以生成式AI为主的智能化（其他两个方向是本地化和云化）。

当然这其中不乏难点，难点在于3D内容开发的复杂性。

暴林超在当天的AI主题演讲中先是回溯了生成式AI在近一年发展的节点性事件，介绍了stable diffusion和ChatGPT两大热门生成式AI工具的核心技术原理，以及AI技术从“领域专用AI小模型”到“生成式AI大模型”、生成式AI大模型从“通用”到“专用”的发展趋势，接着便谈到了3D生成式AI的三大技术难点：

第一，3D的数据表示有非常多的选择，如体素、点云、Mesh、SDF和隐式场等，尽管经常会有针对不同数据表示的论文发布，但距离达到生产质量都还有一定差距；

第二，3D数据的呈现依赖也非常多，也就是说，要在引擎里渲染出一个比较好的效果，不但取决于模型本身，还受到贴图、材质、Shader、光照、动画和VFX等的影响，这些也给3D的AIGC生产带来了很多困难；

第三，3D高质量数据相对而言比较稀缺，而1D或2D维度不管是文本还是图片生成，数据量都是巨大的，目前3D的数据量还远远达不到这些量级。

由于Unity引擎主要专注于游戏中3D技术的应用，这些3D数据的难点也都给其生成式AI工具的开发带来了挑战。

暴林超接着提到了Unity中国3D生成式AI主要的几个技术方向：分别是3D模型、材质和贴图、3D场景、3D虚拟人，还有隐式场及神经渲染。

就目前来说，Unity引擎界面依然非常复杂，看上去仍不够“智能”。未来Unity中国能否将以上存在在PPT和演示视频中的构想一一实现，将决定它究竟是履行了“帮助开发者更好地应对技术和市场革新的天然使命”，还是只是在取悦投资者。

​Read More