​PRX速递：生成对抗网络的有效动力学

关键词：机器学习，生成对抗网络，模式坍缩，临界相变

论文题目：Effective Dynamics of Generative Adversarial Networks论文来源：Physical Review X论文链接：

https://journals.aps.org/prx/abstract/10.1103/PhysRevX.13.041004

生成对抗网络（GANs）是机器学习模型的一个系列，它由两个神经网络（生成器和判别器）组成，它们相互竞争，从而使生成器学会生成与训练样本具有相同统计数据的新数据。模式坍缩（mode collapse）是训练失败的一种主要形式，在这种情况下，生成器无法再现训练数据中模式的全部多样性。尽管在 GAN 方面做了大量工作，但人们对模式坍缩的根本原因仍不甚了解。

该研究建立了一个简化的 GAN 训练动力学模型，以研究模式崩溃发生的条件。该有效模型将生成器替换为输出空间中的粒子集合。生成器粒子的动力学受制于由判别器介导的与训练数据的相互作用，以及由生成器介导的粒子与粒子之间的相互作用。该模型揭示了由训练率比率和粒子-粒子耦合强度控制的模式坍缩转变（mode collapse transition）。

图1：使用 ReLU 鉴别器进行模式坍缩转变的相变图。

此外，该模型还允许我们研究正则化（对学习动态引入额外约束）对避免模式崩溃的影响。特别是，研究发现基于梯度的中间强度正则化可以通过对生成器动力学的临界阻尼产生最佳收敛效果。故而，该模型为理解和改进对抗训练提供了一个通用的可解释物理框架。

图2：模式崩溃和正则化强度的关系

编译｜郭瑞东

AI+Science 读书会

详情请见：人工智能和科学发现相互赋能的新范式：AI+Science 读书会启动

推荐阅读

‍1. RPX速递：生成对抗网络的有效动力学2. 如何利用小数据进行金融欺诈——图网络的对抗样本3. 可交互的对抗网络如何增强人类创造力？4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程5. 加入集智学园VIP，一次性获取集智平台所有内容资源6. 加入集智，一起复杂！

点击“阅读原文”，追踪复杂科学顶刊论文