RPX速递：生成对抗网络的有效动力学

关键词：机器学习，生成对抗网络，模式坍塌

论文题目：Effective Dynamics of Generative Adversarial Networks论文地址：https://journals.aps.org/prx/abstract/10.1103/PhysRevX.13.041004

生成对抗网络（GAN）是一类包含生成器（generator）和判别器（discriminator）的机器学习模型，它通过两个神经网络间的对抗训练，使生成器学习产生具有与训练样本相同（可能非常复杂）统计的新样本。一种主要的训练失败类型称为模式坍塌（mode collapse），其中生成器无法重现目标概率分布中的模式的全部多样性（diversity）。尽管在GAN方面已经有了大量工作，但模式坍塌的根本原因还没有得到很好的理解。

图1：种子空间中的输入矢量（左下）如何映射到数据空间中的粒子（等效GAN模型）的示意图

在本文中，作者提出了一个GAN训练动力学的简化模型，使我们得以研究模式坍塌发生的条件。该模型将生成器神经网络替换为输出空间中的粒子集合。这种“生成器粒子”的动力学由受判别器调节的与训练数据的相互作用和受生成器调节的粒子-粒子相互作用共同控制。该模型揭示了由训练速率和相对粒子-粒子耦合强度的比率控制的模式坍塌转变。

图2：GAN训练动力学示意图。上图：模式坍塌。下图：模型收敛。

该模型还让作者得以研究正则化（对学习动力学引入额外的约束）对避免模式坍塌的影响。作者发现具有中等强度的基于梯度的正则器（regularizer）可以通过生成器动力学的临界阻尼来最优地产生收敛。因此，本文的有效GAN模型为理解和改进对抗性训练提供了一个通用且可解释的物理框架。

编译｜黄泽豪

AI+Science 读书会

详情请见：人工智能和科学发现相互赋能的新范式：AI+Science 读书会启动

推荐阅读

‍1. 当机器学习遇见拓扑：拓扑数据分析与拓扑深度学习2. Nat. Mach. Intell. 速递：机器学习方法预测指数增长的 AI 知识网络的未来3. Nat. Commun. 速递：基于机器学习的复杂动态轨迹无模型跟踪控制4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程5. 成为集智VIP，解锁全站课程／读书会6. 加入集智，一起复杂！

点击“阅读原文”，报名读书会