使用ES-Single在展开的计算图中进行低方差梯度估计

​

Low-Variance Gradient Estimation in Unrolled Computation Graphs with
ES-Single

解决问题：该论文旨在提出一种基于进化策略的算法ES-Single，用于在展开的计算图中估计梯度。ES-Single的关键目标是降低梯度估计的方差，以提高训练效率。这是一个新问题，因为目前尚未有一种简单有效的方法来解决这个问题。

关键思路：ES-Single算法通过对元损失函数进行平滑处理，来克服由递归函数应用引起的混沌现象。与PES相比，ES-Single更简单易行，具有更低的方差，且方差不随截断展开次数的增加而增加。此外，该算法在二次内部问题上是无偏的。论文证明了ES-Single的有效性，包括使用合成基准任务、超参数优化、训练循环神经网络和训练学习优化器等任务。

其他亮点：该论文的实验结果表明，ES-Single在各种任务上的表现都优于PES，具有更低的方差和更高的训练效率。该论文使用了多个数据集进行实验，并提供了开源代码。这项工作的亮点是提出了一种简单而有效的方法来解决展开计算图中的梯度估计问题。这个问题在深度学习领域中非常重要，因为它可以提高训练效率和模型性能。

关于作者：Paul Vicol、Zico Kolter和Kevin Swersky是该论文的主要作者。他们分别来自CMU、UC Berkeley和Google Brain。Vicol之前的代表作包括“Optimal transport maps for distribution preserving embeddings”；Kolter之前的代表作包括“Proximal algorithms in machine learning”和“Trust Region Policy Optimization”；Swersky之前的代表作包括“Multi-task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics”。

相关研究：近期的相关研究包括“Persistent Evolution Strategies for Non-Stationary Function Optimization”（by J. Fu, et al.）和“Gradient Estimation Using Stochastic Computation Graphs”（by J. Schulman, et al.）。

论文摘要：我们提出了一种基于进化策略的算法，用于估计展开计算图中的梯度，称为ES-Single。与最近提出的持续进化策略（PES）类似，ES-Single是无偏的，并通过平滑元损失景观克服由递归函数应用引起的混沌。ES-Single对于每个粒子采样单个扰动，并在内部问题的过程中保持不变（例如，对于每个部分展开，不会重新采样扰动）。与PES相比，ES-Single实现更简单，方差更低：ES-Single的方差与截断展开次数无关，消除了在使用短截断处理长内部问题时应用ES的关键障碍。我们证明了ES-Single对于二次内部问题是无偏的，并通过实验证明其方差可以明显低于PES。ES-Single在各种任务中始终优于PES，包括合成基准任务、超参数优化、训练循环神经网络和训练学习优化器。

​Read More