Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth
Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL)
Property
解决问题:本篇论文旨在解决非凸非光滑优化问题,其中非凸性和非光滑性来自于非凸但分段凸的正则化项。与现有的基于Kurdyka-Lojasiewicz(KL)性质的加速PGD方法的收敛性分析不同,本文提供了一种新的理论分析,展示了PPGD的局部快速收敛性。
关键思路:本文提出了Projected Proximal Gradient Descent(PPGD)算法,用于解决一类非凸非光滑优化问题。相比当前领域的研究状况,本文的思路在于提供了一种新的理论分析,展示了PPGD的局部快速收敛性。
其他亮点:本文的实验结果表明PPGD的有效性。该算法在一些非凸非光滑问题上的表现优于其他算法。本文没有提供开源代码。
关于作者:主要作者Yang和Li分别来自清华大学和南加州大学。Yang曾发表过题为”Proximal gradient descent with accelerated proximal step for high-dimensional sparse inverse covariance matrix estimation”的论文;Li曾发表过题为”Accelerated gradient methods for nonconvex nonlinear and stochastic programming”的论文。
相关研究:最近的相关研究包括:
- “Accelerated Proximal Gradient Methods for Nonconvex Programming”,作者为Jiashi Feng,所在机构为新加坡国立大学。
- “Nonconvex Nonsmooth Optimization via Proximal Gradient Descent with Continuous Piecewise Quadratic Regularization”,作者为Yuan Yao,所在机构为华中科技大学。
论文摘要:本文提出了投影近端梯度下降(PPGD)算法,用于解决一类非凸、非光滑优化问题,其中非凸性和非光滑性来自于非凸但分段凸的正则化项。与现有的基于Kurdyka-Lojasiewicz(KL)性质的加速PGD方法对非凸非光滑问题的收敛性分析不同,我们提供了一种新的理论分析,证明了PPGD在一定的假设条件下,当迭代次数$kge k_0$时,可以在一类非凸非光滑问题上实现$cO(1/k^2)$的快速收敛率,这是对于具有Lipschitz连续梯度的平滑凸目标函数的一阶方法的局部Nesterov最优收敛率。实验结果证明了PPGD的有效性。