投影近端梯度下降算法解决一类非凸非光滑优化问题:快速收敛不需要Kurdyka-Lojasiewicz(KL)性质。

620次阅读
没有评论

Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth
Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL)
Property

解决问题:本篇论文旨在解决非凸非光滑优化问题,其中非凸性和非光滑性来自于非凸但分段凸的正则化项。与现有的基于Kurdyka-Lojasiewicz(KL)性质的加速PGD方法的收敛性分析不同,本文提供了一种新的理论分析,展示了PPGD的局部快速收敛性。

关键思路:本文提出了Projected Proximal Gradient Descent(PPGD)算法,用于解决一类非凸非光滑优化问题。相比当前领域的研究状况,本文的思路在于提供了一种新的理论分析,展示了PPGD的局部快速收敛性。

其他亮点:本文的实验结果表明PPGD的有效性。该算法在一些非凸非光滑问题上的表现优于其他算法。本文没有提供开源代码。

关于作者:主要作者Yang和Li分别来自清华大学和南加州大学。Yang曾发表过题为”Proximal gradient descent with accelerated proximal step for high-dimensional sparse inverse covariance matrix estimation”的论文;Li曾发表过题为”Accelerated gradient methods for nonconvex nonlinear and stochastic programming”的论文。

相关研究:最近的相关研究包括:

  1. “Accelerated Proximal Gradient Methods for Nonconvex Programming”,作者为Jiashi Feng,所在机构为新加坡国立大学。
  2. “Nonconvex Nonsmooth Optimization via Proximal Gradient Descent with Continuous Piecewise Quadratic Regularization”,作者为Yuan Yao,所在机构为华中科技大学。

论文摘要:本文提出了投影近端梯度下降(PPGD)算法,用于解决一类非凸、非光滑优化问题,其中非凸性和非光滑性来自于非凸但分段凸的正则化项。与现有的基于Kurdyka-Lojasiewicz(KL)性质的加速PGD方法对非凸非光滑问题的收敛性分析不同,我们提供了一种新的理论分析,证明了PPGD在一定的假设条件下,当迭代次数$kge k_0$时,可以在一类非凸非光滑问题上实现$cO(1/k^2)$的快速收敛率,这是对于具有Lipschitz连续梯度的平滑凸目标函数的一阶方法的局部Nesterov最优收敛率。实验结果证明了PPGD的有效性。

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy