Hamed Karimi、Julie Nutini和Mark Schmidt于2016年发表的论文已被引用超过2000次,并荣获2026年ECML PKDD时间检验奖。该论文证明了Polyak-Lojasiewicz条件(一个1963年提出的不等式)即使在不具备强凸性的情况下,也能保证梯度下降法的线性收敛,且整个证明过程仅需三行。

作者在该条件下重新分析了坐标下降法、符号梯度下降法以及随机梯度下降法。在每一种情况中,他们都恢复出了此前仅在强凸函数条件下才已知的收敛速率。

这篇论文指出,Polyak-Lojasiewicz条件是已知能够保证线性收敛速率的最弱条件。如今,该条件的各种变体正支撑着强化学习、曲面参数空间优化以及扩散模型背后采样方法等领域的收敛性研究结果。

Amazon Science