A Sufficient Condition for Convergences of Adam and RMSProp

[nocotan]

一言でいうと

Adam/RMSPropによる大規模な非凸最適化が大域的最適解に収束するための十分条件を証明．

論文リンク

CVPR2019:
https://openaccess.thecvf.com/content_CVPR_2019/papers/Zou_A_Sufficient_Condition_for_Convergences_of_Adam_and_RMSProp_CVPR_2019_paper.pdf

著者/所属機関

Fangyu Zou (Stony Brook University), Li Shen, Zequn Jie, Weizhong Zhang, Wei Liu (Tencent AI Lab)

投稿日付(yyyy/MM/dd)

2018/11/23

概要

Adam/RMSPropはDNNの学習において最も成功した確率的最適化の手法群であり，多くの後続の研究がこれらの収束を補助するための様々なテクニックを提案してきた．
これに対して論文では，Adam/RMSPropが大域的最適解に収束するためのチェックが容易な十分条件を示している．

新規性・差分

• AdamとRMSPropの収束の十分条件を証明
• Adamを重み付きAdaGradとして再考察
• AdamとRMSPropの違いについての新しい解釈を提案
• 提案する十分条件は多くのAdamの亜種にも適用可能であることを証明
• 数値実験によって提案する十分条件が妥当であることを確認

手法

結果

まず最初にAdamの一般形を以下のように書く：

次に，Adamの一般形が次のように重み付きAdaGradの形に再定式化できることを示す：

これらから導出される十分条件は以下の通り：

• 最適化対象の関数は下に有界
• 最適化対象の関数の勾配はL-リプシッツ連続
• 確率的勾配は不偏推定量
• 確率的勾配の二次モーメントは一様有界

以上の条件に加えてパラメータが適切な仮定を満たす時，Adam/RMSPropの収束が保証される．

コメント