Sharpness-Aware Minimization for Efficiently Improving Generalization

[nocotan]

一言でいうと

論文リンク

https://arxiv.org/abs/2010.01412

著者/所属機関

Pierre Foret, Ariel Kleiner, Hossein Mobahi, Behnam Neyshabur (Google Research)

投稿日付(yyyy/MM/dd)

2020/12/04

概要

損失が最小かつ平坦な点を探索するSharpness-Aware Minimization (SAM)を提案．

新規性・差分

• 今までの最適化手法は損失関数を最小化する点を探していた
• これに対してSAMでは現在のパラメータにおける近傍での損失関数の最大値を最小化するような更新を行う

手法

提案手法のSAMは以下の更新則を採用する．

• 第一項目が平坦さかつ最小な点を評価する関数
• 第二項目は正則化項

結果

コメント

• https://github.com/google-research/sam
• https://github.com/davda54/sam