Choosing the Sample with Lowest Loss makes SGD Robust

[nocotan]

一言でいうと

各ステップで現在の損失が一番小さいようなサンプルを選択して更新するMin-k Loss SGD (MKL-SGD)を提案．

論文リンク

https://arxiv.org/pdf/2001.03316.pdf

著者/所属機関

Vatsal Shah, Xiaoxia Wu, Sujay Sanghavi (UT Austin)

投稿日付(yyyy/MM/dd)

2020/01/10

概要

• 各ステップで現在の損失が一番小さいようなサンプルを選択して更新するMin-k Loss SGD (MKL-SGD)を提案．
• 提案手法は計算コストが小さく，線形収束が可能で，外れ値に対してロバスト．

新規性・差分

ノイズにロバストなSGDの亜種を提案．

手法

結果

コメント