New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Training deep networks without learning rates through coin betting #1

Open

nocotan opened this issue Dec 11, 2020 · 1 comment

Assignees

Labels

deep learning Parameter-free optimization for deep learning parameter-free

Member

nocotan commented Dec 11, 2020 •

edited

Loading

一言でいうと

学習率不要で最適化を行う手法を提案．
提案手法は，最適化問題をコイン投げのギャンブルとして扱う[Orabona and Pál, 2016]の拡張になっている．

論文リンク

NeurIPS2017
https://proceedings.neurips.cc/paper/2017/hash/7c82fab8c8f89124e2ce92984e04fb40-Abstract.html

著者/所属機関

Francesco Orabona (Stony Brook University), Tatiana Tommasi (Rome University)

投稿日付(yyyy/MM/dd)

2017/12/04

概要

新規性・差分

先行研究で考慮できていなかったデータ依存性を取り入れた収束レートの証明ができている
提案手法をニューラルネットワークの学習に適用できるように拡張した場合については，実験的に良い性能を達成できることを示している

手法

確率的最適化のプロセスをコイン投げのギャンブルの問題として捉える．
滑らかでない関数についての提案手法の収束レートは，学習率の調整なしに以下を達成する：

$\begin{align} \tilde{O}\Big(\frac{\|w^*\|_1}{\sqrt{T}}\Big) \nonumber \end{align}$

これは例えばAdaGradにおいて最適な学習率の初期値を選択した場合に一致する．

結果

現在広く使われている最適化手法において，パラメータチューニングを頑張った結果と同等かそれ以上の性能を，パラメータ不要で達成できている．
使ったデータはMNIST, CIFAR10, PTB

コメント

ニューラルネットワークに対する拡張に関しては，理論的な保証はできていない
次に読む論文は，この論文の拡張元になった[Orabona and Pál, 2016]

Member Author

nocotan commented Dec 12, 2020

実装しました．
https://github.com/nocotan/cocob_backprop

nocotan added deep learning parameter-free labels

nocotan self-assigned this

sarrrrry added the Parameter-free optimization for deep learning label

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment