[黒391]
・学習率: ネットワークのパラメータを更新する度合を決定するハイパーパラメータ。
・エポック: 訓練データ全体に対する学習の反復回数を決定するハイパーパラメータ。訓練データ全体を用いる回数。
[テ187-189]
バッチ勾配降下法_バッチ学習_エポックとイテレーションの数は同じ。
確率的勾配降下法_オンライン学習_1エポック＝訓練データ数 イテレーション
勾配降下法 鞍点問題対策:
モーメンタム→NAG→AdaGrad→AdaDelta→RMSprop→Adam→AdaBound→AMSBound [黒112]
参考文献: ***は、ページ番号。
[テ***] 『深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト』第3版
[黒***] 『徹底攻略ディープラーニングG検定ジェネラリスト問題集』第3版