こんにちは（ ＾ω＾） この記事は、勾配降下法を最適化するアルゴリズムを、 ２つのベンチマーク関数を使って比較し、まとめたものです。 計算の経過をみるために、 最適化するベンチマーク関数は２変数関数に限定し、 ３次元グラフに計算の経過をプロットし…

こんにちは（ ＾ω＾） 何番煎じかわかりませんが、 ニューラルネットワークの学習などに使われる 「勾配降下法」というアルゴリズムについて簡単にまとめてみました。 勾配降下法とは 例えば、とある2次関数()の最小値をもとめるという問題があるとします。 …