勾配降下法とは

損失関数の値を小さくする方向(勾配の逆方向)にパラメータを繰り返し更新していくことで、モデルの最適なパラメータを探索する最適化アルゴリズム。1回の更新に使うデータ量によって、バッチ勾配降下法や確率的勾配降下法(SGD)などに分類される。