勾配消失問題とは

ネットワークの層が深くなるほど、誤差逆伝播で伝わる勾配が入力層に近づくにつれて指数的に小さくなり、学習がほとんど進まなくなる問題。シグモイド関数の代わりにReLUを用いる、残差接続(スキップ接続)を導入するなどの手法で緩和される。