ReLUとは

入力が0以下のときは0を、0より大きいときは入力をそのまま出力する活性化関数(Rectified Linear Unit)。シグモイド関数に比べて勾配消失が起きにくく、計算も単純なため、現在の深層学習において最も広く使われている活性化関数の一つである。