Transformerとは

RNNのように逐次処理を行わず、Attention機構によって系列内の各要素間の関連度を並列に計算するニューラルネットワークの構造。学習の並列化がしやすく、BERTやGPTなど現在の主要な大規模言語モデルの基盤となっている。