[テ233-, 237-]
RNN: Attention (各時刻の状態に重みづけを行い、どのデータに注目すればよいかを計算する機構 [黒392])
トランスフォーマー: Encoder・Decoder両方からRNNを一切排除し、代わりにSelf-Attentionを採用 [テ236,251]
Self-Attention: 文章内の単語間の関連性を捉えるための機構 [黒342]。(Encoder・Decoder両方において、計算に利用 [テ237,250])
Source-Target Attention ＝ Encorder-Decorder Attention: デコーダに入力文の情報を伝達するための機構 [黒342]。Decoderの計算に利用 [テ237]。
参考文献: ***は、ページ番号。
[テ***] 『深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト』第3版
[黒***] 『徹底攻略ディープラーニングG検定ジェネラリスト問題集』第3版