Definition
「Attention Is All You Need」論文で紹介されたTransformerアーキテクチャは、自然言語処理およびそれ以外の分野に革命をもたらしました。これはマルチヘッド自己注意を用いて、入力データの各要素の重要度を評価・重み付けします。
Summary
自己注意機構に基づき、逐次処理ではなく並列処理でシーケンシャルデータを処理するディープラーニングアーキテクチャ。
Key Concepts
- 自己注意
- マルチヘッド注意
- 位置エンコーディング
- エンコーダ-デコーダ構造
Use Cases
- 機械翻訳
- テキスト生成
- 画像認識（ViT）
Code Example
| |