Transformer - AI术语词典

Definition

Transformer架构在《Attention Is All You Need》论文中被提出，彻底革新了自然语言处理及更多领域。它使用多头自注意力机制来权衡输入序列中不同部分的重要性。

Summary

一种基于自注意力机制的深度学习架构，能够并行而非顺序地处理序列数据。

Key Concepts

自注意力
多头注意力
位置编码
编码器-解码器结构

Use Cases

机器翻译
文本生成
图像识别（ViT）

Code Example

1
2
import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)