自注意力机制 - AI术语词典

Definition

自注意力使模型能够同时捕捉序列中所有位置之间的依赖关系，无论距离远近。通过计算每对标记之间的注意力分数，它使得……

Summary

一种允许神经网络根据彼此之间的相对重要性来权衡输入序列不同部分的机制。

Key Concepts

查询-键-值 (Query-Key-Value)
注意力分数
上下文加权
并行处理

Use Cases

机器翻译
文本摘要
通过视觉Transformer进行图像分类

Code Example

1
2
import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)