激活函数 - AI术语词典

Definition

激活函数为神经网络引入非线性，使其能够学习数据中的复杂模式和关系。如果没有这些函数，多层网络的行为将退化为线性变换，无法处理复杂任务。

Summary

根据输入信号确定神经网络节点输出的数学方程。

Key Concepts

非线性
梯度下降
神经元激活
反向传播

Use Cases

使深度神经网络能够进行图像分类
促进自然语言处理任务
提高生成模型训练时的收敛速度

Code Example

1
2
3
import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)