Diccionario de Términos de IA

Definition

Las conexiones residuales, también conocidas como conexiones de salto (skip connections), permiten que los gradientes fluyan a través de una red añadiendo directamente una entrada a la salida de una capa subsiguiente. Esta arquitectura resuelve el problema del desvanecimiento del gradiente.

Summary

Un mecanismo que añade la entrada directamente a la salida de una capa para facilitar el flujo de gradientes en redes profundas.

Key Concepts

• Conexiones de Salto
• Problema del Gradiente Desvanecido
• Aprendizaje Profundo Residual
• Flujo de Gradientes

Use Cases

• Entrenamiento de redes neuronales convolucionales profundas
• Arquitecturas Transformer
• Modelos de clasificación de imágenes

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related Terms

• skip_connection (conexión de salto)
• vanishing_gradient (gradiente desvanecido)
• deep_learning (aprendizaje profundo)
• resnet (Red Neuronal Residual)