Diccionario de Términos de IA

Definition

La destilación de conocimiento es un método de aprendizaje automático utilizado para comprimir una red neuronal grande y compleja (el maestro) en una red más pequeña y eficiente (el estudiante). El modelo estudiante se entrena para

Summary

La destilación de conocimiento es una técnica de compresión de modelos donde un modelo estudiante más pequeño aprende a imitar el comportamiento de un modelo maestro más grande.

Key Concepts

• Modelo Maestro-Estudiante
• Compresión de Modelo
• Objetivos Suaves
• Eficiencia

Use Cases

• Despliegue de modelos en dispositivos periféricos
• Reducción de la latencia de inferencia
• Reducción de costos de computación en la nube

Code Example

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import torch
import torch.nn as nn

def distillation_loss(student_logits, teacher_logits, temperature=2.0):
    T = temperature
    student_probs = nn.functional.softmax(student_logits / T, dim=1)
    teacher_probs = nn.functional.softmax(teacher_logits / T, dim=1)
    return nn.functional.kl_div(
        nn.functional.log_softmax(student_logits / T, dim=1),
        teacher_probs,
        reduction='batchmean'
    ) * (T * T)

Related Terms

• Compresión de Modelo
• Poda
• Cuantización
• Redes Neuronales