Diccionario de Términos de IA

Definition

La cuantización convierte números de punto flotante de alta precisión (como FP32) en formatos de menor precisión (como INT8 o FP16). Esta reducción disminuye el uso de memoria del modelo y los requisitos computacionales, facilitando su implementación en dispositivos con recursos limitados.

Summary

Una técnica de optimización de modelos que reduce la precisión de los números utilizados en los cálculos de redes neuronales para disminuir el tamaño y mejorar la velocidad.

Key Concepts

• Reducción de Precisión
• Velocidad de Inferencia
• Optimización de Memoria
• INT8/FP16

Use Cases

• Despliegue en Dispositivos de Borde
• Aplicaciones de IA Móvil
• Inferencia en Tiempo Real

Code Example

1
2
3
4
5
6

import torch.quantization as quant
# Example of converting a model to quantized format
model.eval()
model.qconfig = quant.get_default_qconfig('fbgemm')
quantized_model = quant.prepare(model, inplace=False)
quantized_model = quant.convert(quantized_model, inplace=False)

Related Terms

• Poda (Eliminación de conexiones innecesarias en la red)
• Destilación de Conocimiento (Transferencia de conocimiento de un modelo grande a uno pequeño)
• Entrenamiento de Precisión Mixta (Uso combinado de diferentes precisiones numéricas durante el entrenamiento)
• ONNX (Formato abierto para modelos de aprendizaje automático)