Definition
Los tensores comprimidos son arreglos multidimensionales utilizados en el aprendizaje profundo donde la precisión numérica (por ejemplo, de float32 a int8) o la dispersión se ha reducido. Esta técnica, conocida como cuantización o compresión, permite reducir la huella de memoria y acelerar los cálculos sin perder significativamente la precisión del modelo.
Summary
Tensores cuya precisión o tamaño de datos se ha reducido para optimizar el almacenamiento y la eficiencia computacional.
Key Concepts
- Cuantización
- Dispersión (Esparsidad)
- Optimización de memoria
- Velocidad de inferencia
Use Cases
- Despliegue de aplicaciones de IA en móviles
- Procesamiento en dispositivos de borde (edge devices)
- Optimización del servicio de modelos de lenguaje grandes
Code Example
| |