压缩张量 - AI术语词典

Definition

压缩张量是深度学习中使用的多维数组，其数值精度（例如从float32降至int8）或稀疏性已降低。这种技术被称为量化或剪枝。

Summary

通过降低数据精度或大小以优化存储和计算效率的张量。

Key Concepts

量化
稀疏性
内存优化
推理速度

Use Cases

移动AI应用部署
边缘设备处理
大型语言模型服务优化

Code Example

1
2
3
4
import torch
# Example of converting a tensor to half precision
x = torch.randn(10, 10)
x_compressed = x.half()