Definition
能量在人工智能中有两个主要含义。首先,它指运行硬件所需的电力,随着模型规模的扩大,这已成为可持续发展的一个日益关注的问题。其次,在受统计力学启发的模型(如玻尔兹曼机)中,能量是一个数学势能函数,用于衡量数据点或状态的可能性;能量越低,该状态越稳定或越可能出现在数据分布中。
Summary
在人工智能中,能量通常指模型训练和推理过程中消耗的算力,或概率模型中的数学势能函数。
Key Concepts
- 碳足迹
- 基于能量的模型
- 硬件消耗
- 概率推理
Use Cases
- 衡量大型语言模型训练对环境的影响
- 训练玻尔兹曼机以进行无监督学习
- 优化数据中心为AI工作负载使用的电力