Definition
Token最大化涉及精心构造输入内容,以充分利用模型的上下文窗口容量,或通过优化Token的语义密度来提升性能。实践者可能会填充无关文本以占满上下文空间(Padding),或者极度压缩信息以提高单位Token的信息量。这种策略常用于在有限的计算资源下获取更精确的回答,或在API调用成本受限的情况下最大化单次请求的输出价值。
Summary
一种提示工程优化策略,旨在大型语言模型中最大化特定Token数量的效用或输出质量。
Key Concepts
- 提示工程
- 上下文窗口
- 语义密度
- 优化
Use Cases
- 最大化LLM推理能力
- 降低API使用成本
- 测试模型边界