Definition
AIエンジニアリングにおいて、キャッシングは最近または頻繁なクエリ結果、モデル予測、または中間計算を高速メモリ(RAMなど)に保持することでパフォーマンスを最適化します。これにより、高価な…
Summary
キャッシングは、頻繁にアクセスされるデータを一時高速ストレージ層に保存し、レイテンシを削減し、主要なデータソースへの負荷を軽減する技術です。
Key Concepts
- レイテンシ削減
- メモリ最適化
- _evictionポリシー(淘汰ポリシー)
- ヒット率
Use Cases
- モデル推論結果の保存
- データベースクエリ出力のキャッシュ
- 特徴量埋め込みの事前計算
Code Example
| |