Definition
レートリミティングは、AIサービスやAPIが悪用されたり、過負荷になったり、リソースが過剰に消費されたりするのを防ぎます。スループットを制限することでユーザー間の公平な利用を確保し、システムの安定性を維持します。一般的な戦略には、固定ウィンドウ、スライディングウィンドウ、トークンバケットなどがあります。
Summary
特定の時間枠内でクライアントがサービスに対して行えるリクエスト数を制限するエンジニアリング制御メカニズム。
Key Concepts
- API保護
- スループット制御
- 公平使用ポリシー
- システム安定性
Use Cases
- 大規模言語モデル（LLM）APIゲートウェイの管理
- DDoS攻撃の防止
- クラウドコンピューティングコストの管理