Definition
ロングコンテキストとは、トランスフォーマーベースのモデルが標準的な制限（2kや4kトークンなど）を超えて広範な入力長を扱える能力を指します。この機能により、モデルは完全な文書全体を分析することが可能になります。
Summary
言語モデルが、数千〜数百万トークンを含む入力シーケンスからの情報を処理・保持する能力。
Key Concepts
- コンテキストウィンドウ
- トークン制限
- アテンション機構
- 位置エンコーディング
Use Cases
- 法的契約書全文の要約
- 完全なソースコードリポジトリの分析
- 長時間の音声トランスクリプトの処理