Definition
チャンキングは、検索拡張生成（RAG）やその他のNLPパイプラインにおける重要な前処理ステップです。これは、テキストを固定サイズまたは意味的な単位（チャンク）に分割し、コンテキストウィンドウ内に収めることを含みます。
Summary
チャンキングとは、処理やインデックス作成のために、大きなドキュメントやデータストリームをより小さく管理可能なセグメントに分割するプロセスです。
Key Concepts
- コンテキストウィンドウ
- RAG (検索拡張生成)
- テキスト分割
- インデックス作成
Use Cases
- RAG用のナレッジベース構築
- 要約のために長いドキュメントを処理
- ベクトルデータベースへの取り込み