Definition
大規模とは、AIシステム内のコンポーネントの規模を指し、しばしば数十億のパラメータ、テラバイト単位のトレーニングデータ、または分散コンピューティングクラスターを伴います。このアプローチは、基盤モデルの開発における基礎となります。
Summary
膨大な量のデータ、パラメータ、または計算リソースを扱うAIシステムやデータセットを記述します。
Key Concepts
- パラメータ数
- 分散コンピューティング
- スケーラビリティ
- リソース集約型
Use Cases
- GPTのような基盤モデルのトレーニング
- ビッグデータ分析パイプライン
- 分散強化学習