Definition
Grok-1は、2023年11月にxAIから初公開されたモデルです。これはデコーダーのみから構成されるトランスフォーマーベースの大規模言語モデルであり、約330億のパラメータを持っています。特筆すべき点は、Mixture-of-Experts（MoE）アーキテクチャを採用していることです。これにより、すべてのパラメータを毎回使用するのではなく、入力ごとに必要な専門的な「エキスパート」部分のみを活性化させることで、計算効率を高めながら高い性能を実現しています。
Summary
xAIによってリリースされた最初のバージョンのGrok言語モデル。Mixture-of-Expertsアーキテクチャを採用し、パラメータ数は330億です。
Key Concepts
- Mixture-of-Experts
- トランスフォーマーアーキテクチャ
- パラメータ数
- デコーダー専用モデル
Use Cases
- テキスト生成および補完
- コードの合成
- 複雑な推論タスク