Unsloth
Definition
Unslothは、大規模言語モデル（LLM）のファインチューニングとデプロイメントを最適化するために設計された専用ツールです。標準的なPyTorchの… …
LLM
トークンマキシング
Definition
トークンマキシングとは、モデルのコンテキストウィンドウの容量を最大限に活用したり、パフォーマンス向上のためにトークンの意味的密度を最適化したりするために、入念に入力を構成するプロ …
自己整合性（セルフコンシステンシー）
Definition
主に大規模言語モデル（LLM）で使用されるこの手法は、プロンプトに対してサンプリングによって複数の多様な応答を生成し、それらの集約によって精度を向上させます。貪欲デコーディン …
反射（リフレクション）
Definition
AIにおける反射とは、モデルが最終決定を下す前に、自身の生成プロセスや出力を評価するパラダイムです。これには、論理的整合性、事実の正確性、または規則への準拠性を確認することが含ま …
推論モデル
Definition
流暢さfocusedな標準的な生成モデルとは異なり、推論モデルは数学、コーディング、論理パズルなどの多段階タスクにおける正確性を優先します。これらは通常、思考連 …
Pythia
Definition
Pythiaは、EleutherAIによって作成されたオープンソースの大規模言語モデル（LLM）シリーズであり、ニューラルネットワークの解釈可能性と動作に関する研究を促進するため …
プロンプトチューニング
Definition
プロンプトチューニングは、事前学習済み言語モデルの入力層にトレーニング可能なソフトプロンプト（連続ベクトル）を追加し、基盤となるモデルのパラメータは凍結したままにするアプローチで …
Phi
Definition
Phi（Teaching-Learning Paradigmに基づくファウンデーションモデルの略称）は、Microsoftによって作成されたコンパクトな大規模言語モデルのファミ …
ニューラスケーリング則
Definition
ニューラスケーリング則は、モデルの性能と規模（データセットサイズ、パラメータ数、計算予算など）との間に存在する予測可能なべき乗則の関係を示します。これらの法則は、リソース配分の最 …
Mistral
Definition
Mistralは、フランスのスタートアップ企業Mistral AIによって作成された強力なオープンウェイトLLMのファミリーを指します。Mistral 7BやMistral …
誤情報
Definition
誤情報とは、害や欺瞞を意図せずに共有される、偽造または誤解を招く情報を指します。これは意図的に捏造される「偽情報（disinformation）」とは異なります。AIの文脈では、 …
Llama 2
Definition
2023年7月にMeta AIによってリリースされたLlama 2は、オープンウェイトの大規模言語モデルにおける重要な進化を表しています。このモデルファミリーは、70億パラメータ …
Llama 3
Definition
2024年4月に導入されたLlama 3は、Llama 2の成功に基づき、パフォーマンスと能力において大幅な強化をもたらしました。このモデルファミリーには、80億パラメータ版 …
Llama3.1
Definition
2024年8月にリリースされたLlama 3.1は、Llamaファミリーに4050億パラメータという巨大なモデルに加え、小規模な80億および700億パラメータのバリエーションも拡 …
Llama
Definition
Llama（Large Language Model Meta AI）は、Metaによってリリースされた基盤となる大規模言語モデルのシリーズです。多くのプロプライエタリモデルとは …
Kimi K2
Definition
Kimi K2は、Moonshot AIの大規模言語モデルシリーズにおける重要な進化版です。複雑な論理的推論や数学的問題解決において強化された能力を持つことが特徴です。 …
Kimi K25
Definition
Kimi K25は、Moonshot AIが提供するKimiモデルファミリー内の先進的な進化版です。Kimi K2などの以前のバージョンの基盤を踏襲し、推論速度の向上などを実現し …
指示のフォロー
Definition
指示のフォローとは、大規模言語モデル（LLM）やその他のAIシステムが、プロンプト内の微妙な人間の指示を理解し、明示的な制約に従う能力を指します。このパラダイムシフトは、モデルの …
ガードレール
Definition
ガードレールとは、特に大規模言語モデルにおけるAIアプリケーションに統合された、安全でコンプライアンスに準拠した動作を確保するための一連のソフトウェア制御およびポリシー執行レイ …
GLM
Definition
統計モデリングにおいて、GLMは一般化線形モデル（Generalized Linear Models）を意味し、正規分布以外の誤差分布モデルを持つ応答変数を許容するように線形回帰 …
GLM MoE DSA
Definition
「GLM MoE DSA」という単一の標準用語は存在しません。しかし、これはおそらくGLM（特定のLLMアーキテクチャ）、MoE（Mixture of Experts、モデルサイ …
GPT-5.6
Definition
GPT-5.6は、OpenAIの大規模言語モデル（LLM）の系譜における推測される、あるいは今後登場するバージョンを指します。開発のタイムラインによって具体的な詳細は異なります …
Falcon
Definition
Falconとは、Technology Innovation Instituteによって作成された強力な大規模言語モデル（LLM）シリーズを指します。Falcon-40B …
Eagle
Definition
Eagleは、大規模言語モデルのドメイン内にある特定のアーキテクチャおよびエンジニアリングフレームワークを表し、主にトレーニング効率性とスケーラビリティの最適化に関連しています。 …
DeepSeek
Definition
DeepSeekとは、DeepSeek社によって作成された人工知能モデルのファミリーを指します。これらのモデルは、コード生成を含む複雑な自然言語処理タスクを処理するように設計され …
データセット: Tiiuae/Falcon Refinedweb
Definition
RefinedWebは、基盤モデルの事前訓練用に設計されたフィルタリングされたウェブページの大规模データセットです。低品質なコンテンツ、重複、有害な材料を除去するために数十億のウ …
トークン制限
Definition
トークン制限は、大規模言語モデルのコンテキストウィンドウサイズの制約を定義し、一度に分析または生成できるテキストの量を制限します。このアーキテクチャ上の境界は、メモリ管理に影響を …
教師ありファインチューニング
Definition
教師ありファインチューニング（SFT）とは、言語モデルなどの大規模な事前学習済みモデルを取得し、特定のダウンストリームタスク向けにラベル付けされた高品質な小規模データセットを用い …
プロンプトインジェクション
Definition
プロンプトインジェクションは、大規模言語モデルが入力テキスト内に隠されたまたは矛盾した指示を埋め込むことでユーザーの指示を解釈する方法を利用します。これにより、モデルが元の安全制 …
関数呼び出し
Definition
関数呼び出しにより、大規模言語モデルはJSONオブジェクトなどの構造化出力を生成することで外部ツールやAPIと連携し、実行すべき関数とその引数を指定できます。
Summary …
フューショットプロンプティング
Definition
この手法は、プロンプト内に直接的な例示的なサンプルを提供することで、大規模言語モデルのコンテキスト内学習（インコンテキストラーニング）能力を活用します。モデルの重みを更新するファ …
ゼロショット
Definition
ゼロショット学習により、モデルは初期学習フェーズ中にラベル付き訓練データが提供されていない新しいカテゴリやタスクに一般化できます。これは通常、セマンティック埋め込みなどの手法を活 …
ポストトレーニング
Definition
ポストトレーニングは、大規模な汎用データに対する初期の事前学習の後に発生する、機械学習ライフサイクルにおける重要な段階です。このフェーズでは、モデルは特定の用途に合わせて調整さ …
インストラクションチューニング
Definition
このプロセスは、一般的な事前学習と特定のタスクパフォーマンスのギャップを埋めます。多様な指示-応答ペアにモデルを曝露させることで、追加の
Summary
インストラクションチュー …
思考の連鎖
Definition
思考の連鎖（CoT）プロンプティングは、大規模言語モデルが最終的な答えに到達する前に、段階的な推論の説明を生成するように誘導する戦略です。複雑な問題を分解することで、モデルの推論 …
プロンプトエンジニアリング
Definition
プロンプトエンジニアリングとは、生成AIモデルから正確で関連性が高く、高品質な回答を引き出すために、「プロンプト」と呼ばれる特定の入力を構築するプロセスです。これには、モデルが指 …