Unsloth
Definition
Unslothは、大規模言語モデル（LLM）のファインチューニングとデプロイメントを最適化するために設計された専用ツールです。標準的なPyTorchの… …
Training
相互型人間機械学習
Definition
このアプローチは、単純なヒューマンインザループによるラベリングを超えています。双方向の知識転送が含まれます：人間はモデルのエラーを修正し、モデルはパターン識別や自動化を通じて人間 …
オフライン学習
Definition
バッチ学習とも呼ばれるオフライン学習は、以前収集された固定されたデータセットを使用して機械学習モデルを訓練するプロセスです。オンライン学習とは異なり、モデルはリアルタイムのフィー …
マルチタスク学習
Definition
この手法は、関連するタスク間で共有される帰納的バイアスを活用し、学習効率とパフォーマンスを向上させます。単一のモデルで複数のタスクを同時に実行させることで、 …
混合精度学習
Definition
混合精度学習（MPT）は、ニューラルネットワークの学習中に半精度（FP16）と全精度（FP32）のデータ型を組み合わせた手法です。ほとんどの演算にFP16を使用することで、メモリ …
学習曲線
Definition
一般的に、学習曲線は縦軸にトレーニングスコアとバリデーションスコア、横軸にトレーニングサンプル数またはイテレーション数を表示します。これにより、モデルが高バイアス（未学習）か高バ …
知識蒸留
Definition
知識蒸留は、大規模で複雑なニューラルネットワーク（教師）を、より小さく効率的なネットワーク（学生）に圧縮するために使用される機械学習手法です。学生モデルは教師の出力分布を学習しま …
Imatrix
Definition
Imatrix（Importance Matrixの略）は、主にGGMLベースのLLM（大規模言語モデル）のトレーニングおよび量子化に関連する技法です。これは、損失関数の二階微 …
ハイパーパラメータ
Definition
学習中にデータから学習されるモデルパラメータ（重みやバイアス）とは異なり、ハイパーパラメータはトレーニング開始前に実務者が選択する外部設定です。これらは構造的
Summary
学 …
ハイパーパラメータチューニング
Definition
ハイパーパラメータチューニングは、最も高いモデル精度または最も低いエラーレートをもたらす構成を見つけるために、さまざまなハイパーパラメータセットを評価することを含みます。一般的な …
グロッキング
Definition
グロッキングは、ディープラーニングにおいて観察される直感に反する挙動を指します。モデルはトレーニングデータに対して長期間にわたり過学習（オーバーフィッティング）し続け、汎化性能が …
ファインチューニング済み
Definition
ファインチューニングとは、すでに大規模で一般的なデータセットで訓練されたモデルを取得し、より小さくドメイン固有のデータセットで訓練を継続する技術です。これにより、モデルは特定のタ …
エポック
Definition
機械学習において、エポックは訓練データセット全体に対する単一の反復（イテレーション）を表します。各エポックの間、モデルはすべての訓練例を処理し、逆伝播を通じて重みを更新します。適 …
イーグル学習（積極的学習）
Definition
イーグル学習では、システムは新しいインスタンスに出会う前に、トレーニングデータに基づいて一般的な目標関数やモデルを構築します。これは、一般化を遅らせるレージー学習とは対照的です。 …
早期打ち切り
Definition
Summary
早期打ち切りは、勾配降下法などの反復的トレーニングプロセスで主に使用される正則化の一種です。トレーニング中、モデルのパフォーマンスは通常、トレーニングデータに対し …
ドメイン適応
Definition
ドメイン適応は、トレーニングデータとテストデータが異なる分布に従っているという課題に対処します。ラベル付きのソースドメインとラベルなし（または限られたラベル）のターゲットドメイン …
憲章型AI
Definition
憲章型AIは、すべてのステップで人間のフィードバックに依存することなく、大規模言語モデルを人間の価値観と整合させるためのフレームワークです。これは、高レベルの原則からなる「憲章」 …
見習い学習
Definition
見習い学習（またはデモンストレーションからの逆強化学習）は、エージェントが報酬関数だけに依存するのではなく、専門家の行動を観察することでスキルを獲得することを可能にします。 …
敵対的機械学習
Definition
この分野には、モデルを破壊するための攻撃的な技術と、それを強化するための防御的戦略の両方が含まれます。これには、モデルの耐性を高めるために敵対的例を用いてトレーニングを行うプロセ …
教師ありファインチューニング
Definition
教師ありファインチューニング（SFT）とは、言語モデルなどの大規模な事前学習済みモデルを取得し、特定のダウンストリームタスク向けにラベル付けされた高品質な小規模データセットを用い …
教師あり学習
Definition
教師あり学習では、アルゴリズムはラベル付きデータセットで訓練されます。つまり、各入力例には正しい出力がペアになっています。目標は、モデルが入力と出力の間の潜在的な関係を学習するこ …
自己教師あり学習
Definition
自己教師あり学習は、アルゴリズムが未ラベルデータ自体から教師信号を作成する技法であり、通常は入力の欠落部分を予測することによって行われます。これは、教師なし学習と… …
学習率
Definition
学習率は、各トレーニング反復中に計算された勾配に対してモデルの重みがどの程度更新されるかを決定します。学習率が大きすぎるとモデルが最適解を見逃す可能性があり、小さすぎると学習収束 …
損失関数
Definition
コスト関数または誤差関数とも呼ばれる損失関数は、モデルの性能がどの程度良好かを示すスカラー値を提供します。トレーニング中、最適化アルゴリズムはこの値を使用して勾配を計算し、モデル …
勾配降下法
Definition
勾配降下法は、微分可能な関数の局所的最小値を見つけるための一階の反復最適化アルゴリズムです。機械学習では、モデルの重みを勾配の逆方向に更新して損失を最小化します。
Summary …
フューショットラーニング
Definition
フューショットラーニングは、人間のような学習効率を模倣し、わずかな例数からモデルが一般化できるようにすることを目的としています。通常、これはメタラーニング戦略に依存しており、モデ …
ファイントゥーン（微調整済み）
Definition
ファインチューニングとは、すでに大規模で一般的なデータセットで学習済みのモデルを取得し、より小さくタスク固有のデータセットでその学習を継続する技術です。この手法は、事前学習によっ …
教師あり
Definition
教師あり学習では、入力と正解（ラベル）の両方を含むデータアルゴリズムに供給します。モデルは予測誤差を最小化することで、入力を出力へマッピングすることを学びます。この技術は広く使用 …
事前学習（プレトレーニング）
Definition
事前学習は、深層学習における基礎的な技法であり、モデルがラベルのない大量のデータから広範な特徴やパターンを学習するプロセスです。これにより、モデルは汎用的な表現を獲得し、後続の特 …
ロス
Definition
損失関数（コスト関数とも呼ばれる）は、トレーニング中に機械学習モデルの予測が正解とどれだけ一致しているかを測定します。最適化アルゴリズムの目的は、この損失値を最小限に抑えることで …
インストラクションチューニング
Definition
このプロセスは、一般的な事前学習と特定のタスクパフォーマンスのギャップを埋めます。多様な指示-応答ペアにモデルを曝露させることで、追加の
Summary
インストラクションチュー …
ファインチューニング
Definition
ファインチューニングは、大規模データセットで訓練された汎用モデルを取得し、特定のタスクに対する性能を向上させるために、より小さく専門的なデータセットでさらに訓練を行うことを含みま …
ファインチューニング
Definition
ファインチューニングとは、大規模な一般データセットで既に訓練されたモデルを取り出し、専門的なデータセットでさらに訓練を行うことを指します。これにより、モデルは一般的な知識を維持し …
逆伝播法
Definition
逆伝播法（バックプロパゲーション）は、誤差の逆伝播の略で、人工ニューラルネットワークにおいて損失関数に対する重みの勾配を計算するために使用される手法です。これは、逆方向に伝播させ …
アライメント
Definition
アライメントは、AIシステムが文字通り求められたことだけでなく、人間が本当に望んでいることを実行するようにすることを重視します。これには、人間のフィードバックによる強化学 …