媚びへつらい（サイコファンシー）
Definition
サイコファンシーは、大規模言語モデルにおける失敗モードの一つであり、システムが正確な情報の提供よりもユーザーの機嫌を取ることを優先する現象です。これは通常、人間フィードバックによ …
Evaluation
安定性
Definition
機械学習における安定性とは、訓練データに小さな摂動（変化）を加えた場合でも、モデルのパフォーマンスやパラメータが頑健に保たれる性質を指します。安定したアルゴリズムは、異なるサブセ …
MAUVE
Definition
MAUVEは、生成言語モデルの出力が人間の言語使用にどれだけ近いかを評価するために設計された統計的測定値です。単純なパープレキシティスコアとは異なり、MAUVEはバーチャル埋め込 …
留一法交差検証
Definition
留一法交差検証（LOOCV）は、kの値がデータセット内のサンプル数と等しいk-fold交差検証の特殊なケースです。これはモデル性能のほぼ不偏な推定値を提供します。
Summary …
リーケージ（データ漏洩）
Definition
データリーケージは、機械学習における重大なエラーであり、予測時には利用できない情報がトレーニング中にモデルに漏れ出すことを指します。これは通常、データの分割方法が不適切であること …
LLM-as-a-Judge
Definition
LLM-as-a-Judgeは、大規模言語モデルが他のモデルからの出力品質に対する自動評価者として機能する評価パラダイムです。人間の注釈担当者や厳格なルールだけに依存するのではな …
インセプション・スコア
Definition
インセプション・スコア（IS）は、生成敵対ネットワーク（GAN）やその他の生成モデルのパフォーマンスを評価するために導入された統計的尺度です。これは、画像の品質（鮮明さ）と多様性 …
FrontierMath
Definition
FrontierMathは、大規模言語モデル（LLM）の複雑な数学的問題解決における限界を試すために作成された専門的な評価スイートです。標準的な算術ベンチマークとは異なり、高レベ …
二値分類器の評価
Definition
この分野には、精度（accuracy）、適合率（precision）、再現率（recall）、F1スコア、および受動者操作特性曲線下面積（AUC-ROC）などの指標の分析が含まれ …
交差検証
Definition
交差検証は、機械学習モデルの性能を推定するための統計的手法です。最も一般的な形式はk-fold交差検証で、データをk個の等しい部分に分割します。各ステップで、1つの部分をテストセ …
混同行列
Definition
混同行列は、アルゴリズム（通常は教師あり学習）の性能を視覚化するために使用される特定の表形式です。真陽性、真陰性、偽陽性、偽陰性の数を示し、モデルの分類精度やバイアスを評価するの …
機械学習ソフトウェアの比較
Definition
この用語は、TensorFlow、PyTorch、Scikit-learn、Kerasなど、さまざまな機械学習ライブラリやプラットフォームの体系的な評価とベンチマークを指します。 …
カテゴリユーティリティ
Definition
この指標は、一連のカテゴリがそれらのカテゴリ内の属性の値をどれだけよく予測できるかを定量化します。カテゴリのサイズと、その内容の均質性のバランスを取ります。
Summary
カテ …
損失関数
Definition
コスト関数または誤差関数とも呼ばれる損失関数は、モデルの性能がどの程度良好かを示すスカラー値を提供します。トレーニング中、最適化アルゴリズムはこの値を使用して勾配を計算し、モデル …
分布外
Definition
分布外（OOD）検出は、トレーニングデータの分布の範囲外にある入力を特定します。モデルはOODデータに対して性能が低下したり、自信を持って誤った予測をしたりすることが多く、信頼性 …
高品質
Definition
人工知能において、高品質とは通常、高い忠実度、低いノイズ、そして強力な汎化能力を備えたデータやモデルの出力を記述します。高品質なトレーニングデータは、モデルの堅牢性を確保し、過学 …
ホールドアウト
Definition
「ホールドアウト」データセットとは、機械学習モデルの学習フェーズから意図的に除外された例の集合です。このサブセットは、モデルが見知らぬデータに対してどれほどよく一般化できるかを評 …
テスト
Definition
テストセットは、トレーニングプロセス中に保持され、最終モデルの汎化能力を評価するために使用されるデータの一部分です。ハイパーパラメータのチューニングに使用される検証セットとは異な …
スコア
Definition
スコアは、精度、精密率、または報酬などの特定の指標に対して機械学習モデルがどの程度良く機能しているかを定量化します。強化学習では、スコアは累積報酬を示し、分類では
Summary …
全体
Definition
AIモデルを評価する際、「全体」指標は、個々のコンポーネントに焦点を当てるのではなく、システムパフォーマンスの包括的な視点を提供します。これには、全体の精度、平均平均適合 …
エビデンス
Definition
人工知能において、エビデンスとは、モデルの挙動、精度、または効果に関する主張を実証する実証データ、統計結果、または観測可能な成果を指します。これは、モデルの信頼性を裏付ける根拠と …
ベンチマーク
Definition
人工知能において、ベンチマークとは、機械学習モデルの能力を測定するために設計された標準化されたテストスイートまたはデータセットのことです。これは、異なるモデル間の比較に一貫した枠 …
ベンチマーク
Definition
ベンチマークは、異なるAIモデルやアルゴリズムの能力を比較するための標準的な参照点として機能します。通常、キュレーションされたデータセットと、精度や再現率などの特定の評価指標が含 …
分析
Definition
AIの文脈において、分析とは、根本的なパターンを理解し、問題を診断し、実行可能な洞察を引き出すために、データ、モデルの予測、またはシステムの挙動を体系的に検証することを指します。 …
ハルシネーション
Definition
ハルシネーションは、生成AIモデルが現実やソースデータに基づいていないが、一見もっともらしく見える出力を生み出す現象です。高い精度が求められるアプリケーションにおいて、これは重大 …