文の類似度
Definition
文の類似度は、2つの異なる文間の意味的重なり合いの度合いを測定します。これは単なる語彙の一致を超え、意味、文脈、意図を理解することを目指します。これは通常、文をベクトル空間に埋め …
Metrics
MAUVE
Definition
MAUVEは、生成言語モデルの出力が人間の言語使用にどれだけ近いかを評価するために設計された統計的測定値です。単純なパープレキシティスコアとは異なり、MAUVEはバーチャル埋め込 …
インセプション・スコア
Definition
インセプション・スコア（IS）は、生成敵対ネットワーク（GAN）やその他の生成モデルのパフォーマンスを評価するために導入された統計的尺度です。これは、画像の品質（鮮明さ）と多様性 …
二値分類器の評価
Definition
この分野には、精度（accuracy）、適合率（precision）、再現率（recall）、F1スコア、および受動者操作特性曲線下面積（AUC-ROC）などの指標の分析が含まれ …
均等オッズ
Definition
均等オッズは、アルゴリズムの公平性を確保するために使用される統計的パリティ制約です。具体的には、保護されたグループに関わらず、モデルが同じように機能することを要求します。つまり、 …
混同行列
Definition
混同行列は、アルゴリズム（通常は教師あり学習）の性能を視覚化するために使用される特定の表形式です。真陽性、真陰性、偽陽性、偽陰性の数を示し、モデルの分類精度やバイアスを評価するの …
カテゴリユーティリティ
Definition
この指標は、一連のカテゴリがそれらのカテゴリ内の属性の値をどれだけよく予測できるかを定量化します。カテゴリのサイズと、その内容の均質性のバランスを取ります。
Summary
カテ …
ベイズレジット（期待損失）
Definition
ベイズレジットは、完全な情報がある場合に達成可能な最適な報酬と、不確実性の中で行動するエージェントが得る期待報酬との差を定量化します。これは、事前分布に基づいて計算され、意思決定 …
ASR-complete
Definition
ASR-completeという用語は、自動音声認識（ASR）システムが、特定かつ明確に定義されたタスクやデータセットにおいて、人間の文字起こし担当者と同程度の性能水準に達している …
レイテンシ
Definition
レイテンシは、通常ミリ秒単位で表されるAIサービスの応答性を測定する指標です。これには推論時間、ネットワーク伝送遅延、および処理オーバーヘッドが含まれます。リアルタイム性が求めら …
ワッサースタイン距離
Definition
ワッサースタイン距離（地球移動距離とも呼ばれる）は、ある分布から別の分布へ質量を移動させるために必要な最小の「仕事量」を計算することで、2つの確率分布間の非類似度を定量化します。 …
スコア
Definition
スコアは、精度、精密率、または報酬などの特定の指標に対して機械学習モデルがどの程度良く機能しているかを定量化します。強化学習では、スコアは累積報酬を示し、分類では
Summary …
全体
Definition
AIモデルを評価する際、「全体」指標は、個々のコンポーネントに焦点を当てるのではなく、システムパフォーマンスの包括的な視点を提供します。これには、全体の精度、平均平均適合 …
評価
Definition
評価には、定量的な指標（例：精度、F1スコア、BLEUスコア）および定性的なアセスメントを用いて、AIモデルが特定のタスクでいかに良く機能しているかを体系的に測定することが含まれ …
ベンチマーク
Definition
人工知能において、ベンチマークとは、機械学習モデルの能力を測定するために設計された標準化されたテストスイートまたはデータセットのことです。これは、異なるモデル間の比較に一貫した枠 …
ベンチマーク
Definition
ベンチマークは、異なるAIモデルやアルゴリズムの能力を比較するための標準的な参照点として機能します。通常、キュレーションされたデータセットと、精度や再現率などの特定の評価指標が含 …