Benchmark

Definition

マウンテンカー問題は、強化学習研究における標準的なベンチマークです。目標は、出力の低い車を制御して急な丘の頂上まで到達させることです。車は

エージェントが加速制御 …

FrontierMathは、大規模言語モデル（LLM）の複雑な数学的問題解決における限界を試すために作成された専門的な評価スイートです。標準的な算術ベンチマークとは異なり、高レベ …

SNLIは、50万件以上のラベル付き文ペアを含むベンチマークデータセットで、「含意（entailment）」「矛盾（contradiction）」「中立（neutral）」の3つ …

MS MARCO（Microsoft Machine Reading Comprehension）は、自然言語処理、特に情報検索や質問応答において広く使用されているデータセットで …

MultiNLIは、GLUEベンチマークを通じて入手可能なクラウドソーシングコーパスで、話されたテキストと書かれたテキストのさまざまなジャンルにわたる自然言語推論（NLI）を評価 …