データセット: Trivia QA
Definition
TriviaQAは、オープンドメインの質問応答を目的としたデータセットで、100万件以上の質問とその対応する回答を特徴としています。既存のモデルに挑戦させるために作成され、モデル …
Datasets
データセット: WikiHow
Definition
WikiHowデータセットは、WikiHowウェブサイトから収集された約6万件の手順記事で構成されています。抽象的なテキスト要約などの自然言語処理研究タスクにおいて広く使用されて …
データセット: Wikipedia
Definition
Wikipediaは、テキスト形式で利用可能な人類の知識のうち最大かつ最も包括的なコレクションの一つです。AIにおいて、大規模言語モデルの事前学習のための主要なソースとして機能 …
データセット: Yahoo Answers Topics
Definition
Yahoo Answers Topicsデータセットは、より大きなYahoo Answersアーカイブの部分集合であり、明確なトピックカテゴリに整理された質問と回答に焦点を当てて …
データセット: Nvidia/Helpsteer2
Definition
Helpsteer2はNVIDIAが公開したキュレーション済みデータセットで、大規模言語モデル（LLM）によって生成された回答のペアワイズ比較を含みます。このデータセットは、有用 …
データセット: S2ORC
Definition
S2ORCはSemantic Scholar由来の学術記事の包括的なコーパスです。このデータセットには、多様な科学分野にわたる数百万の論文の全文コンテンツ、メタデータ、および引用 …
データセット：埋め込みデータ/Simple Wiki
Definition
このデータセットは、非ネイティブスピーカー向けに文法と語彙を簡素化したSimple English Wikipediaから抽出された文や段落で構成されています。これは、 …
データセット：埋め込みデータ/Wikianswers
Definition
このデータセットには、現在廃止されたWikiAnswersプラットフォームからスクレイピングされた数百万の質問応答ペアが含まれています。主に密なパッセージ検索や意味的マッチングモ …
データセット：埋め込みデータ/Altlex
Definition
Altlexデータセットは、同じ基本的な意味を持ちつつも、異なる語彙や構文構造を利用する文のペアで構成されています。これは主に埋め込みモデルの訓練に利用されます。
Summary …
データセット：埋め込みデータ/Flickr30Kキャプション
Definition
Flickr30Kキャプションは、視覚的内容を記述する5つの異なる英語文で注釈付けされた3万1,783枚の画像からなる、広く使用されているベンチマークデータセットです。これは基盤 …
データセット：埋め込みデータ/PAQペア
Definition
PAQ（Pseudo-Answer Quality）データセットには、Wikipediaから抽出された数百万件の自動生成された質問応答ペアが含まれています。これは、情報を提供する …
データセット：埋め込みデータ/QQP
Definition
Quora Question Pairs（QQP）は、Quoraプラットフォームからの40万件以上の質問ペアを含む二値分類データセットです。タスクは、2つの質問が同じ意図を持って …
データセット：埋め込みデータ/文圧縮
Definition
文圧縮データセットは、ターゲット文がソース文の短縮版であり、冗長な情報を削除しながら核心的な意味を保持するペアで構成されています。これらのデータセットは、情報密度の最適化や要約タ …
データセット:Bigcode/The Stack Dedup
Definition
The Stack Dedupは、大規模なオープンソースコードリポジトリであるThe Stackの専門的なサブセットです。大規模言語モデルの学習バイアスを防ぐため、冗長なコードス …
データセット:Bookcorpus
Definition
BookCorpusは、インターネットから収集された1万冊以上の未出版書籍からのテキストコレクションです。これは、自然言語処理（NLP）モデルの学習および評価のための基盤リソース …
データセット:Eli5
Definition
ELI5（Explain Like I’m Five）は、同じ名前のRedditコミュニティから派生したデータセットです。ユーザーが投稿した質問と、コミュニティによっ …
AZFinText
Definition
AZFinTextは、中国語の金融テキスト分析のために特別に収集された大規模な注釈付きコーパスです。これには、金融感情や経済指標でラベル付けされたニュース記事、レポート、ソーシャ …