Definition
RefinedWebは、基盤モデルの事前訓練用に設計されたフィルタリングされたウェブページの大规模データセットです。低品質なコンテンツ、重複、有害な材料を除去するために数十億のウェブページを処理します。
Summary
Technology Innovation Institute（TII）によってキュレーションされた、Falconなどの大規模言語モデルの事前訓練用の大規模かつ高品質なウェブデータセット。
Key Concepts
- データフィルタリング
- 事前訓練コーパス
- ウェブスクレイピング
- 品質管理
Use Cases
- 大規模言語モデルの事前訓練
- データ品質がモデル性能に与える影響の比較
- 効率的な訓練パイプラインの構築