Definition
RefinedWeb 是一个经过过滤的网页大规模数据集，专为预训练基础模型而设计。它处理数十亿个网页，以去除低质量内容、重复项和有害材料。
Summary
由技术创新研究所（TII）策划的大规模高质量网页数据集，用于预训练像 Falcon 这样的大型语言模型。
Key Concepts
- 数据过滤
- 预训练语料库
- 网页抓取
- 质量控制
Use Cases
- 预训练大型语言模型
- 比较数据质量对模型性能的影响
- 构建高效的训练管道
A comprehensive multilingual AI terminology dictionary
RefinedWeb 是一个经过过滤的网页大规模数据集，专为预训练基础模型而设计。它处理数十亿个网页，以去除低质量内容、重复项和有害材料。
由技术创新研究所（TII）策划的大规模高质量网页数据集，用于预训练像 Falcon 这样的大型语言模型。