FineWeb 简体中文版：大规模提炼网页以获取优质文本数据

阅读 FineWeb 完整简体中文版

FineWeb 是 Hugging Face 的预训练数据长篇技术报告，也是 FineWeb → Ultra-Scale Playbook → Smol Training Playbook 三部曲的第一部。它详细记录了如何从 Common Crawl 构建大规模网页文本数据集，并通过受控消融实验比较文本提取、去重与过滤策略。

本站收录 Ki-Seki 的简体中文译本，保留正文、插图、引用及交互图表数据。本次为网站接入，未对译文逐句重新翻译或审校。

主要内容

#

• Common Crawl 原始数据、规模化处理与数据质量评估。
• WARC／WET 文本提取、基础过滤和 MinHash 去重。
• 全局去重与每个抓取快照独立去重的消融实验。
• C4 过滤器、自定义过滤器和最终 FineWeb 数据集。
• FineWeb-Edu 的标注、分类器训练、过滤阈值和实验结果。
• Common Crawl 随时间的变化与基准测试污染分析。

来源与版本

#

• 英文原文：FineWeb: decanting the web for the finest text data at scale。原作者为 Hugging Face FineWeb 团队，作者名单保留在正文中。
• 中文译本及源码：Ki-Seki/blogpost-fineweb-v1。本站收录其发布页面，新增返回博客和来源导航。
• 文中的实验结果及“最新”等表述对应原报告发布时的状态。

三部曲

#

1. FineWeb：数据处理。
2. Ultra-Scale Playbook：GPU 集群与分布式训练。
3. Smol Training Playbook：模型训练全流程。