第 5 章：分词器与数据

1Tokenizer 可以看成一本词典

它把句子切成 token id，再把 id 拼回文字。仓库提供 train_tokenizer.py 当示例，不建议重训：词表一变，权重、数据、推理接口和社区生态全部对不上。

6400 对中文切分不如 Qwen / GLM 细，但能显著压低 embedding 和输出层的参数占比，对百兆级模型更合适。主线统一用 minimind_tokenizer，不再维护 mistral 词表分叉。

2预训练数据：学会词语接龙

主线文件：pretrain_t2t.jsonl / pretrain_t2t_mini.jsonl。每行只有一段 text：

{"text": "如何才能摆脱拖延症？治愈拖延症并不容易，但以下建议可能有所帮助。"}
{"text": "Transformer 通过自注意力机制建模上下文关系，是现代大语言模型的重要基础结构。"}

来源包括通用文本、对话整理、蒸馏语料等宽松协议数据，经过清洗、去重、长度控制和格式统一。mini 版适合快速复现，完整版适合训主线 minimind-3。

3SFT 数据：学会当助手

sft_t2t.jsonl / sft_t2t_mini.jsonl 使用多轮对话。Tool Call 已经混进主线，一般不必再单独做一轮工具微调。

{
  "conversations": [
    {"role": "user", "content": "你好"},
    {"role": "assistant", "content": "你好！"}
  ]
}

带工具的样本会在 system 上挂 tools，在 assistant 上挂 tool_calls，训练时由 chat template 展开成 <tool_call> / <tool_response>。

4RL 数据

• dpo.jsonl：偏好对，chosen 更好、rejected 更差
• rlaif.jsonl：格式接近 SFT，但最后一个 assistant 留空，训练时现场生成再打分
• agent_rl.jsonl / agent_rl_math.jsonl：多轮工具 / 数学可验证任务

5下载清单与推荐组合

放到 ./dataset/。标了推荐的是快速复现 Zero 的最小集合。