MiniMind 新手教程
从 0 开始、用 PyTorch 原生代码训练一个约 64M 的超小语言模型。单卡 3090 大约 2 小时、约 3 块钱，就能走完预训练 + 对话微调。
56k+
GitHub Stars
64M
主线 Dense 参数
~2h
3090 复现 Zero
~3元
租卡成本估算
6400
词表大小
? 这是什么
MiniMind 不是又一个「下载现成大模型再 LoRA 微调」的项目。它把大语言模型从结构、分词、数据、预训练、指令微调，到 LoRA、蒸馏、强化学习、工具调用和部署，全部用尽量短的 PyTorch 代码摊开给你看。
作者的原话很直白：用乐高自己拼出一架飞机，远比坐在头等舱里飞行更让人兴奋。最低不到 3 块钱的服务器成本，就能亲身体验从 0 到 1 构建一个语言模型。
「2 小时」指 SFT 阶段在单张 NVIDIA 3090 上跑完 1 个 epoch 的实测耗时；「3 块钱」指对应时段的 GPU 租用成本。完整主线数据会更久、更贵。
? 建议学习路径
先跑通推理，再搞懂结构，最后才从零训练。不要一上来就开强化学习。
1 搞清它是什么→
2 装环境→
3 下载现成模型对话→
4 看结构与数据→
5 预训练 + SFT→
6 可选：LoRA / RL / 部署
没有 GPU 也能跟完本教程：第 3 章用 CPU / MPS 跑推理，训练章节当作「看懂流程」。真正从零训练建议至少一张 24GB 显存的卡。
? 你需要准备什么
- Python 3.10+，以及能装上的 PyTorch
- 会用终端：
git、pip、进目录跑脚本 - 推理：普通电脑即可；训练：推荐 NVIDIA GPU（作者参考环境是 3090 24GB）
- 数据：从 ModelScope / HuggingFace 按需下载，不必一次全下