第 2 章:环境准备
克隆仓库、装依赖、确认 PyTorch 能看见你的设备。这一章做完再下载模型和数据。
1作者的参考环境
不必一模一样,但心里要有数:训练数字都是按这个档位估算的。
| 项目 | 参考配置 |
|---|---|
| CPU | Intel Core i9-10980XE |
| 内存 | 128 GB(训练够用即可,32GB 也能起步) |
| GPU | NVIDIA RTX 3090 24GB × 8(单卡也能训) |
| 系统 / CUDA | Ubuntu 20.04,CUDA 12.2 |
| Python | 3.10.16 |
Mac(MPS)和纯 CPU 可以跑推理和很小的实验,完整预训练会非常慢。Windows 建议用 WSL2 或 Linux 机器。
2克隆并安装
git clone --depth 1 https://github.com/jingyaogong/minimind
cd minimind
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
国内网络优先用阿里云 PyPI 镜像。模型与数据集建议走 ModelScope,少踩 HuggingFace 连接问题。
3确认 PyTorch 后端
训练脚本会用 CUDA。先确认当前环境识别到了什么:
import torch
print("cuda:", torch.cuda.is_available())
print("mps:", getattr(torch.backends, "mps", None) and torch.backends.mps.is_available())
print("device count:", torch.cuda.device_count())
若计划用 NVIDIA 训练但这里是 False,先按当前 CUDA 版本重装匹配的 PyTorch,再继续。CPU / MPS 仍可运行部分脚本,速度和兼容性差很多。
4新手需要认识的目录
| 路径 | 干什么 |
|---|---|
model/ | 模型结构,主文件是 model_minimind.py |
trainer/ | 所有训练脚本都在这里执行 |
dataset/ | 把下载的 jsonl 放到这里 |
out/ | 训练产出的 *.pth 权重 |
checkpoints/ | 断点续训用的完整检查点 |
scripts/ | 转换、OpenAI API、WebUI、评测辅助 |
eval_llm.py | 命令行聊天 / 测权重 |
5数据先别全下
完整主线数据大约十几个 GB。只想尽快训出一个能对话的 Zero 模型,先下这两个就够:
pretrain_t2t_mini.jsonl(约 1.2GB)sft_t2t_mini.jsonl(约 1.6GB)
下载地址:ModelScope 数据集 或 HuggingFace。放到 ./dataset/。
只想先聊天、不训练:跳过数据,直接看第 3 章下载现成的
minimind-3。