MiniMind 新手教程

第 2 章:环境准备

克隆仓库、装依赖、确认 PyTorch 能看见你的设备。这一章做完再下载模型和数据。

1作者的参考环境

不必一模一样,但心里要有数:训练数字都是按这个档位估算的。

项目参考配置
CPUIntel Core i9-10980XE
内存128 GB(训练够用即可,32GB 也能起步)
GPUNVIDIA RTX 3090 24GB × 8(单卡也能训)
系统 / CUDAUbuntu 20.04,CUDA 12.2
Python3.10.16
Mac(MPS)和纯 CPU 可以跑推理和很小的实验,完整预训练会非常慢。Windows 建议用 WSL2 或 Linux 机器。

2克隆并安装

git clone --depth 1 https://github.com/jingyaogong/minimind
cd minimind
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple

国内网络优先用阿里云 PyPI 镜像。模型与数据集建议走 ModelScope,少踩 HuggingFace 连接问题。

3确认 PyTorch 后端

训练脚本会用 CUDA。先确认当前环境识别到了什么:

import torch
print("cuda:", torch.cuda.is_available())
print("mps:", getattr(torch.backends, "mps", None) and torch.backends.mps.is_available())
print("device count:", torch.cuda.device_count())

若计划用 NVIDIA 训练但这里是 False,先按当前 CUDA 版本重装匹配的 PyTorch,再继续。CPU / MPS 仍可运行部分脚本,速度和兼容性差很多。

4新手需要认识的目录

路径干什么
model/模型结构,主文件是 model_minimind.py
trainer/所有训练脚本都在这里执行
dataset/把下载的 jsonl 放到这里
out/训练产出的 *.pth 权重
checkpoints/断点续训用的完整检查点
scripts/转换、OpenAI API、WebUI、评测辅助
eval_llm.py命令行聊天 / 测权重

5数据先别全下

完整主线数据大约十几个 GB。只想尽快训出一个能对话的 Zero 模型,先下这两个就够:

  • pretrain_t2t_mini.jsonl(约 1.2GB)
  • sft_t2t_mini.jsonl(约 1.6GB)

下载地址:ModelScope 数据集 或 HuggingFace。放到 ./dataset/。

只想先聊天、不训练:跳过数据,直接看第 3 章下载现成的 minimind-3。