第 3 章：5 分钟上手推理

先让模型开口说话。训练可以以后再做，这一章只下载现成权重并对话。

1下载现成模型

在项目根目录执行。优先 ModelScope：

# 方式 1：ModelScope
modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3

# 方式 2：HuggingFace
git clone https://huggingface.co/jingyaogong/minimind-3

下载到的是 Transformers 格式目录（config.json、tokenizer.json、权重文件）。

2命令行对话

# Transformers 格式（刚下载的目录）
python eval_llm.py --load_from ./minimind-3

# 自己训出来的原生 PyTorch 权重（文件在 ./out）
python eval_llm.py --load_from ./model --weight full_sft

--weight 是权重名前缀，常见值：pretrain、full_sft、dpo。更多参数直接看 eval_llm.py。

预训练权重只会「词语接龙」，还不会好好当助手。想正常聊天，用 full_sft 或官方发布的 minimind-3。

3打开「思考」开关

主线不再单独训一个 reason 模型，而是用模板开关控制要不要先输出思考过程：

python eval_llm.py --load_from ./minimind-3 --open_thinking 1

open_thinking=0：更倾向直接回答
open_thinking=1：先写思考，再给最终答案

4可选：Streamlit 网页

pip install streamlit   # 需要 Python 3.10+
# 必须把 Transformers 模型文件夹复制进 scripts/
cp -r minimind-3 ./scripts/minimind-3
cd scripts && streamlit run web_demo.py

网页支持展示思考、选择工具、多轮 Tool Call。web_demo.py 会扫描 scripts/ 下带权重的子文件夹，找不到就会报错。

5一行命令：Ollama / vLLM

# 本机已装 Ollama 时
ollama run jingyaogong/minimind-3

# 本机已装 vLLM 且有 CUDA 时
vllm serve /path/to/model --served-model-name "minimind"

更完整的部署（OpenAI API、llama.cpp、量化）见第 10 章。

6建议先问这几句

请介绍一下自己。
用三句话解释什么是大语言模型。
写一段 Python 快速排序。
现在几点了？（若权重带 Tool Call，可能触发工具）

聊得通，这一章就过关。效果一般是正常的——带着这个问题去后面看「为什么小、数据怎么喂、怎么训」。