跑起来，只是及格线。

CUDA out of memory

先砍上下文，再看量化。

显存峰值通常来自 KV cache 和并发，而不是参数量本身。按这个顺序排查。

--max-model-len 4096
--gpu-memory-utilization 0.82
--max-num-seqs 2

1. 把上下文从 32K 降到 4K，确认是否能启动。
2. 降低并发数与框架预留比例，再逐步加回去。
3. 确认没有同时加载两份权重或残留进程。

自问自答 / 乱码 / 标签泄漏

九成是模板没有对齐。

同一份权重在不同推理栈里，默认的 chat template 和结束符可能不一样。

chat_template
eos_token
stop_token_ids

1. 先复现官方模型卡中的最小对话样例。
2. 核对 tokenizer 配置和系统提示的拼接方式。
3. 确认停止符已生效，避免把下一轮对话也生成出来。

首 token > 3s / 输出拖沓

先量 P95，别优化感觉。

固定输入输出长度，把加载、预填充、解码拆开测。吞吐和延迟不是同一个目标。

prompt_tokens: 2048
max_tokens: 256
concurrency: 1 → 4 → 8

1. 首次请求包含模型加载时间，不要混入常规延迟。
2. 先用小批量压测，再检查 CPU、带宽和显存带宽瓶颈。
3. 思考模式变慢时，先限制推理预算，而不是盲目换硬件。

JSON 截断 / 参数漂移

结构化输出要加护栏。

小模型更容易在长参数处跑偏。提示词不是解析器，校验必须放在代码侧。

response_format: json_schema
max_tokens: 512
retry_on: parse_error

1. 为每个工具定义窄而明确的参数 schema。
2. 解析失败时允许一次纠正，不要无限重试。
3. 真实副作用操作（付款、删除）必须人工确认。