运行预算 / 01
权重只是运行预算的一部分
权重模型参数及量化元数据
KV 缓存随已缓存位置数增长
临时工作区计算过程需要的空间
其他占用后端、系统与其他程序
仅列预算组成，各卡片面积不代表占比或实测结果。
以 Qwen3-8B 结构计算：纯 KV 数据的理论用量
36 层 · 8 个 KV 头 · 每头 128 维 · batch=1 · 16 位 KV 缓存
4096 个位置576MiB
8192 个位置1152MiB
2 × 层数 × 位置数 × KV 头数 × 每头维度 × 2 字节
= 1.125GiB
前提：全注意力、无缓存量化；忽略其他缓存结构开销。该值不等于整机运行占用。
Nicksxs · 结构依据：Qwen3-8B 官方 config.json