6GB 显存预算结构
6GB 显存中需要同时容纳非专家权重、专家缓存、KV Cache 与运行时余量,完整专家池仍在主机内存。
6GB 不是模型大小,而是四类运行时资源的共同预算
示意图不按真实 GiB 比例绘制;具体分配由模型、上下文和 backend 决定
GPU VRAM:标称 6GB
RTX 3060 Laptop 案例中 CUDA 可见总容量约 5.67GiB
非专家权重与状态
Attention / Router / Embedding / GDN 等硬成本
全局 LRU 专家缓存
越大则 Decode miss 越少,但会挤压 KV 与余量
KV Cache
决定可容纳的上下文
与 expert slots 直接竞争
运行时余量
JIT / Graph
Workspace / 碎片
Host RAM
32GB 是紧张下限
实操建议 48GB
完整专家池
Pinned expert banks
PCIe fill
CPU fallback
16GB RAM 不只是慢
可能无法稳定加载或进入 swap
调优顺序:先保证启动余量与目标 KV,再把剩余显存逐步分给专家缓存