6GB 显存预算结构 6GB 显存中需要同时容纳非专家权重、专家缓存、KV Cache 与运行时余量,完整专家池仍在主机内存。 6GB 不是模型大小,而是四类运行时资源的共同预算 示意图不按真实 GiB 比例绘制;具体分配由模型、上下文和 backend 决定 GPU VRAM:标称 6GB RTX 3060 Laptop 案例中 CUDA 可见总容量约 5.67GiB 非专家权重与状态 Attention / Router / Embedding / GDN 等硬成本 全局 LRU 专家缓存 越大则 Decode miss 越少,但会挤压 KV 与余量 KV Cache 决定可容纳的上下文 与 expert slots 直接竞争 运行时余量 JIT / Graph Workspace / 碎片 Host RAM 32GB 是紧张下限 实操建议 48GB 完整专家池 Pinned expert banks PCIe fill CPU fallback 16GB RAM 不只是慢 可能无法稳定加载或进入 swap 调优顺序:先保证启动余量与目标 KV,再把剩余显存逐步分给专家缓存