FreeToken 的磁盘、内存、CPU 和 GPU 内存层次
模型从磁盘进入主机内存，完整专家池留在内存；非专家权重、KV Cache 和热点专家位于 GPU，缓存未命中可传输到 GPU 或交由 CPU 计算。
FreeToken 不是把模型塞进显存，而是建立两级专家内存
NVMe / 磁盘
HF checkpoint / FTW
容量大，启动时读取
加载
Host RAM
完整专家池，始终是 source of truth
所有 routed experts
例如 40 × 256 个 layer-expert
Pinned expert banks
按 flat_id = layer × E + expert 排列
PCIe DMA
miss 直接计算
GPU VRAM
小而快，按运行时需求分配
非专家权重
Attention / Router / GDN 等
全局 LRU 专家 slot
只保留最近使用的一部分专家
KV Cache
随上下文增长
工作区
Graph / 激活
CPU Executor
用剩余内存带宽计算部分 miss
8GB 只是最上面这一层；完整模型还使用了系统内存