存储与计算 / 02
4bit 保存的权重，怎样参与计算？
一种常见路径的概念示意，具体实现由量化格式与运行后端决定。
01 / 保存4bit 权重
低位宽值 + 缩放参数等文件还可能包含额外元数据
02 / 参与运算前按块解码与缩放
低位宽值 × 缩放参数恢复当前需要的数值公式与数据布局因格式而异
03 / 计算BF16 / FP16
计算路径示例运算与累加精度需另看配置并非所有后端采用同一实现
计算精度不等于整份权重的存储精度
优化后端可融合解码与运算，不必先把整份权重展开成一份浮点副本。
Nicksxs · 概念示意，不代表所有后端