来源摘要 · AI 辅助整理

以下为来源内容的摘要，涉及性能、价格或效果的表述归属于原作者，不表示本站独立实测。

信源摘要
GAAC 论文提出逐位保留 KV 数值的缓存压缩方法。作者报告，在 NVIDIA DGX Spark 的 64K 上下文测试中，解码注意力加速 1.19–1.27 倍，端到端 W4A16 解码步骤加速 1.04–1.15 倍；可比 KV 内存预算下，常驻 KV 内存约减少 26%，总吞吐提升 13%–29%。这可能帮助本地长上下文部署，但属于作者在指定硬件和模型上的测试，本站未独立复现。