来源摘要 · AI 辅助整理
以下为来源内容的摘要,涉及性能、价格或效果的表述归属于原作者,不表示本站独立实测。
信源摘要
Reddit 用户 Relative-Ant-9249 报告,在双 RTX 5090(各 32GB)、251GB 内存上,用 QEngine 1.3.1 运行 INT4 AutoRound 版 Qwen3.8-Flash-Next。主机内存 KV 模式在重复提示词测试中代码生成达 504 token/秒;作者提醒专家缓存受重复请求影响,混合流量约为 300–400 token/秒,90K 预填充仍慢于其比较的 Strata。项目仓库确认相关模型和 KV 功能,但主要针对 RTX 3090,5090 需重新编译。这是单个用户自报测试,不同量化和缓存条件限制可比性,不能据此认定普遍领先或回答质量提升。
Reddit 用户 Relative-Ant-9249 报告,在双 RTX 5090(各 32GB)、251GB 内存上,用 QEngine 1.3.1 运行 INT4 AutoRound 版 Qwen3.8-Flash-Next。主机内存 KV 模式在重复提示词测试中代码生成达 504 token/秒;作者提醒专家缓存受重复请求影响,混合流量约为 300–400 token/秒,90K 预填充仍慢于其比较的 Strata。项目仓库确认相关模型和 KV 功能,但主要针对 RTX 3090,5090 需重新编译。这是单个用户自报测试,不同量化和缓存条件限制可比性,不能据此认定普遍领先或回答质量提升。
评论
登录后参与讨论。请围绕文章交流,勿发布广告或个人敏感信息。