发生了什么
京东广告面临生成式推荐带来的千倍算力需求与300毫秒时延红线之间的尖锐矛盾,真正的瓶颈在通算侧而非GPU。为此,京东与华为鲲鹏合作,通过灵衢互联将四级缓存压成两级,建成300TB共享内存池,并重构RPC通信,使端到端推理时延降低15%,KV Cache和RPC性能大幅提升,经618大促核心场景5%流量验证。双方合作正从广告向搜推等场景外溢,并布局SuperCache、Agent沙箱等方向,以应对Agentic AI时代的算力挑战。
京东广告面临生成式推荐带来的千倍算力需求与300毫秒时延红线之间的尖锐矛盾,真正的瓶颈在通算侧而非GPU。为此,京东与华为鲲鹏合作,通过灵衢互联将四级缓存压成两级,建成300TB共享内存池,并重构RPC通信,使端到端推理时延降低15%,KV Cache和RPC性能大幅提升,经618大促核心场景5%流量验证。双方合作正从广告向搜推等场景外溢,并布局SuperCache、Agent沙箱等方向,以应对Agentic AI时代的算力挑战。
为什么重要
需要你自己点开原文确认一次,这里给的是摘要与判断。
需要你自己点开原文确认一次,这里给的是摘要与判断。
跟你有什么关系
暂无明确落点,仅作存档。
暂无明确落点,仅作存档。
以上判断为规则生成的初稿,发布前请润色。
判定理由
评分 0 / 100