vLLM

AWS 介绍使用 NVIDIA Dynamo 和 vLLM，在 EKS、EKS Auto Mode 与 SageMaker HyperPod EKS 上部署 Nemotron 3.5 Super VL 等模型的方法，并提供延迟和吞吐量测量参考。示例使用 B200、H200 GPU

国产大模型的竞争，正从模型层延伸到算力层：再强的模型，最终都要基于算子在芯片上执行。同一个模型、同一块芯片，换一套更优的算子，有时会带来数倍的性能提升。算子的效率决定了同样的显卡能跑多快，也决定了每个 token 的价格。 DeepSeek 近日全面开源推理框架 DeepInfe

开源支撑 DeepSeek-V4.1-Flash 生产服务的推理框架：FlashMLA/DeepGEMM/DeepEP/TileLang、MoE 并行、异步调度、batch-invariant 推理、结构化输出。