DeepSeek宣布开源内部推理框架DeepInfer并同步开放Token编解码组件

深度求索公司10月20日宣布将内部推理框架DeepInfer全面开源，并同步开放生产级Token编解码组件deepseek-recipe。DeepInfer集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，兼容英伟达与华为昇腾算力平台。