deepseek-ai /
关于
DeepSeek 开源的大模型推理框架。该项目是 DeepSeek 线上大规模服务所用的高性能推理框架，提供离线推理和大规模部署所需的核心功能。它集成了 FlashMLA、DeepGEMM、DeepEP 等自研优化算子，支持注意力数据并行、MoE 专家并行、异步调度、确定性采样和结构化输出，可运行在英伟达和华为昇腾 NPU 上。
收录记录
- HelloGitHub·月刊推荐
deepseek-ai /
DeepSeek 开源的大模型推理框架。该项目是 DeepSeek 线上大规模服务所用的高性能推理框架，提供离线推理和大规模部署所需的核心功能。它集成了 FlashMLA、DeepGEMM、DeepEP 等自研优化算子，支持注意力数据并行、MoE 专家并行、异步调度、确定性采样和结构化输出，可运行在英伟达和华为昇腾 NPU 上。
讨论这个产品