Rapid-MLX — Apple Silicon 最快的本地 AI 推理引擎
RapidMLX Apple Silicon 上最快的本地 AI 推理引擎，完全兼容 OpenAI API。 GitHub: RapidMLX 是一个基于 MLX 框架的高性能本地大语言模型推理服务器，专为 Apple Silicon Mac 优化。提供与 OpenAI 完全兼容的 API 接口，可直接替代云端 API，所有数据留在本地。 核心特性 高性能推理：比 Ollama 快 24 倍（实测数据见下方） OpenAI API 兼容：/v1/chat/completions、/v1/completions 等标准接口，可直接对接现有工具链 17 种工具调用解析器：支持 Qwen、Hermes、MiniMax、GLM 等主流模型的 function calling 推理分离（Reasoning）：支持 thinking/reasoning 模型的结构化输出 DeltaNet 状态快照：针对 Qwen3.5 等 RNNAttention 混合架构，TTFT 提速 1.54.8x 提示缓存（Prompt Cache）：跨请求 KV 缓存复用，多轮对话加速 视觉模型支持：支持 QwenVL、Gemma 等多模态模型 音频 STT/TTS：内置语音转文字和文字转语音 性能对比（M3 Ultra, Qwen3.59B） | 引擎 | 生成速度 (tok/s) | TTFT (ms) | |||| | RapidMLX | 108 | 180 | | Ollama | 46 | 320 | | mlxlm (上游) | 62 | 250 | RapidMLX 在 Qwen3.59B 上比 Ollama 快 2.3 倍，比上游 mlxlm 快 1.7 倍。在更大模型（GPTOSS20B）上优势更明显，达到 4.2 倍。 安装与使用 bash 一键安装 curl fsSL | bash 启动服务 rapidmlx serve qwen3.59b 使用（兼容任何 OpenAI 客户端） curl \ H "ContentType: application/json" \ d '{"model": "qwen3.59b", "messages": [{"role": "user", "content": "你好"}]}' 适用场景 本地开发调试 AI 应用，替代付费 API 隐私敏感场景，数据不离开本机 需要 function calling 能力的本地 Agent 开发 Apple Silicon Mac 用户追求极致推理速度 MIT
Original
DEV TRENDS / COMMUNITY
Discuss this edition
Sign in with GitHub to share a thought, question, or useful follow-up.