airllm

关于

仅需 4GB 显存就能跑 70B 大模型。这是一个通过分层加载大幅降低推理显存占用的 Python 库，无需量化、蒸馏或剪枝，仅需 4GB 显存即可运行 70B 大模型。它支持 Llama 3.x、Qwen3、DeepSeek 等主流模型，并提供预取加速、8bit/4bit 量化和 macOS 支持。

收录记录

1. GitHub Trending

   2026年6月23日 – 2026年10月14日 · 7 次收录

2. HelloGitHub·月刊推荐

   2026年8月28日 · 1 次收录