airllm

About

仅需 4GB 显存就能跑 70B 大模型。这是一个通过分层加载大幅降低推理显存占用的 Python 库，无需量化、蒸馏或剪枝，仅需 4GB 显存即可运行 70B 大模型。它支持 Llama 3.x、Qwen3、DeepSeek 等主流模型，并提供预取加速、8bit/4bit 量化和 macOS 支持。

Discovery history

1. GitHub Trending

   Jun 23, 2026 – Oct 14, 2026 · 7 observations

2. HelloGitHub·月刊推荐

   Aug 28, 2026 · 1 observations