产品

llmrun：查一查你的显卡或 Mac 能跑哪些本地大模型

DT软件开发DTmacOS

关于

选一块显卡、一台 Mac 或迷你主机，就能看到哪些开源大模型装得下、每种量化需要多少显存，以及大概的生成速度（tok/s）。MoE 模型按激活参数估算速度，不会像按总参数估算那样明显偏低。另外汇总了公开基准测试的成绩，每项都注明来源。免费，无需注册