ovg-project /
kvcached
kvcached 是给 vLLM / SGLang 用的 KV cache 库,让多个模型共享一张 GPU 的显存。 一张 GPU 上想同时跑两个大模型,现在只能手动切显存，vLLM 的--gpu-memory-utilization 启动时就把显存占死,整晚没请求也不还,分多了 OOM,分少了浪费。 kvcached 把 KV cache 的虚拟地址和物理显存拆开:启动只预留地址空间,真有请求写 KV 时才映射物理显存,用完归还。相当…
产品配图
关于
kvcached 是给 vLLM / SGLang 用的 KV cache 库,让多个模型共享一张 GPU 的显存。 一张 GPU 上想同时跑两个大模型,现在只能手动切显存，vLLM 的--gpu-memory-utilization 启动时就把显存占死,整晚没请求也不还,分多了 OOM,分少了浪费。 kvcached 把 KV cache 的虚拟地址和物理显存拆开:启动只预留地址空间,真有请求写 KV 时才映射物理显存,用完归还。相当于给 GPU 显存加了一层操作系统式的虚拟内存,谁用谁占。 一张 A100-80G 跑 3 个 Llama-3.1-8B,面对间歇峰值流量,首 token 延迟比静态切分低 2~28 倍。 不用改引擎代码: pip install kvcached --no-build-isolation export ENABLEKVCACHED=true KVCACHEDAUTOPATCH=1 照常 vllm serve / sglang.launchserver 即可 支持 vLLM 和 SGLang,Apache 2.0。Red Hat 已基于它做了 K8s 上的多模型动态部署。
收录记录
- 阮一峰周刊·用户投稿
讨论这个产品