da3m0 /
关于
wolf 基于 llama.cpp 的 Rust 本地 GGUF 模型推理工具 一个二进制就能在本地跑 GGUF 模型,支持多轮对话、会话上下文保存与恢复, GPU 后端可切换(CUDA / Vulkan / ROCm / Metal)。
收录记录
- 阮一峰周刊·用户投稿
da3m0 /
wolf 基于 llama.cpp 的 Rust 本地 GGUF 模型推理工具 一个二进制就能在本地跑 GGUF 模型,支持多轮对话、会话上下文保存与恢复, GPU 后端可切换(CUDA / Vulkan / ROCm / Metal)。
讨论这个产品