GGUF

硬件百科 · AI 术语

一句话

llama.cpp 的模型格式:CPU+GPU 混合推理的标准容器;量化档位写在文件名里。

GGUF 是 llama.cpp 生态的单文件模型格式(权重+分词器+配置),命名规则如 Q4_K_M 标注量化档。Ollama/llama.cpp/LM Studio 全系支持,是本地部署事实标准。

延伸阅读

↑