Wiki 知识库

全部文档 / 标签: 量化模型

3 篇
清除

8G显存也能跑:Qwen-Image-2.1-Turbo 去审查版本地部署 8 步出图(附 ComfyUI 工作流)

文章介绍了 HuggingFace 上 AtomicChat 发布的 Qwen-Image-2.1-Turbo GGUF 量化版及去审查文本编码器。作者澄清该编码器仅移除拒绝倾向,对画图内容几乎无影响,其真正价值在于提供低显存无损量化方案。文章详细记录在 RTX 5060(8G 显存)真机上使用 ComfyUI 部署的完整流程:4 个模型文件的下载与存放、11 节点工作流配置,以及 5 个实测踩坑与解法(工作流 JSON 参数顺序、去噪器/编码器混淆、GGUF 架构识别错误、mmproj 缺失、latent 连接问题)。实测首次出图约 2 分钟,之后每次约 1 分钟,并附 4 组提示词与量化选型表。

技术 › 工具与效率 启明破晓 2026-10-1217.4 KB 45.4K 293 92

同一台 M4 Pro 实测四组 Qwen3.8-27B:DFlash2、MTP 到底怎么选

作者在 48GB M4 Pro MacBook 上对比了 Qwen3.8-27B 的四组运行配置:官方 4-bit、Uncensored 版、官方 4-bit + DFlash2 草稿模型,以及 oQ4e + MTP。结果显示 DFlash2 平均提速 75%(约 26.96 token/s),数学与 GSM8K 场景超过两倍;oQ4e + MTP 在长文与代码负载下分别达 24.9 和 34.1 token/s,代码吞吐最高但部署复杂、首 token 延迟明显。结论是日常优先官方 4-bit + DFlash2,代码和长输出用 MTP,Uncensored 仅限隔离环境研究使用。

技术 › LLM 雪瑜 2026-08-248.2 KB 9.1K 57 82

16GB 无独显本地部署 Ling-3.0-tiny 实测:21.7 token/s 与推理引擎版本的秘密

作者在一台单通道 16GB 内存、无独显的 Ryzen 5 5600G 台式机上,使用 llama.cpp 官方版部署 Ling-3.0-tiny(Q4KM 量化),实测生成速度 21.70 tok/s,比配置更强的 64GB+3090 机器快近 4 倍。经排查,差异源于推理引擎版本而非硬件。文章还分析了该模型线性注意力架构带来的超低上下文内存开销(约 6.79 KiB/token),总结了思考模式、Windows 编码、线程设置三个实践坑,并给出三步部署教程,证明普通电脑即可流畅本地运行该模型。

技术 › LLM 阿良|AI 工作流 2026-08-2414.2 KB 71.3K 177 90