全部文档 / 标签: Ling-3.0-flash

2 篇

保姆级教程：DGX Spark 本地跑通 124B 大模型全记录

本文记录了作者在公司配置的英伟达 DGX Spark 桌面级 AI 超算上本地部署大模型的完整过程。文章首先介绍选择 DGX Spark 的原因（数据隐私、成本可控），解析其 GB10 芯片与 128GB 统一内存的硬件配置，讲解稠密模型与 MoE 稀疏模型的区别，最终选定蚂蚁百灵 Ling-3.0-flash（fp4/int4 量化版本）进行部署。作者对比了 Ollama 与 vLLM 的优劣，选择 vLLM 完成部署，并借助 Claude Code 远程操作。最后进行了 MTP 推理加速测速对比，并成功将本地模型对接到 Claude Code 实际使用。

技术 › LLM

AI少年 2026-08-1817.4 KB 184.5K 132 82

大模型本地部署完整指南：用 Ling-3.0-flash 搭建自己的 Agent 工作流

本文是一篇面向新手的本地大模型部署教程。作者在 NVIDIA DGX Spark（GB10 芯片、121.6GB 统一内存）上，使用官方适配的 vLLM 分支部署了蚂蚁百灵开源的 124B MoE 模型 Ling-3.0-flash INT4 版本。文章先科普了模型精度、Dense 与 MoE、推理引擎等概念，再详解下载权重、环境准备、启动服务与验证的完整流程，并开启 MTP 投机解码。性能测试显示 8 并发聚合吞吐达 141.38 tok/s，远超本机 Qwen3.8-27B；随后通过逻辑推理、安全边界、长文本三方向测试验证真实能力，最后介绍用 Python 脚本搭建终端 TUI 聊天界面，逐步走向 Agent 工作流与 Token 自由。

技术 › LLM

Lonely 2026-08-1823.9 KB 278.4K 485 81

本地部署 LLM Ling-3.0-flash vLLM DGX Spark MoE 推理引擎 Agent工作流开源模型 MTP投机解码