K3 部署推理引擎指南
vLLM 宣布对 Kimi K3 模型提供首日支持。K3 是拥有 2.8 万亿参数的 MoE 模型，支持 100 万上下文窗口。vLLM 通过 DSpark 推测解码将吞吐量提升至 370 tok/s，并支持架构创新的混合缓存管理、预填充/解码分离及智能体服务，确保生产环境下的高性能与低延迟。
相关文档
LLM 推理引擎到底是怎么工作的：从 token 到 KV 缓存、连续批处理，再到 Agent Loop
文章基于 TogetherAI 团队 Zain 的分享，沿一个请求的完整生命周期拆解 LLM 推理引擎（vLLM、SGLang、TensorRT-LLM）的内部机制。核心洞察是：prefill 计算受限、decode 内存带宽受限；KV cache 用空间换掉平方级计算，但成为显存瓶颈。引擎通过连续批处理让 GPU 每 pass 都不空闲，PagedAttention 像操作系统管理内存一样管理 KV cache（碎片率从 60-80% 降到 4% 以下），chunked prefill 摊平长 prompt 带来的延迟尖峰。Agent 循环因每轮重发完整对话、输入越来越长而输出极短，使其痛点落在 prefill 与 KV cache 上：prefix caching 可将 100 轮 agent 的总 prefill 工作量从约 55 倍降到约 10 倍，'缓存为王'是 agent 与引擎的交汇点。
保姆级教程：DGX Spark 本地跑通 124B 大模型全记录
本文记录了作者在公司配置的英伟达 DGX Spark 桌面级 AI 超算上本地部署大模型的完整过程。文章首先介绍选择 DGX Spark 的原因（数据隐私、成本可控），解析其 GB10 芯片与 128GB 统一内存的硬件配置，讲解稠密模型与 MoE 稀疏模型的区别，最终选定蚂蚁百灵 Ling-3.0-flash（fp4/int4 量化版本）进行部署。作者对比了 Ollama 与 vLLM 的优劣，选择 vLLM 完成部署，并借助 Claude Code 远程操作。最后进行了 MTP 推理加速测速对比，并成功将本地模型对接到 Claude Code 实际使用。
大模型本地部署完整指南：用 Ling-3.0-flash 搭建自己的 Agent 工作流
本文是一篇面向新手的本地大模型部署教程。作者在 NVIDIA DGX Spark（GB10 芯片、121.6GB 统一内存）上，使用官方适配的 vLLM 分支部署了蚂蚁百灵开源的 124B MoE 模型 Ling-3.0-flash INT4 版本。文章先科普了模型精度、Dense 与 MoE、推理引擎等概念，再详解下载权重、环境准备、启动服务与验证的完整流程，并开启 MTP 投机解码。性能测试显示 8 并发聚合吞吐达 141.38 tok/s，远超本机 Qwen3.8-27B；随后通过逻辑推理、安全边界、长文本三方向测试验证真实能力，最后介绍用 Python 脚本搭建终端 TUI 聊天界面，逐步走向 Agent 工作流与 Token 自由。
从 Kimi K3 看下一代 MoE 架构的转折点：LatentMoE
文章分析了 2026 年大模型架构的新趋势 LatentMoE。通过对比 NVIDIA Nemotron 3 Super 和 Moonshot AI Kimi K3，揭示了 LatentMoE 如何通过将 token 投影到低维潜在空间，大幅降低内存和通信开销，从而在同等推理成本下激活更多专家，提升模型性能与效率。
2026年强化学习面试题库：算法与基础设施
本文汇总了35道2026年强化学习（RL）领域的面试核心问题。内容涵盖算法与基础设施两大方向，既包括PPO、GRPO等训练机制的原理探讨，也涉及分布式推理、显存优化等工程落地细节。作者强调现代RL岗位需要具备全栈理解能力，建议面试者不仅要熟记问题，更需深究背后的技术逻辑。
Kimi K3.1 Pro 来了：离最强只差 0.7 分，API 反而降价三分之一，权重 11 月 4 日白送
月之暗面发布 Kimi K3.1 Pro，基于 K3 做 post-training 升级，2.8T 总参数、104B 激活（MoE）、1M 上下文、多模态。Terminal-Bench 4.0 得分 65.7，超越 GPT-6 Astra（58.2），仅落后 Claude Opus 5.5（66.4）0.7 分，是开源模型离闭源最强最接近的一次。API 价格输入 $2/输出 $10，比上一代降价三分之一，权重将于 11 月 4 日开源。文章拆解了 14 项评测表现，指出其在编码、Agent、金融分析领域表现出色，但科学计算类任务偏科严重（38.1 vs 68.1），并给出小白使用入口与避坑清单。
Kimi K3.1 Pro来了，国产模型审美的新巅峰
月之暗面发布旗舰模型Kimi K3.1 Pro，参数规模2.8T（MoE，104B激活），支持100万Token上下文，继续开源。API价格较K3砍半，仅为GPT-6 Astra的五分之一。跑分仅次于Claude Opus 5.5和GPT-6 Astra，Terminal-Bench 4.0达65.7%，OfficeQA Pro v2获SOTA，幻觉率从23.4%降至8.3%。作者重点测试了视觉方向：3D建模能力已可与GPT-6 Astra正面竞争，包括网页3D果冻、高精度机械键盘、根据户型图与装修图生成Three.js第一视角漫游网站、结合平面图与手持视频还原办公室3D模型。视频动效方面提升巨大，可一轮直出动效作品集、宣传片及科普视频，虽距Opus 5.5仍有差距，但已属国产模型巅峰水平。
一个人十天写出的引擎，让 12GB 显卡跑起 1250 亿参数模型
个人开发者用十天时间（代码大部分由 AI 编写）打造了推理引擎 Strata，能让 12GB 显存的普通电脑运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。文章剖析其六倍速度宣传实为不同量化版本对比，同版本实际是两到四倍；真正亮点是 prompt 读取速度达每秒 1500 token。核心技术是围绕 MoE 架构的专家缓存，命中率约 72%，代价是输出可能偏离原模型结果。文章还对比了买内存自建与云端 API 的成本账，并预判通用引擎 llama.cpp 将在几个月内补齐缓存能力。
DeepSeek V4.1 Flash 大规模推理部署实践
文章介绍 DeepSeek V4.1 Flash 大规模推理系统的部署实践与开源推理框架 DeepInfer。系统设定三大目标：兼容多厂商计算芯片、基于通用硬件组织 Prefill 与 Decode（8 卡机 Prefill、64-128 卡超节点 Decode）、支持 KVCache 保留 72 小时以上以实现上下文复用、减少冗余计算。团队通过在计算、通信、调度与存储上的持续优化，在满足延迟要求下提升有效吞吐。DeepInfer 集成高性能算子与深度优化推理引擎，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。目前单集群服务吞吐达每天 155 万亿 tokens，整体收入为每卡每小时 38 美元（按低谷价格计）。
大模型学习地铁图：从 Transformer 到今天的主流大模型
文章以地铁图为比喻，为大模型学习者规划了一条清晰的学习路线。主干线按演进顺序设置八站：前置基础、Transformer、GPT-2（强调亲手实现作为锚点）、预训练、ChatGPT 时刻（RLHF）、LLaMA、MoE 稀疏专家、推理模型（o1/R1），终点是能独立读懂新论文。五条支线按兴趣选修：推理优化（KV Cache、FlashAttention、量化）、训练（Scaling Law、分布式并行）、对齐（SFT、LoRA、DPO、GRPO）、架构（RMSNorm、RoPE、MLA）、应用（RAG、Agent）。最后给出建议：GPT-2 必须亲手写一遍，主干加一至两条支线即可入门，学习原理时动手推算。
小米 MiMo-V2.6 技术报告：260 万美元 RL 算力与三维扩展，将万亿 MoE 模型推入前沿梯队
文章解读小米 LLM-Core 团队发布的 MiMo-V2.6 技术报告。核心主张是通过系统性扩展强化学习算力提升模型智能，需同时扩展训练批次、环境多样性和评分器三个维度。模型有 Pro（1.02T MoE）和 Flash（310B）两个规格，RL 后训练成本分别 260 万和 90 万美元。报告详述了中期训练优化、GRPO 训练细节、多 harness 训练、四层 reward hacking 防御、Groupwise Agentic Grading 评分体系、router 冻结发现及基础设施设计，最终性能进入与 Claude Opus 5 / GPT-5.6 同一梯队，并开源蒸馏模型、环境与 RL 框架。
想转 FDE？一个干了 4 年多的人告诉你：这活从开会聊需求，到私有化部署，都得会
作者基于4年多车企AI落地经验，按项目全流程拆解FDE（Frontier Development Engineer）岗位的真实工作内容：售前阶段的客户预期管理、深入业务打磨几千个标签体系、模型开发（从BERT加规则演进到大模型抽取加检索链路，涉及微调、embedding、评测）、私有化部署的工程细节（驱动、CUDA、vLLM、压测、稳定性）、以及上线后的数据报告与可视化。作者强调模型只是最不用担心的部分，难的是模型前后的业务与工程，并介绍了AI coding如何让他一个人交付客户demo。
