vLLM 背后的人：一个开源项目如何长成一家公司
文章讲述了 vLLM 项目从开源起步到成立公司 Inferact 的历程。联合创始人游凯超分享了团队拒绝高薪Offer、坚守开源的初心，以及 DeepSeek 在 Infra 领域的领先优势。文章还探讨了开源治理、模型与 Infra 的协同设计，以及 vLLM 如何应对社区噪音并实现商业化落地。
相关文档
DeepSeek V4.1 Flash 大规模推理部署实践
文章介绍 DeepSeek V4.1 Flash 大规模推理系统的部署实践与开源推理框架 DeepInfer。系统设定三大目标：兼容多厂商计算芯片、基于通用硬件组织 Prefill 与 Decode（8 卡机 Prefill、64-128 卡超节点 Decode）、支持 KVCache 保留 72 小时以上以实现上下文复用、减少冗余计算。团队通过在计算、通信、调度与存储上的持续优化，在满足延迟要求下提升有效吞吐。DeepInfer 集成高性能算子与深度优化推理引擎，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。目前单集群服务吞吐达每天 155 万亿 tokens，整体收入为每卡每小时 38 美元（按低谷价格计）。
AI 每日早报：DeepSeek 开源推理框架、Google TPU 推理引擎与 Anthropic 的 AI 队友实践
本期早报聚焦三条主线：一是 DeepSeek 全面开源内部推理框架 DeepInfer 与生产级 Token 编解码组件 deepseek-recipe，覆盖分布式推理、推测解码、结构化输出等能力，兼容英伟达与昇腾平台；二是 Google 为 vLLM 和 SGLang 推出原生 PyTorch TPU 后端，通过 TorchTPU、分层缓存与 TPU Sync 优化多轮 Agent 场景下的推理性能；三是 Anthropic 团队分享 Claude 如何从问答助手成长为承担团队职责的协作伙伴，涵盖追踪表维护、内部应用开发与会议协调等案例。速览部分还介绍了小红书 ROSS 训练方法、FairStress 公平性评估基准、Dyna Robotics 机器人 Scaling Law 及 SGLang 低延迟模式。
DeepSeek 开源 dsh-libreoffice-kit：给 AI 配上「看文档的眼睛」
DeepSeek 悄悄开源了 dsh-libreoffice-kit 组件，原本隐藏在 DeepSeek Harness 中。该组件解决了 AI 生成文档却看不到排版效果的痛点：可将 Word、PPT 渲染成图片让 AI 查看排版，真实计算 Excel 公式以核对结果，自带字体管理避免中文乱版，并支持文件级隔离处理防止单点故障。这使 AI 能够自己写、自己看、自己改文档，无需人工逐页返工。文章指出 AI 办公领域的竞争不只在于模型能力，底层基础设施同样关键。
LLM 推理引擎到底是怎么工作的：从 token 到 KV 缓存、连续批处理，再到 Agent Loop
文章基于 TogetherAI 团队 Zain 的分享，沿一个请求的完整生命周期拆解 LLM 推理引擎（vLLM、SGLang、TensorRT-LLM）的内部机制。核心洞察是：prefill 计算受限、decode 内存带宽受限；KV cache 用空间换掉平方级计算，但成为显存瓶颈。引擎通过连续批处理让 GPU 每 pass 都不空闲，PagedAttention 像操作系统管理内存一样管理 KV cache（碎片率从 60-80% 降到 4% 以下），chunked prefill 摊平长 prompt 带来的延迟尖峰。Agent 循环因每轮重发完整对话、输入越来越长而输出极短，使其痛点落在 prefill 与 KV cache 上：prefix caching 可将 100 轮 agent 的总 prefill 工作量从约 55 倍降到约 10 倍，'缓存为王'是 agent 与引擎的交汇点。
The Inference Engineering Skills Map
作者从 B2B SaaS Web 开发转向推理工程一个月后分享的入门知识地图。文章将推理工程分为三大类：协调工作（Nvidia Dynamo、llm-d 负责路由、调度与扩展，需智能负载均衡）、运行模型（vLLM、SGLang 处理批处理、张量并行、prefill/decode 分离）、复用先前工作（KV 缓存与 HiCache、LMCache、Mooncake 实现跨 GPU/CPU/NVMe 的分层前缀缓存）。作者强调从 Web 开发转型并不难，不需要精通 CUDA，先跑起模型、发送流量，再逐层深入即可。
vLLM x AgentX: Optimizing for Real-World Agentic Serving
本文介绍 vLLM 针对 Agentic 工作负载的服务优化方案。Agentic 流量具有多轮长会话、长上下文短输出、高前缀复用率和大量子代理调用的特点，对成本与延迟提出双重要求。在 SemiAnalysis 发布的 AgentX 基准上，vLLM 在 DeepSeek V4 Pro 上达到每 GPU 秒 130K tokens，在 MiniMax M3 上交互速度达 376 tokens/s，相比 Opus 5 API 定价有 14.6×–106× 的成本优势。文章详细阐述了数据平面的混合 KV cache 管理与分层卸载、执行平面的并行与内核优化，以及控制平面的 P/D 分离调度等全栈优化方法。
DeepSeek Harness 生态爆发：2026年8月社区 TOP 10 必备插件盘点
作者盘点了 DeepSeek Harness 生态中社区评分最高的 TOP 10 必备插件，包括插件市场入口 dsh-market、视觉扩展 modlens、界面全家桶 dsh-web-ui、VS Code 风格侧边栏、@ 文件引用、原生桌面端、多源搜索、跨会话记忆 OpenViking、费用看板和本地知识库精读等。并给出新手三步走建议：先装市场、视觉和界面插件，再按需补齐搜索与记忆能力。文末附上全部插件的 GitHub 仓库与一键安装命令。
开源 DeepSeek Harness 开箱即用客户端 Pilot Harness 及易用插件
DeepSeek 发布了坚持'一切皆插件'理念的 DeepSeek Harness，模型适配器、工具、文件系统、沙箱甚至 Agent Loop 都可通过插件组合。但其使用门槛偏高，界面仍处开发者预览阶段。作者基于此前 CodePilot 的经验开发了 Pilot Harness，为其加上桌面外壳和一组客户端插件：优化了项目切换、会话 Hover 卡片、输入区和设置页等交互，新增项目文件树、服务商配置等插件，并提供 macOS、Windows、Linux 三平台安装包。作者认同 Harness 拆分组件、允许重组的架构思路，认为这为 Agent 参与调整自身配置预留了接口。
大模型本地部署完整指南：用 Ling-3.0-flash 搭建自己的 Agent 工作流
本文是一篇面向新手的本地大模型部署教程。作者在 NVIDIA DGX Spark（GB10 芯片、121.6GB 统一内存）上，使用官方适配的 vLLM 分支部署了蚂蚁百灵开源的 124B MoE 模型 Ling-3.0-flash INT4 版本。文章先科普了模型精度、Dense 与 MoE、推理引擎等概念，再详解下载权重、环境准备、启动服务与验证的完整流程，并开启 MTP 投机解码。性能测试显示 8 并发聚合吞吐达 141.38 tok/s，远超本机 Qwen3.8-27B；随后通过逻辑推理、安全边界、长文本三方向测试验证真实能力，最后介绍用 Python 脚本搭建终端 TUI 聊天界面，逐步走向 Agent 工作流与 Token 自由。
推理是训练的 12 倍，可一块卡生成时只跑出 5% 的算力
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
DS Bot开源了，那Grok Bot 和 DS Bot，到底该选哪个？
文章对比了社区开源的 DS Bot（DeepSeek-Bot）与 Grok Bot 两款多角色 AI 助手。核心差异在于'动手能力'：Grok Bot 提供托管云电脑，可操作浏览器、跨网站执行任务且合盖继续运行；DS Bot 内置浏览器仅能读网页，但支持自选模型、MCP/Skills 扩展和可检查的 Markdown 记忆。文章从网页操作、模型控制权、数据与权限、成本等维度给出选购建议：不想维护、需要网页自动化选 Grok Bot；已有 API、重视控制权选 DS Bot。作者建议先用一个每周固定任务实测，再决定是否扩展。
开源和 DevRel，是我的本命坑
作者leonliuzx回顾了自己与开源和开发者关系（DevRel）结缘的历程：初中开始在GitHub上折腾代码，2023年通过AGI Playground参与无障碍AI项目'声桥AI语训'，之后深入书生浦语、飞桨等社区做助教、写教程、贡献文档。2024年底加入百度从事社区运营实习并转正，组织Hackathon活动、培养贡献者，甚至与李彦宏共进晚餐。工作之余还发起了OMDSH和OpenAIGames等独立社区。作者将开源社区比作同好群，认为因纯粹热爱而聚集的感觉非常棒，并庆幸自己在这个年纪找到了愿意长期投入的热爱。
