AI 时代，自古英雄出少年
文章介绍了盛颖在 xAI 和 RadixArk 的工作，重点讲解了 SGLang 的核心技术 RadixAttention 和结构化输出，以及 AI Infra 的工程实践和开源价值。
相关文档
From Big Tech SWE to AI Infra (Part 2): What I Learned in My First Year
作者分享从大厂软件工程师转向 AI 基础设施方向一年的学习历程与心得。毕业加入大厂后，因工作缺乏主动性空间和创造感，三个月后决定转向 AI infra。通过学习基础知识、深入研读 SGLang 源码、参与社区贡献，逐步加入 SGLang-Omni 项目并进入一家 AI infra 创业公司。作者认为这一年是高回报率的一年，但也指出 AI 领域竞争激烈、节奏快，转行需权衡个人追求。文章最后强调了开源的重要性，认为强大的 AI 工具不应只掌握在少数公司手中，呼吁更多人参与开源社区。
DeepSeek V4.1 Flash 大规模推理部署实践
文章介绍 DeepSeek V4.1 Flash 大规模推理系统的部署实践与开源推理框架 DeepInfer。系统设定三大目标：兼容多厂商计算芯片、基于通用硬件组织 Prefill 与 Decode（8 卡机 Prefill、64-128 卡超节点 Decode）、支持 KVCache 保留 72 小时以上以实现上下文复用、减少冗余计算。团队通过在计算、通信、调度与存储上的持续优化，在满足延迟要求下提升有效吞吐。DeepInfer 集成高性能算子与深度优化推理引擎，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。目前单集群服务吞吐达每天 155 万亿 tokens，整体收入为每卡每小时 38 美元（按低谷价格计）。
AI 每日早报：DeepSeek 开源推理框架、Google TPU 推理引擎与 Anthropic 的 AI 队友实践
本期早报聚焦三条主线：一是 DeepSeek 全面开源内部推理框架 DeepInfer 与生产级 Token 编解码组件 deepseek-recipe，覆盖分布式推理、推测解码、结构化输出等能力，兼容英伟达与昇腾平台；二是 Google 为 vLLM 和 SGLang 推出原生 PyTorch TPU 后端，通过 TorchTPU、分层缓存与 TPU Sync 优化多轮 Agent 场景下的推理性能；三是 Anthropic 团队分享 Claude 如何从问答助手成长为承担团队职责的协作伙伴，涵盖追踪表维护、内部应用开发与会议协调等案例。速览部分还介绍了小红书 ROSS 训练方法、FairStress 公平性评估基准、Dyna Robotics 机器人 Scaling Law 及 SGLang 低延迟模式。
Build your own Jev (100% local)：用开源 LLM 构建本地决策引擎
文章介绍如何将开源 LLM 变成快速、本地的决策引擎，而无需重新训练。核心思想是：当应用已知所有可能的答案时，不必让模型生成文本或 JSON，而是通过 next-token scoring 一次性为每个候选答案返回分数和概率分布。作者讲解了固定答案打分与结构化输出的区别、LLM 第一个输出 token 的生成原理，并使用 SGLang 的 /v1/score 接口，结合 Qwen 和 DeepSeek 模型进行实测，与普通文本生成进行了基准对比。文中还提到概率的含义与校准问题。
The Inference Engineering Skills Map
作者从 B2B SaaS Web 开发转向推理工程一个月后分享的入门知识地图。文章将推理工程分为三大类：协调工作（Nvidia Dynamo、llm-d 负责路由、调度与扩展，需智能负载均衡）、运行模型（vLLM、SGLang 处理批处理、张量并行、prefill/decode 分离）、复用先前工作（KV 缓存与 HiCache、LMCache、Mooncake 实现跨 GPU/CPU/NVMe 的分层前缀缓存）。作者强调从 Web 开发转型并不难，不需要精通 CUDA，先跑起模型、发送流量，再逐层深入即可。
vLLM 背后的人：一个开源项目如何长成一家公司
文章讲述了 vLLM 项目从开源起步到成立公司 Inferact 的历程。联合创始人游凯超分享了团队拒绝高薪Offer、坚守开源的初心，以及 DeepSeek 在 Infra 领域的领先优势。文章还探讨了开源治理、模型与 Infra 的协同设计，以及 vLLM 如何应对社区噪音并实现商业化落地。
PagedAttention & RadixAttention
本文深入探讨了 PagedAttention 和 RadixAttention 两种技术。PagedAttention 通过类似操作系统的分页机制管理 GPU 内存，解决 KV Cache 的内部和外部碎片问题，显著提升并发处理能力。RadixAttention 则利用基数树索引缓存的前缀状态，实现跨请求的计算和内存复用，进一步优化推理性能。
Agent Evaluation：难以被 AI 取代的职业方向及 Hugging Face 学习资料推荐
作者认为 Agent Evaluation 是少数仍需人力判断、未来难以被 AI 彻底取代的职业方向，并推荐了 Hugging Face 公开的 Training Agent 课程作为入门资料。课程共六节：1）Agentic Evaluations，讲解如何评估 Agent 及 benchmark 与真实体验的差异；2）Agent 强化学习的难点，包括环境搭建与 reward 设计；3）用 Agent 执行轨迹做 SFT 微调；4）将大模型能力蒸馏给小 Agent；5）SFT 后用 GRPO 继续 RL 训练；6）用 OpenEnv 搭建真实环境并训练 coding agent。视频公开在 YouTube，代码全部开源。
Opus 5.5 的 20 种开源技能
作者整理了 20 种与动画、物理、3D、声音及交付相关的开源技能与工具库，涵盖 Remotion、HyperFrames、Anime.js、React Spring、PixiJS、p5.js、Paper.js、Matter.js、Three.js、Rapier、OGL、tsParticles、glTF Transform、GL Transitions、OBS Studio、Chatterbox、Tone.js、faster-whisper、OpenCut 和 FFmpeg。每个工具附有简介和 GitHub 链接，覆盖从视频渲染、动画编排、图形绘制到配音、字幕转录和视频编码交付的完整创作流程。
开源AI Skill全自动视频号带货流水线 Story Studio 实战拆解
作者开源了一个名为 Story Studio 的 AI Agent Skill，用于自动化生产历史/人物故事类短视频，涵盖选题策划、黄金钩子文案、豆包大模型配音、毫秒级字音对齐、三套画风分镜生图、自动生成剪映草稿等全链路。作者靠该流水线在视频号实现单条爆款播放100W+、单日带货4000+的战绩。文章详细拆解了各环节实操方法，并分享图书带货、银发健康产品、创作者分成计划、私域导流等四条变现路径，强调工具完全免费开源。
AI 视频情报站开放 MCP，接上 Claude、Codex 每天替你找新选题
作者宣布其 AI 视频情报站正式开放 MCP 接口，支持 Claude Code、Codex 等 Agent 直接接入查询。文章介绍了接入方法（一条命令即可），并展示了几种典型用法：每天早上让 Agent 查询新起和升温的视频题材、查询某个题材的来源和时间线、追踪特定 AI 模型的动态，以及将情报站接入自己的工作流（如自动生成选题卡、晨会材料等）。情报站每天早上更新一期，提供题材归类、X 热议、开源项目、题材溯源等数据，同时说明了查询范围限制。不接 MCP 也可通过网页或开源版自行部署使用。
开源微信流 APP：手机微信聊天记录直接给 WorkBuddy 和 Obsidian
作者苍何介绍了开源项目 WeChatBridge（微信流）的 iOS 版本发布。该工具可将微信聊天记录批量转发给 Codex、Claude Code 等各家 Agent 进行总结分析，也可沉淀到 Obsidian 作为个人知识库。作者分享了借助 Claude Code 和 Kimi K3.1 Pro 开发 iOS 版的过程：先让模型制定详细计划和技术文档，再照文档执行，6 个多小时完成了原计划 18 个工作日的工作。文章强调"别跟它聊需求，跟它定验收"的 Agent 开发心得，并详细介绍了 iOS 版的收、存、投功能，包括分批收集超过 100 条消息、场景化提示词、隐私安全设计等。
