本期早报聚焦 AI 能力如何进入真实任务并沉淀为组织资产。精讲一：腾讯发布开源大模型 Hy4 preview（770B 参数、激活 49B、1M 上下文），通过 CodeBuddy、WorkBuddy 等产品形成任务反馈闭环，并让模型参与推理系统自优化，端到端吞吐提升 31.8%。精讲二：Anthropic 分享员工在 Slack 中使用 Claude 的实践，通过明确搜索范围、匹配标准、事实核验与人工签字责任，把开放协作改造成可检查的工作流。精讲三：携程机票前端团队构建 Lumos，以 MR 为事件触发自动文档生成与向量知识库建设，人工维护文档时间下降 80% 以上。三条案例共同勾勒出「能力进入任务—过程接受核验—结果沉淀为资产」的完整实践路径。
Fish Audio 通过重构 S2.1 Pro 语音模型的服务栈，将 GPU 利用率从约 50% 提升至 90% 以上，使原本需要四块 H200 的请求量现在一块即可承载。核心技术包括：针对 TTS decode 小矩阵形状定制的 FP8 CUDA 内核（比 torch.compile-fused cuBLAS 快 2.1–4.3 倍）、Continuous Batching（并发 1 到 64 吞吐量提升约 52 倍，仅增加 37ms 延迟）、Kubernetes 与 Slurm 弹性调度填充空闲算力，以及自建网络与存储基础设施。所有推理变更均需通过正确性与性能双重门槛。这些优化带来的单位经济效益使 Fish Audio 能够将完整的 S2.1 Pro 模型免费开放，并开源了 fish-scales-ops 内核库。
作者在懒猫AI算力舱 X5（128GB显存）上部署 Qwen 3.8 27B 稠密模型，真实项目中跑了4个任务均完成良好。通过 MTP 投机解码 + NVFP8 混合优化并关闭 thinking 模式，速度从 13.9 提升到 30.8 Tokens；但发现关闭思考模式会降低代码推理准确度，重新开启后实测稳定 26.47 Tokens（含思考阶段实际可达 35.23 Tokens/s）。后续还将通过重新量化构建 draft engine 进一步提速。
本文介绍了八种在推理阶段提升大语言模型推理能力的技术，包括思维链、多数投票、Best-of-N、扩展思考、自我精炼等，并分析了每种技术的权衡和实际应用注意事项。文章指出，在推理阶段干预是提升准确率最经济的方式，无需重新训练模型。通过FLOPs匹配比较，测试时计算优于14倍大的模型。文章还讨论了并行采样与顺序扩展两种计算分配方式，以及树方法如何结合两者。每种技术都有其适用场景和局限性，如多数投票无法处理开放生成任务，Best-of-N需要奖励模型且存在过优化风险，扩展思考并非越长越好。最后，文章强调选择合适技术需根据任务特性和评估结果。
本文详细介绍了在 Windows 宿主 + Linux Docker 容器环境下，使用双 RTX 4090（48GB）本地部署 MiniMax H3 视频生成模型的完整过程。内容包括本地部署的优势（成本、隐私、可控性）、双 GPU 架构分工、宿主机目录布局、模型文件清单、Docker 容器创建、启动验收、已验证的推理链、速度实测、分辨率与帧数注意事项、最小生成验证流程、复现清单以及生产链必需节点。文章提供了具体的配置命令和参数，并强调了可复现性的重要性。
本文详细介绍了如何使用 SGLang 内置的 Torch Profiler 对大语言模型（Qwen3.5-0.8B）进行推理性能分析。作者阐述了如何通过追踪 CPU 和 GPU 端事件来定位计算瓶颈，并结合屋顶线模型证实单批次解码主要受限于内存带宽。文中展示了如何利用 Perfetto UI 分析 Prefill 阶段的性能追踪数据，将其底层计算操作与模型的混合架构（如 Gated DeltaNet 和全注意力机制）精准映射，帮助读者深入理解 LLM 的底层执行流程。
本文探讨了如何在一个GPU上通过服务层高效部署多个专用模型（SLM、OCR、NER、Reranker和物体检测）。文章分析了多模型流水线面临的资源碎片化和GPU闲置成本问题，提出了通过共享GPU、动态加载和内存优化来降低成本和提升利用率的技术方案。
文章探讨了 RAG 场景中 KV Cache 复用的挑战。现有方法在长上下文下面临存储与传输瓶颈，且直接复用或简单压缩会导致位置偏移和误差放大。C2KV 通过轻量级 Extractor 将文档压缩为可拼接、位置解耦的 KV 表示，实现了显著推理加速。文章分析了其在质量、延迟和工程落地上的权衡，强调 KV 复用已演变为存储、传输和质量共同约束的系统问题。
本文深入探讨了 PagedAttention 和 RadixAttention 两种技术。PagedAttention 通过类似操作系统的分页机制管理 GPU 内存，解决 KV Cache 的内部和外部碎片问题，显著提升并发处理能力。RadixAttention 则利用基数树索引缓存的前缀状态，实现跨请求的计算和内存复用，进一步优化推理性能。
文章分析了 2026 年大模型架构的新趋势 LatentMoE。通过对比 NVIDIA Nemotron 3 Super 和 Moonshot AI Kimi K3，揭示了 LatentMoE 如何通过将 token 投影到低维潜在空间，大幅降低内存和通信开销，从而在同等推理成本下激活更多专家，提升模型性能与效率。
本文是AI工程全景的中篇，深入探讨了模型训练完成后的工程化路径。首先详述了推理优化的核心手段，包括模型瘦身（量化、蒸馏、剪枝、MoE）、投机解码以及主流推理引擎（vLLM, TensorRT-LLM, SGLang）的生态格局。文章分析了成本、延迟与吞吐的“不可能三角”，并重点介绍了“测试时计算”这一范式转变，即通过在推理阶段增加计算量来动态提升模型智能。
本文对美团发布的 LongCat-2.0 万亿参数大模型进行了深度技术拆解。文章涵盖了 MoE 架构与稀疏注意力（LSA）的优化、N-gram Embedding 的应用，以及在国产算力受限情况下的 6D 并行训练工程、超节点组网、推理加速等关键技术细节。
文章探讨了顶级科技公司正在秘密研发的架构转变——状态空间模型（SSM）。旨在解决 Transformer 架构在长序列处理中的计算成本高和内存消耗大的问题。文章详细解析了 SSM 的工作原理、相比 LLM 的优势（线性时间复杂度、恒定内存），并展示了 NVIDIA、IBM 和 Microsoft 等公司在 Nemotron、Bamba 和 SambaY 等混合架构上的实际应用进展。
文章指出AI竞争已从模型本身转向基础设施，尤其是推理优化。作者分析了为何推理Infra是模型商业化的生命线，以及“新云”如何通过提供专用AI算力成为行业关键，并强调未来的AI竞争将一半在模型，一半在Infra。
文章介绍了如何通过构建独立的 C++/ggml 推测解码器，在单张 RTX 3090 (24GB) 显卡上实现了 Qwen3.5-27B (Q4_K_M) 模型的高效推理。利用 DFlash block-diffusion draft 和 DDTree 验证器，成功将峰值解码速度提升至 207.6 tok/s，较自回归基准提升约 5.46 倍，并实现了在有限显存下运行 128K 长上下文的能力。
