文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
个人开发者用十天时间（代码大部分由 AI 编写）打造了推理引擎 Strata，能让 12GB 显存的普通电脑运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。文章剖析其六倍速度宣传实为不同量化版本对比，同版本实际是两到四倍；真正亮点是 prompt 读取速度达每秒 1500 token。核心技术是围绕 MoE 架构的专家缓存，命中率约 72%，代价是输出可能偏离原模型结果。文章还对比了买内存自建与云端 API 的成本账，并预判通用引擎 llama.cpp 将在几个月内补齐缓存能力。
本文基于对 ShareAI 创始人新璐的访谈，深入解读了 Agent Harness 的核心概念与架构设计。文章指出，Harness 是模型之外赋予 AI 行动能力、记忆与协作能力的“身体”。通过剖析 Claude Code 的三层结构——执行层、记忆层与治理层，作者阐述了从“流程驱动”向“模型自主决策”转变的工程实践。文章强调，优秀的 Harness 应提供类 UNIX 的稳定环境与结构化的记忆机制，从而释放模型的潜能，使其成为真正的智能合作伙伴。
文章探讨了 Andrej Karpathy 提出的软件工程范式转移，即从“直觉编程（Vibe Coding）”进化到“代理工程（Agentic Engineering）”。核心观点认为 AI 正从辅助工具演变为全新的计算范式（Software 3.0），编程本质变为对上下文和输入的组织。文章详细解析了锯齿状智能、可验证性等概念，指出未来人类工程师的核心价值在于品味、判断与理解，而非具体的代码实现。
本文基于 Reiner Pope 的播客内容，深入剖析了大模型在集群中的运行机制。文章通过 Roofline 分析和 KV Cache 等核心概念，解释了推理延迟、Batch Size、API 定价策略及 MoE 架构背后的物理与经济逻辑，揭示了硬件限制如何塑造 AI 进展。
