如何在 AI 领域赢得最大市场
文章探讨了计算历史上的专业化趋势，指出 AI 推理需求正在爆发，通用 GPU 已无法满足其对内存和能效的特定要求。文中以 Google 的 TPU 为例，介绍了定制化硬件的兴起。重点分析了初创公司 Etched 如何押注专用推理芯片，通过低电压推理和集群级内存技术，试图解决算力与能耗问题，抢占这一巨大的市场份额。
相关文档
越来越值钱的互联：从存储到AI推理这条路，能让GPU少等一会儿，是被95%的人低估了的万亿市场
本文从GPU算力与内存速度不匹配的问题出发，深入分析AI推理中KV缓存的内存占用与复用机制，说明为什么给GPU扩容后计算芯片仍在等待数据。文章以Qwen3-32B为例量化KV缓存大小，比较本地缓存与远端缓存的传输开销，指出连接在缓存共享、跨机器传输中的关键作用。随后分析了铜互连与光互连各自的适用场景，介绍NPO/CPO技术路线，并以Marvell的CXL内存扩容控制器、交换芯片、信号调节芯片和Photonic Fabric为例，梳理连接芯片厂商的商业逻辑与验证进度，最后从客户成本账角度论证互联市场的价值，认为这是一个被低估的万亿级机会。
The Math Needed for AI Inference Engineering (Complete Roadmap)
本文系统梳理了AI推理工程所需的核心数学知识路线图。内容涵盖：浮点数表示（FP32/FP16/BF16/FP8/INT8等格式的位分配与精度/范围权衡）、舍入误差累积、溢出与下溢、机器epsilon、灾难性消除及稳定softmax与log-sum-exp技巧；量化数学，包括scale与zero-point线性映射、对称/非对称量化、粒度选择、范围裁剪、激活离群值处理及基于Hessian的曲率方法；以及线性代数计算成本分析，如矩阵乘法的浮点运算量与内存读写开销估算。作者强调在性能分析前能手算层耗时是推理工程中最有价值的习惯。
人工智能的工程全景：模型之外的另一半（上）
文章详细梳理了人工智能的工程基础，回顾了从GPU游戏显卡到英伟达CUDA生态建立的历史，解析了其技术护城河。同时指出2026年硬件格局的松动，分析了谷歌TPU的回归与AWS自研芯片的崛起，展示了英伟达在推理领域面临的竞争态势。
DeepSeek 的 10 万亿美元大战略：技术、算力与国产芯片的未来
本文深入分析了 DeepSeek 如何通过 MLA、MoE、mHC 等一系列底层技术创新，极大幅度降低大模型对 HBM（高带宽内存）和先进 GPU 制程的依赖。文章指出，DeepSeek 的战略并非局限于软件订阅，而是旨在通过算法优化盘活中国产能充足的 NAND 闪存和 LPDDR 产业，以此构建一套独立于西方之外的 AI 硬件生态，最终撬动价值 10 万亿美元的产业巨兽。
Agent Evaluation：难以被 AI 取代的职业方向及 Hugging Face 学习资料推荐
作者认为 Agent Evaluation 是少数仍需人力判断、未来难以被 AI 彻底取代的职业方向，并推荐了 Hugging Face 公开的 Training Agent 课程作为入门资料。课程共六节：1）Agentic Evaluations，讲解如何评估 Agent 及 benchmark 与真实体验的差异；2）Agent 强化学习的难点，包括环境搭建与 reward 设计；3）用 Agent 执行轨迹做 SFT 微调；4）将大模型能力蒸馏给小 Agent；5）SFT 后用 GRPO 继续 RL 训练；6）用 OpenEnv 搭建真实环境并训练 coding agent。视频公开在 YouTube，代码全部开源。
AI 早报：Anthropic 交付架构、LangChain 设计智能体与 Ai2 新颖性裁判研究
本期早报围绕智能体系统建设展开：一是 Anthropic 负责人解释 Claude 交付架构，将会话记录、运行框架与沙箱执行环境分离，使失败恢复不影响工作连续性；二是 LangChain 分享设计智能体的实践，将设计师的审美判断沉淀为技能与知识库，中位费用从 8 美元降至 0.50 美元；三是 Ai2 研究检验 LLM 判断研究想法新颖性的可靠性，发现提示词变化可导致准确率剧烈波动。此外还涵盖 Google A2UI 推理格式、Optiver 模型接入平台、小红书 AllSpark 数据管线及 K2 Lab 垂直 AI 产品等内容。
Grok Bot Engineering: 像SpaceXAI一样打造你自己的Bot团队
本文深入介绍xAI（文中称SpaceXAI）的Grok Bot如何运作：每个Bot运行在持久化的云端Linux虚拟机上，拥有浏览器、文件系统和终端。核心亮点是'团队化'使用模式——以Chief of Staff为中心，配合各司其职的专家Bot，并由人工审批关键操作。文中以客服事件处理为例：三个Bot（IncidentWatch、Support Bot、IncidentSweep）协作，10分钟内清理204个工单。文章分7部分讲解Bot的组织架构、工程harness、技能与记忆、审批机制及可复制的搭建方案。
Claude Code 团队如何进行代码评审
本文介绍了 Claude Code 团队在 AI 生成约 90% 代码的情况下如何重构代码评审流程。团队将代码评审从人工逐行阅读转变为分层自动化体系：包括 PR 前的 Claude 自验证、子代理 diff 审查、内部 skill（bug 猎捕、diff 缩减等）、以及每个 PR 的 AI 评审，仅将人类注意力保留给高风险决策。通过 CLAUDE.md 和 REVIEW.md 等文件向评审者注入项目上下文，并快速回滚机制兜底。6 月至 9 月间合并 PR 数量翻倍，回滚率下降超 40%，实现了用最少人工环节保障代码质量的目标。
How I work with Agents
Thorsten Ball 分享了 2026 年 10 月他与 AI Agent 协作的工作方法：使用最新最强的模型，不必担心代码库积累 slop；提示时描述 What 而非 How；让 agent 贯通整个软件开发生命周期（运行、部署、看日志、处理 bug 报告），并为其提供定制工具；通过盲测实验评估 agent 对代码库知识的利用；不要手动管理上下文，让 compaction 工作；请求不可反驳的证明（端到端演示、前后对比数据）；拥抱异步工作流，给 agent 更大任务；利用定时唤醒等自动化功能；只审查高影响范围的代码。这些实践展示了 agent 驱动开发的新范式。
推理是训练的 12 倍，可一块卡生成时只跑出 5% 的算力
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
Tiny Tapeout做你人生的第一颗开源芯片
Tiny Tapeout 将流片成本从数万至数百万美元降低到约300美元，让普通工程师、学生和创客也能拥有自己的定制芯片。它向 GlobalFoundries、IHP、SkyWater 等晶圆厂购买芯片格子，切分成几百个微型单元（每个约4k逻辑门），数百个设计共享同一块硅晶片和24个IO引脚。受限于面积，适合做8位CPU、加密算法、VGA生成器等概念验证。文章称其为众筹拼车模式在芯片制造上的完美应用，正重塑微电子教育的门槛。
谁说AI没有落地？看看美国医院正在用什么
文章通过梳理FDA及微软、OpenAI、Anthropic、Google等公布的实际案例，证明AI已在医疗领域真实落地：FDA已授权超1600种AI医疗设备，主要应用于医学影像、心脏疾病、糖尿病筛查等。大语言模型也进入医院工作流程，如微软Dragon Copilot服务超10万名临床医生，OpenAI帮助波士顿儿童医院节省6万小时工作时间，Claude助力Banner Health整理病历，Google辅助生成诊疗记录。作者指出需区分三个问题：技术已落地是事实，医疗AI市场正在形成但规模尚小，科技公司的巨额投资回报仍需时间验证。
