Wiki 知识库

全部文档 / 标签: AI基础设施

30 篇
清除

The new set of problems for engineers to solve

文章讨论软件工程师在AI时代面临的身份危机与新机遇。随着多智能体系统从简单的人机对话发展为数千个持久协作的智能体,解决重大研究、发现和硬件设计问题,一系列新的工程问题浮现:基础设施需要为突发性、有状态的单实例工作负载演进;智能体身份认证与授权(尤其是代表人类OBO场景和智能体互信)亟待解决;不可信代码与内容要求更强的安全隔离和沙箱机制;还需跨智能体的链路追踪与紧急停止工具。作者认为工程师应深入这些领域,解锁多智能体系统的潜力。

技术 › Agent Katelyn Lesse 2026-10-277.5 KB 366K 3.1K 73

BestBlogs 早报|YC Paper Club 拆解推理服务系统,Amazon CEO 谈算力供需与投入,Naveen Rao 谈推理经济学

本期早报围绕推理计算的经济与工程展开。YC Paper Club 分享拆解推理请求生命周期,涵盖路由、缓存、分词调度、编译优化与服务质量监测,强调训练之后的服务开销巨大且需要系统性优化;Amazon CEO Andy Jassy 访谈解释了 2026 年 2200 亿美元资本开支背后的建设周期、现金流压力与企业 AI 应用的杠铃格局,指出推理降价将打开更多采用场景;Naveen Rao 则从能源效率视角讨论模型、硬件协同设计,预测推理可能成为 10 万亿美元市场,并探讨规格定义与验证在 AI 自动化交付中的关键作用。速览部分还涉及模型越界安全评估、桥水知识库建设和 AI 个人助理产品竞争。

技术 › LLM ginobefun 2026-10-2530.0 KB 1.5K 1 83

AI Semiconductor Endgame (IV):开源模型对半导体的影响

文章探讨开源模型的崛起是否冲击半导体需求这一热门问题。作者指出市场担忧的核心在于开源是否会压低毛利,进而削弱模型公司购买GPU的能力。但通过动态均衡框架分析,token价格下降的同时,硬件与软件的效率提升(每十年各贡献千倍优化)使成本同步快速下降,毛利得以维持。以每GW算力测算,旗舰模型推理毛利率仍达75%-80%以上,开源模型约60%-70%,token收入是硬件摊销成本的十倍。结论是开源不会伤害半导体行业,动态均衡将持续推动AI基础设施扩张。

投资 › 宏观经济 fin 2026-10-2130.1 KB 70.2K 299 82

AI 繁荣的三张账单——电、芯片、推理

本文是硅谷101 Alignment 峰会 Day 2 上午的深度笔记,提出 AI 繁荣背后有三张物理账单:电、芯片、推理。 Session 1 指出美国输电网难以建设,行业转向表后发电,从签约到出 token 需 16-17 个月,电力成为算力交付的真正瓶颈;讨论了数据中心融资期限错配、neocloud 风险、云业务利用率本质及算力短缺将持续到 2030 年的预测。 Session 2 探讨半导体,揭示 2nm 只是名义数字、硅在 5nm 以下到物理极限,AI 进晶圆厂第一站是良率检测,价值最终流向制造端。 Session 3 讲述在买不到新卡的情况下,通过推理优化软件从现有 GPU 榨取更多性能。核心结论:三张账单的解法都是效率。

技术 › LLM Cloris 2026-10-1426.8 KB 5K 10 78

AI 工程师需要了解的 GPU 全部知识

本文面向 AI 工程师系统讲解 GPU 硬件知识:GPU 的三种类型(数据中心、工作站、个人级),内部结构(SM、Tensor Core、CUDA 核心、HBM 显存与 SRAM 缓存),并以 gpt-oss-120b 和 Kimi K3 两个开源 MoE 模型为例,用精确的数学计算说明推理的算力与显存带宽瓶颈、prefill 与 decode 的差异,以及训练与推理对 GPU 使用的不同需求,帮助工程师做出租用 GPU、模型部署等实际决策。

技术 › LLM Karan 2026-10-0219.3 KB 55.1K 427 82

DeepSeek发布DSec沙盒工厂:梁文锋署名论文揭秘Agent训练基础设施

梁文锋亲自署名的新论文公开了DeepSeek的Agent训练沙盒工厂DSec。该系统由约160台机器、3万核CPU、250TB内存组成,一天能造300万个沙盒,同时运行38万个,每秒新建超过5000个。DSec支持从简单函数调用到Docker容器、轻量虚拟机甚至完整Windows/macOS环境,通过镜像三层按需拼装和3FS文件系统按需拉取数据,内存节省三四成,单机最高承载3200个容器。论文还特别阐述了如何防止被训练的Agent作弊——如修改系统文件、绕过权限、扫描端口偷答案等行为。

技术 › Agent SuSu_酥酥 (@NFT_Chen) 2026-09-233.0 KB 67

YC Summer 2026: the full batch, plus 7 of my favorites

作者作为YC WAG,回顾了YC Summer 2026批次234家初创公司,将其分为12类,并重点介绍了7家感兴趣的公司:Nori家务机器人、Context.dev网页转AI数据、RonanRX制药、Agent FM编码代理群聊、Screenpipe工作记录、Atomarine海上数据中心、Gamgee宠物癌症疫苗。文章还包含Demo Day信息及与其他批次的对比。

技术 › Agent Cathryn 2026-09-1168.5 KB 198K 373 75

投资数据中心,还是投资机器人?

文章从算力角度分析机器人产业的投资逻辑:前沿机器人模型(VLA、WAM)参数量大,边缘芯片无法承载,将认知层卸载到数据中心成为必然趋势。通过对比卸载方案与端侧方案的资本开支和TCO,指出卸载方案在规模化后成本更低。受网络与安全回退条件限制,云端方案适用于工厂、仓库、家庭等场景。作者认为算力是机器人的大脑前提,XAI等算力投入会优先于具身智能量产,看好机器人未来等同于看好算力投资,本质上是同一个问题。

投资 › 股票 Zoe_yiqifacai 2026-09-103.6 KB 6.3K 13 80

SpaceX没中签?别只盯着SPCX:看看SpaceX的完整供应链

文章以SpaceX 2026年上市为背景,提出投资重点不应是SpaceX本身,而应关注其供应链。作者将业务拆解为星链、火箭和AI三大板块,并按替代难度将供应商分为三档:不可替代型(如意法半导体)、高切换成本型(如Filtronic)和量产降本型。同时提出四级证据体系区分'实锤供应商'与'概念股',认为中国科技公司的机会在于复制SpaceX验证的全球需求而非直接供货。文章还指出AI基础设施是供应链下一轮最大变量,并给出普通投资者跟踪供应链的6个季度指标。

投资 › 股票 Fred-New 2026-09-1013.3 KB 6.2K 10 82

AI时代,现有的公司组织架构还适用吗?

作者探讨AI时代传统公司组织架构的变革。随着AI参与产品、设计、开发、测试和运营,团队规模将从十几人缩减至两三人加一组AI Agent,核原因不是人的价值下降,而是完成同一任务所需协作人数减少。组织激励需从固定工资转向包含固定收入、阶段奖励和长期激励的组合。AI基础设施(数据标准、权限体系、知识库、Agent服务)将成为像水电一样的公司公共能力。未来公司核心角色集中在管理者、基础技术层和执行者三类人,组织将变成由小团队组成的网络,管理者价值集中于方向判断、任务拆分、资源分配和激励设计。

职场 › 管理 陈泽恩 2026-09-0710.4 KB 6.7K 13 72

先进封装入门:AI算力瓶颈与良率经济学

文章指出AI建设真正短缺的不是晶圆产能而是封装良率,CoWoS分配已成为AI算力的配给机制。作者从光刻曝光场858mm²的物理上限讲起,解释Chiplet兴起的必然性,并纠正了良率分拆的错误理解——真正的收益来自KGD(已知合格裸片)分拣。文章分析利润从OSAT转移到代工厂再转移到设备与材料供应商的逻辑,探讨3D堆叠散热难题、HBM演进路径,以及面板级封装转型带来的设备重置机会,揭示先进封装背后隐藏的制造供应链投资机会。

投资 › 股票 Nutty 2026-09-0623.2 KB 29.4K 169 90

Let's Talk About Buying Compute

作者指出 GPU 行业最大的瓶颈并非芯片、CoWoS 或电力,而是信用与残值市场的缺失。银行将 GPU 折旧后残值建模为零,导致资产难以证券化、缺乏对冲工具,小玩家融资成本高达 SOFR+900bps,需巨额首付。文章分析了 NVIDIA 对 OpenAI 数据中心的残值担保、Lambda 和 CoreWeave 的贷款结构,指出这些交易实际依赖客户信用而非硬件清算价值;并对比二手车(Manheim 指数)等行业,介绍 Kalshi H100 合约、Silicon Data 租赁基准及 CME 计划上市的 H100/B200 租赁期货,探讨 GPU 残值定价与算力融资市场的未来。

投资 › 宏观经济 Eugene Ye 2026-09-0622.6 KB 339.1K 859 85

AI-Powered Data Warehouses: Architectural Lessons for Every AI Product

文章探讨了 Snowflake、Databricks、ClickHouse、BigQuery、MotherDuck 等数据仓库平台在 AI 时代的架构演进,总结了七大架构经验:推理正在成为数据库算子;数据转换可通过 LLM 推断并物化新事实;语义层正成为 Agent 的基础设施;Agent 的部署位置是重要的架构决策;数据仓库正成为 Agent 工作的执行环境;Agent 是一种新的数据库工作负载,其迭代、突发、高并发的访问模式要求重新设计数据库系统。这些模式为所有 AI 产品的架构设计提供了借鉴。

技术 › 数据库 Josh Rosen 2026-09-0310.2 KB 76.4K 239 76

Agent Memory Roundup 2026: The Race to Build Universal Memory for AI

本文探讨了AI代理内存的现状与未来,指出随着多代理协作成为常态,内存需要从单个代理的私有状态中解放出来,成为可共享的独立资源。文章对比了Mem0、Zep、Letta、LangMem、Amazon Bedrock AgentCore Memory、Redis等主流方案,它们分别从身份、图结构、共享对象、可组合性、托管基础设施和数据架构等不同角度实现共享内存。尽管方法各异,但共同趋势是内存正获得独立身份和生命周期,并支持多代理读写,为构建通用AI内存奠定了基础。

技术 › Agent Josh Rosen 2026-09-0112.4 KB 6.3K 69 71

The Machine Age Fund

a16z 宣布筹集 11 亿美元设立「机器时代基金」,聚焦 AI 物理基础设施的全面重构。文章指出 AI 从聊天到推理再到编码的演进使算力需求呈指数级增长,机架算力密度提升 28 倍,功率从 5-10 kW 升至 250 kW 并将在三年内达 1MW,数据中心迈向 GW 级别。该基金将投资芯片、内存、网络、存储、数据中心、机器人等全栈基础设施。a16z 强调硬件是其团队基因,已投资 Skydio、SpaceX、Anduril、Waymo 等公司,如今正式将硬件投资作为核心战略方向。

投资 › 宏观经济 a16z 2026-08-285.6 KB 628.5K 1.2K 75

古希腊掌管 Reset 的神:OpenAI 产品掌舵人 Tibo 深度访谈

本文整理了 OpenAI 核心产品负责人 Tibo(Thibault Sottiaux)的深度访谈与社区观察。他因在推特上透明公开故障归因、随手给用户派发全局配额重置,被开发者戏称为'掌管 Reset 的神'。文章回顾了他在 Google/DeepMind 九年的基础设施经历、LM Chat 被大组织雪藏的教训,以及 OpenAI 的低阻力创新文化。核心理念是'减法工程学':拆掉脚手架、把决策权还给模型。内容还涵盖超前算力容量规划、防惊群的 Banked Reset 算法、以及零官僚的工程师透明治理模式。

技术 › OpenAI riba2534 2026-08-2749.8 KB 22.1K 8 70

英伟达财报真正该听什么?老黄这六个信号会决定AI硬件链

文章分析英伟达即将发布的财报,指出真正决定未来几个季度预期的是六个关键信号:AI云订单能否从融资驱动转向收入驱动、Rubin能否无缝接续Blackwell、Vera CPU能否形成独立收入线、Groq 3 LPX能否留住专用推理预算、服务器涨价后毛利率能否守住75%,以及英伟达亲自介入土地、电力和融资所带来的商业模式变化。文章认为当前AI行情的核心已从GPU供给转向客户资本与回报的可持续性。

投资 › 股票 美股大数据 2026-08-2614.4 KB 5.2K 17 87

AI基础设施的牛鞭效应

文章分析AI基础设施供应链中的牛鞭效应:从2023年GPU短缺开始,压力依次传导至内存、服务器CPU,再到2026年的大容量存储短缺。HBM生产挤占传统DRAM产能导致SSD价格暴涨,Agent工作流推动CPU需求上升。同时数据中心建设成本高达每吉瓦200亿美元,变压器和涡轮机交付周期长达数年。作者警告,若终端软件收入无法匹配巨额资本支出,2027-2028年新增产能交付时或将面临产能过剩危机。

投资 › 宏观经济 Tomasz Tunguz 2026-08-246.3 KB 40.9K 135 85

Rewriting Infrastructure Primitives for Agents

本文探讨了2026年秋季AI时代软件基础设施的变革。作者提出,基础设施的演变受工作负载冲击和设计冲击驱动。AI应用和智能体作为新的工作负载,催生了推理平台、评估方案等新基础设施;同时,智能体作为软件的新消费者,促使版本控制、数据库和搜索等传统基础设施为适应智能体消费而重新设计。文章以版本控制为例,指出Git和GitHub的速率限制不适合智能体时代,新兴公司如Code.storage提供为智能体优化的无限API和按需计费。数据库领域,智能体导致数据库实例数量激增,Neon等新方案应运而生。文章最后暗示搜索也将面临类似变革。

技术 › Agent Proby Shandilya 2026-08-2113.5 KB 99.1K 299 69

别再做 DSH 插件了:从几十元工具到企业级 AI 基础设施的正确路径

本文探讨了 DSH 生态的商业化路径,指出竞争焦点正从模型智能转向 AI 执行系统。文章提出商业化应遵循“插件→Skill→Profile→Workflow→Agent→行业解决方案→企业 AI 基础设施”的升级路线,并分析了垂直 Agent、付费插件、成本优化、企业私有化、Workflow 自动化等六个方向,强调以业务结果为导向,构建真正的商业壁垒。

技术 › Agent 知识猫AI实验室 2026-08-1625.0 KB 15.1K 59 82

NVIDIA AI工厂计算正成为可投资资产类别

NVIDIA宣布与Apollo、BlackRock、Blackstone、Brookfield、Goldman Sachs和KKR等机构合作,建立独立融资平台,旨在动员超过5000亿美元的第三方资本,用于支持AI基础设施的建设。这标志着AI从研究转向生产,AI工厂成为可融资的生产性基础设施。NVIDIA的AI工厂平台具备灵活性、可互换性和软件升级能力,其经济价值随时间增长,如A100芯片在发布六年后仍在使用。这些特性使AI工厂成为可投资的基础设施资产。NVIDIA将提供平台,金融机构独立评估项目并融资,NVIDIA可能提供最高25%的残值支持。此举旨在解决AI基础设施融资不均的问题,开启AI基础设施的公开资本市场。

投资 › 宏观经济 Jensen Huang 2026-08-118.2 KB 6.4M 14.6K 71

重新理解企业 RAG:从知识工程到 AI 基础设施

本文指出企业级 RAG 绝不仅是简单的文档切块与向量检索,而是一项复杂的知识工程。文章详细拆解了知识入库与用户提问两条流水线,强调了 PDF 结构化解析、混合搜索及权限更新的重要性。在 AI Coding 时代,底层代码可交由 Agent 完成,开发者应更关注 RAG 的架构设计。最终,企业 RAG 的核心价值在于构建一层可被 AI 调用的知识基础设施,从而支撑各类业务 Agent。

技术 › LLM Builder (@UPing123zzz) 2026-08-103.6 KB 71

2026 AI 下半场,投资人该盯的三个信号

文章指出2026年AI行业正从“能力竞赛”转向“生产力竞赛”,模型本身不再是唯一重点。真正的商业价值在于工作流和收入。投资人应关注三个核心信号:一是AI应用能否真正盈利并为企业省钱;二是Agent能否深度接入企业系统并实际执行任务;三是AI能否走出数字世界,通过Physical AI(具身智能、机器人等)改造现实。此外,AI基础设施(卖铲子)及安全权限治理也是极具潜力的长期红利。

投资 › 宏观经济 Kelvin 2026-08-1010.0 KB 84

托管智能体是智能体构建的下一个大趋势

作者回顾了AI智能体的发展历程,指出随着运行环境和MCP等标准的成熟,“托管智能体”正成为下一个重大趋势。为解决开发者在生产环境中部署智能体时面临的运行时、沙盒、内存和身份验证等复杂基础设施挑战,LangChain正式推出了面向开发者的“Managed Deep Agents”。该服务将智能体框架与底层基础设施打包在一起,大幅降低了构建和部署生产级智能体的难度。

技术 › Agent Harrison Chase 2026-08-0811.6 KB 389.7K 948 77

光模块的华为时刻?

本文深入分析了美国FCC对中国光模块企业的最新监管动向,指出政策正从整机封锁转向底层组件审查。通过推行HBOM等供应链透明化制度,美国试图建立针对中国原产及设计组件的严格壁垒。文章探讨了中际旭创、新易盛等企业的潜在风险,指出政策的不确定性将迫使客户去风险化,这不仅是一场科技封锁战,更是针对整个AI基础设施供应链的身份审查。

投资 › 股票 硅基流动 2026-08-0712.0 KB 32.6K 27 92

Claude Code 的 Agent 开发工具包:AI 工程化的未来蓝图

文章指出 AI 正从简单的“聊天机器人”演化为复杂的“操作系统”。作者深入剖析了 Claude Code 的 Agent Development Kit 架构,该架构包含五层设计:作为记忆层的 CLAUDE.md、作为知识层的 Skills、作为护栏的 Hooks、用于委派的 Subagents 以及用于分发的 Plugins。这套蓝图将 AI 转变为具备记忆、规则、委派和编排能力的数字组织,标志着开发重点从提示词工程转向了 AI 基础设施工程。

技术 › Agent Suryansh Tiwari 2026-05-076.7 KB 12.3K 214 57

HBM全景研报:从训练到推理,主角不再是GPU

本文深入分析了AI推理时代HBM(高带宽内存)成为新主角的原因,指出推理过程中数据搬运的耗时往往超过计算。文章详细解释了HBM的3D堆叠技术优势、HBM4采用先进逻辑工艺带来的产业链变化,以及SK海力士、三星、美光三大厂商的市场份额与技术路线竞争,并探讨了内存厂商在AI基础设施中获取超高利润的商业逻辑。

投资 › 宏观经济 大宇 2026-05-0457.8 KB 285.8K 419 92

a16z 职业回顾与转型:从投资人到创业者

作者回顾了在 a16z 担任 AI 基础设施领域投资人的经历。文章讲述了从哈萨克斯坦到斯坦福再到顶级风投的旅程,剖析了 VC 工作中鲜为人知的繁杂与挑战,强调了人际关系与非交易性网络的重要性。作者表达了对团队的感激,并宣布即将离职转型,致力于从 0 到 1 的创业构建。

职场 › 职业发展 Malika Aubakirova 2026-05-029.2 KB 96.6K 235 51

Physical AI: 机器人领域的 1000 亿美元新蓝海

文章深入剖析了 NVIDIA 在机器人领域构建的隐秘且强大的操作系统,这是一个由 Cosmos(想象力/仿真)、GR00T(大脑/推理)和 Newton(物理引擎/身体)组成的全栈技术体系。文章指出,虽然大众关注机器人的硬件动态,但 NVIDIA 通过开源 Cosmos Cookbook 等工具,已经为开发者解决了物理世界 AI 中数据稀缺和仿真模拟等核心难题,标志着机器人开发范式的根本性转变。

技术 › LLM Utkarsh 2026-04-2845.9 KB 184.5K 284 80