算力期货:下一个万亿美元期货市场
文章探讨了算力金融化的兴起。CME集团与Silicon Data计划于2026年10月推出算力期货合约。2026年AI资本开支达7650亿美元,首次超越油气行业。算力市场面临GPU租金波动、芯片迭代贬值、数据中心建设周期长等风险,急需期货工具对冲。但市场扩展需解决集中度和可互换性两大问题:NVIDIA垄断底层芯片供应,同型号GPU性能差异可达38%。作者发布129页深度报告,分析算力作为资产类的潜力、历史期货市场成败案例、算力交易单位及受益者。
文章探讨了算力金融化的兴起。CME集团与Silicon Data计划于2026年10月推出算力期货合约。2026年AI资本开支达7650亿美元,首次超越油气行业。算力市场面临GPU租金波动、芯片迭代贬值、数据中心建设周期长等风险,急需期货工具对冲。但市场扩展需解决集中度和可互换性两大问题:NVIDIA垄断底层芯片供应,同型号GPU性能差异可达38%。作者发布129页深度报告,分析算力作为资产类的潜力、历史期货市场成败案例、算力交易单位及受益者。
文章紧跟CME计算期货合约发布热点,信息密度高、数据翔实,对市场结构与互换性问题有较好分析,但仅为长篇报告的导览,缺乏可操作细节。
民间开发者破解了 NVIDIA RTX 20、30、40 三代显卡被锁定的 Tensor Core 算力,无需更换硬件、刷 BIOS 或魔改驱动,通过底层方式解除性能限制。RTX 4090 算力从 165.6 翻倍至 331.6 TFLOPS,RTX 3090 Ti BF16 提升约 80%,部分老显卡如 RTX 2080 Ti 也接近翻倍。社区已发布多个 GitHub 开源项目和安装教程,Windows 11 上也有成功复现案例。不过有用户实测发现 token 输出速度反而下降,实际效果仍待验证。
本文从“模式”(一列乘一行的秩1矩阵)概念出发,系统讲解 LoRA 与 QLoRA 如何降低大模型微调的显存开销。LoRA 通过低秩近似冻结原有权重,只训练少量新增模式(B·A),将可训练参数减少到约万分之一;量化则用 4 位 NF4 格式配合分块缩放和双重量化存储权重,保留全部模式但降低每个数的精度。QLoRA 结合两者:冻结权重用 4 位存储,LoRA 分支用 16 位训练,使 65B 模型只需一块 48GB GPU 即可微调,Guanaco 在 Vicuna 评测中达到 ChatGPT 的 99.3%。文中还比较了低秩近似与量化误差结构的不同,并给出 7B 模型显存估算:全参数微调约 100GB,LoRA 约 15GB,QLoRA 约 5GB。
文章探讨开源模型的崛起是否冲击半导体需求这一热门问题。作者指出市场担忧的核心在于开源是否会压低毛利,进而削弱模型公司购买GPU的能力。但通过动态均衡框架分析,token价格下降的同时,硬件与软件的效率提升(每十年各贡献千倍优化)使成本同步快速下降,毛利得以维持。以每GW算力测算,旗舰模型推理毛利率仍达75%-80%以上,开源模型约60%-70%,token收入是硬件摊销成本的十倍。结论是开源不会伤害半导体行业,动态均衡将持续推动AI基础设施扩张。
文章介绍 DeepSeek V4.1 Flash 大规模推理系统的部署实践与开源推理框架 DeepInfer。系统设定三大目标:兼容多厂商计算芯片、基于通用硬件组织 Prefill 与 Decode(8 卡机 Prefill、64-128 卡超节点 Decode)、支持 KVCache 保留 72 小时以上以实现上下文复用、减少冗余计算。团队通过在计算、通信、调度与存储上的持续优化,在满足延迟要求下提升有效吞吐。DeepInfer 集成高性能算子与深度优化推理引擎,支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。目前单集群服务吞吐达每天 155 万亿 tokens,整体收入为每卡每小时 38 美元(按低谷价格计)。
作者梳理了巫师关于原始积累的30分钟视频内容。文章指出年轻人三大认知误区:把安全感全建立在工资条上、在职场中过度内卷、将证券投资视为不务正业。以风力(主动收入)与洋流(被动复利)比喻财富积累,并设立三座灯塔:资产年收益等于年储蓄额(20万美元)、覆盖生活开销(60万美元)、按4%提款率实现财务自由(150万美元)。最后给出五条实操建议:清醒定位工作、识别五类伪资产、建立家庭财务报表、重大决策数学模拟、知行合一果断纠错。
文章借李录的观点,把中国过去70年每十年的国家目标比作一本账:一五计划的农民、90年代末的3000万下岗工人、入世后背房贷的中产、双减和去杠杆中的教培与地产行业,每一轮的成本都落在绑定上一轮主题的人身上。作者认为2026年新质生产力时代的出清是慢性的,标准在于你是在给社会降成本还是添摩擦,并给出四个自测信号(工作是否可被AI复现、收入来源、与AI的竞争位置、客户数)和五条本周可执行的动作:做自己的OPC、收缩负债、先卖后做、小步出海、季度技能尸检,提醒个体在时代转向前看清自己绑在哪里。
本文由 Cerebras 撰写,从基础原理讲解推理系统中的分离式推理技术。文章先介绍加速器的构成(计算单元与存储),并引入算术强度概念,通过矩阵加法与矩阵乘法的实例说明数据搬运与计算的关系。随后分析 LLM 推理的两个阶段:prefill(处理整个 prompt,计算密集型)与 decode(逐 token 生成,受限于内存带宽),解释二者对硬件需求的不同。Cerebras 提出异构分离式推理,将不同类型芯片分配给不同推理阶段,在相同硬件数量下将吞吐量提升 5 倍且不损失单用户生成速度。
本文面向 AI 工程师系统讲解 GPU 硬件知识:GPU 的三种类型(数据中心、工作站、个人级),内部结构(SM、Tensor Core、CUDA 核心、HBM 显存与 SRAM 缓存),并以 gpt-oss-120b 和 Kimi K3 两个开源 MoE 模型为例,用精确的数学计算说明推理的算力与显存带宽瓶颈、prefill 与 decode 的差异,以及训练与推理对 GPU 使用的不同需求,帮助工程师做出租用 GPU、模型部署等实际决策。
本文是 Philip Kiely 所著《Inference Engineering》的交互式伴读站点介绍,系统梳理 LLM 推理工程全貌。文章以 prefill/decode 两阶段为原子结构,按运行时、基础设施、工具链三层展开,逐章讲解模型结构(Attention、KV 缓存、MoE)、GPU 硬件选型(带宽 vs 算力)、软件栈(vLLM、SGLang、TensorRT-LLM)、五大优化技巧(量化、投机解码、缓存、并行、解耦)以及多模态与生产实践(扩缩容、路由、成本、可观测性)。核心思想是:先诊断瓶颈再优化,一切优化皆是权衡,具体知识会过期而底层约束移动缓慢。
作者赞颂 vLLM 的软件设计之美。文章首先介绍 LLM 自回归生成的基本原理,以及推理的两个阶段:计算密集的 Prefill 和带宽受限的 Decode,指出 KV Cache 动态增长与静态批处理带来的内存浪费问题。vLLM 借鉴操作系统分页思想,将 KV Cache 切分为固定大小的块并维护逻辑到物理的块表(PagedAttention),将内存浪费降至约 3%;配合 Continuous Batching 和动态调度,避免已完成的请求阻塞整个批次,让 GPU 始终保持高效。作者认为 vLLM 的成功源于借鉴已被大规模验证的成熟系统概念。
这是一篇 CUDA 学习系列的第一篇笔记式文章,作者旨在从零基础带领读者掌握 CUDA 编程。文章首先解释 GPU 存在的原因:CPU 擅长串行计算,而矩阵乘法等 AI 核心操作天然可并行,因此 GPU 拥有大量 ALU 以实现高吞吐并行计算。随后介绍了 CPU 与 GPU 的架构差异,以及 GPU 的关键概念:全局内存(VRAM)、流式多处理器(SM)、块、线程和 32 线程的 warp,并指出全局内存到 SM 的数据传输效率极低。最后讲解了 CUDA 的网格-块-线程层级结构,并通过矩阵乘法示例演示如何编写 CUDA kernel。