文章介绍 MIT 韩松（Song Han）实验室开设的高效机器学习旗舰课程 6.5940 TinyML and Efficient AI Computing。课程分四章递进：高效推理（剪枝、量化、蒸馏、NAS）、面向特定领域的优化（TinyML、LLM 量化部署、长上下文、扩散模型）、高效训练（分布式训练、设备端训练）及进阶专题。课程以动手为中心，无考试，由 5 个 Lab（从 GPU 编程到本地 LLM 部署）和 NeurIPS 模板期末项目构成评分。作者认为该课程知识体系完整、与研究前沿零距离、工程实践导向鲜明，是学习模型压缩、LLM 推理优化和 TinyML 的最佳公开课，所有视频和课件均已公开。
文章以 Qwen3.8-27B 为例，系统讲解大模型权重量化的原理。从参数如何参与矩阵乘法运算入手，说明 bit 数与编码格式（FP16、BF16、INT4）的关系，演示 0.73 如何被 4 bit 编码为 0.8 并引入误差。深入分析了刻度选择中范围、分辨率与截断误差的取舍，权重误差如何随输入放大为输出误差，以及 GPTQ、AWQ、PTQ、QAT 等量化方法如何利用校准数据控制误差。最后估算 4 bit 模型的存储大小（约 13.5-19 GB），讲解 KV 缓存、混合注意力结构对显存的影响，并给出选择和评估本地量化模型的实用建议。
本文介绍斯坦福大学 2026 春季研究生课程 CS336「从零构建语言模型」。该课程由 Hashimoto 和 Liang 教授讲授，工程量极大，学生需亲手实现 tokenizer、模型、FlashAttention2 内核及分布式训练。内容覆盖 LLM 全生命周期：模型架构、系统优化（GPU/内核/并行）、Scaling Laws、数据处理、推理评估及后训练对齐（含 RLVR）。五次编程作业串起从原始数据到可对话模型的完整生产流程。目前 18 讲视频与作业已全部公开，是自学者系统补齐 LLM 工程能力的稀缺资源，但要求扎实的 PyTorch 与体系结构基础。
本文是一份2026年最新的量化金融免费学习资源指南。作者整理了来自MIT、Columbia、Stanford等顶尖名校的公开课资源，涵盖了数学基础、金融工程、风险管理和机器学习等核心领域。文章详细列出了完全免费的OpenCourseWare课程、免费旁听的MOOC、大数据资源以及WorldQuant University的免费硕士项目，并规划了从基础到进阶的实用学习路径，建议配合Python项目进行实战练习。
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
本文从“模式”（一列乘一行的秩1矩阵）概念出发，系统讲解 LoRA 与 QLoRA 如何降低大模型微调的显存开销。LoRA 通过低秩近似冻结原有权重，只训练少量新增模式（B·A），将可训练参数减少到约万分之一；量化则用 4 位 NF4 格式配合分块缩放和双重量化存储权重，保留全部模式但降低每个数的精度。QLoRA 结合两者：冻结权重用 4 位存储，LoRA 分支用 16 位训练，使 65B 模型只需一块 48GB GPU 即可微调，Guanaco 在 Vicuna 评测中达到 ChatGPT 的 99.3%。文中还比较了低秩近似与量化误差结构的不同，并给出 7B 模型显存估算：全参数微调约 100GB，LoRA 约 15GB，QLoRA 约 5GB。
Cerebras 团队详细介绍了如何在 WSE-3T 晶圆级芯片上部署万亿参数大模型。以 3 万亿参数的开源模型 Kimi K3 为例，团队通过 4-bit 权重量化和 8-bit KV 缓存计算每层约 16 GB 的显存需求，将模型切分到 59 片晶圆上：每个 dense 层独占一片晶圆，每片可放两个 linear-attention 层。晶圆间通过以太网 RDMA 传递激活值，权重无需移动。系统以流水线方式运行，各阶段可同时处理不同请求和微批次，从而实现 1000-2000+ tokens/秒的推理速度。
文章阐述了如何构建对冲基金级别的 AI 交易系统。作者指出，AI 模型本身不是瓶颈，缺乏基础设施才是关键：散户 AI 缺少数据、算力和交易执行三大层。数据层需避免幸存者偏差和前视偏差；算力层需要集群化回测；交易层需全天候执行。通过 MCP 协议，可将 Claude、ChatGPT 等 AI 接入 QuantGPT 终端，获得机构级数据仓库、云端研究算力和实盘交易能力，以远低于 Bloomberg 终端（约 3 万美元/年）的成本（49-149 美元/月）构建完整 AI 交易系统。
作者基于 Grok Bot 0.70.2 桌面客户端协议，开发并开源了一套非官方 Node.js SDK（grok-bot-sdk），用于在本地环境中与自己账号下的 Bot 通信。文章以 MacBook Touch Bar 集成为真实案例，介绍了 SDK 的设计动机、与现有方案的区别，以及登录、读取 Bot 名单、头像离线计算、发消息、接收 SSE 回复等技术细节。SDK 采用 MIT 协议开源，零外部依赖，要求 Node.js 22.13 以上，目前可通过 GitHub 直接安装。
本文记录了在单张魔改 RTX 4090 48GB 上，通过系统级调优将 96.5GB 的 MoE 模型 GLM-5.3-Flash 推理提速至 41.8 token/s 的完整工程实录。作者采用混合 i-quant 量化，将 12,096 个专家常驻显存与锁页内存，通过实测发现减少 CPU 线程反而提升 42% 速度、扩大显存池至 46GB 带来质变、以及激进的 PCIe 搬运策略是致命代偿陷阱。文章逐毫秒拆解了 24.47ms 的 token 耗时去向，指出 PCIe 搬运是硬瓶颈，并对比了更稀疏的 Qwen3.8-Flash-Next 架构可达 120 tok/s 的原因。
Cactus Compute 发布了 16.9 MB 的本地语音识别模型 Whistle，纯 CPU 运行、无依赖，与同公司的 Needle 模型共享引擎。作者实测发现：七种欧洲语言（英德法西意荷波）识别准确度高，首 token 仅 5-8 毫秒，解码速度约 1300 token/秒，官方性能数据基本可信。但关键缺陷在于：遇到不支持的语言（如中文、日文）时，模型不会报错也不会返回空，而是硬套进已知语种生成'假词'，造成静默污染。文章指出该模型设计目标是端上语音自动化入口而非单纯转写，并提醒中文用户慎用。
文章回顾了Karpathy在2023年指出的本地LLM推理瓶颈：解码阶段受限于内存带宽，每次前向传播只生成一个token，使得推理速度存在硬上限。以M5芯片和4-bit Qwen3.5 9B为例，理论极限约29 token/s，llama.cpp和MLX接近该上限。开源推理引擎Uzu通过组合优化突破瓶颈：采用4-bit/8-bit整数量化降低内存流量，利用M5的int8硬件加速路径，在量化前应用块对角随机Hadamard变换抑制离群值误差，并通过推测解码一次性验证多达16个草稿token。实测Uzu在M5上达到92-117 token/s，显著超越llama.cpp和MLX。
本文介绍了如何借助Strata框架和Agent自动化流程，在12GB消费级显卡上部署125B参数的MoE模型Qwen3.8-Flash-Next。文章解释了MoE稀疏激活（每token仅激活6B）与Strata让GPU、CPU、RAM、SSD协同工作的原理，对比了不同量化方案（UD-IQ4_XS与UD-Q4_K_XL）在专家缓存命中率上的速度差异。作者全程使用蚂蚁的Ling-3.1-flash Agent完成从读文档、检查硬件、安装、排错到测速验收的部署流程，并成功将本地模型接入pi。该方法可复用于部署Ling、GLM、Kimi、DeepSeek等其他本地模型。
