模型部署后的无标注自进化：SERPO机制解析
现有无标注强化学习（TTRL）多依赖多数票生成伪标签，难以处理医疗建议等复杂开放式任务。为此，文章提出SERPO（自进化判据策略优化）机制。它通过模型自身采样的回答提取质量判据生成奖励，无需任何外部监督或人工标注，并将收益直接写入模型权重。实验表明，SERPO不仅大幅提升了模型在垂直领域的性能，且在OOD测试和长程训练中持续进化，证明了其能将质量标准转化为持久的模型能力。
相关文档
Agent 时代必读书单：27 本构建认知地基
文章推荐了 27 本构建 Agent 时代认知地基的书籍，涵盖底层范式、认知科学、决策理论、多智能体协作、组织管理及哲学对齐六大板块。作者强调 Agent 时代的盲区在于认知层，建议按需阅读，认为读完这些书能看穿当前 90% 的 Agent 创业本质是在重复旧思想。
Agent Evaluation：难以被 AI 取代的职业方向及 Hugging Face 学习资料推荐
作者认为 Agent Evaluation 是少数仍需人力判断、未来难以被 AI 彻底取代的职业方向，并推荐了 Hugging Face 公开的 Training Agent 课程作为入门资料。课程共六节：1）Agentic Evaluations，讲解如何评估 Agent 及 benchmark 与真实体验的差异；2）Agent 强化学习的难点，包括环境搭建与 reward 设计；3）用 Agent 执行轨迹做 SFT 微调；4）将大模型能力蒸馏给小 Agent；5）SFT 后用 GRPO 继续 RL 训练；6）用 OpenEnv 搭建真实环境并训练 coding agent。视频公开在 YouTube，代码全部开源。
本周 Top AI 论文精选
DAIR.AI 汇总了本周五篇重要的 AI 论文：(1) Harness Learning，通过 RL 训练提议模型在测试时修订 agent 的 harness 代码而非模型权重，实现可泛化的适应能力；(2) CorpusMap，微软提出的基于实体的语料库导航层，让 agent 搜索更准且省 34%-57% 的 token；(3) VeriHarness，Google 提出的 agentic 验证方法，揭示多数投票的盲点，在长周期任务上提升选择准确率；(4) HERMES，将仓库组件变成主动参与者的 harness，使 GPT-5.6 在仓库迁移任务上从 6.5% 提升至 31%；(5) Sakana AI 的 MASS，用同一基座模型兼任 agent、评估者与优化者，实现多智能体自我监督进化。
当软件像牛奶一样便宜，我们还要交付什么 - INDIGO TALK EP52
本期 INDIGO TALK 对谈字节前工程师郭宇，从 2015 年字节作为神经网络驱动公司的往事讲起，谈到抖音意外胜出的内幕、Vibe Coding 背后的决策负担与工程师倦怠、Agent OS 的未来图景、智能的五个层次与商品化，以及软件为何会像牛奶一样便宜。当软件可以随时生成、用完即丢，个人化软件让分发失去意义，我们真正要交付的是什么？最后讨论当工作不再是必选项时，年轻人该如何选择人生方向。
Hugging Face 详细教程：从调用模型到微调与部署
本文是一篇 Hugging Face 平台的系统教程，从零讲解大模型开发的完整工作流：安装环境、登录 Hub、用 Pipeline 快速推理、理解 Tokenizer、加载模型、使用 Datasets 处理数据、用 Trainer 微调模型、通过 LoRA/PEFT 高效微调大模型、上传模型到 Hub，以及用 Spaces 部署 Gradio Demo。文章还涵盖模型选择要点、常见问题排查（如显存不足、tokenizer 配置、训练效果差）和分阶段学习路线，并附官方文档链接，适合想将大模型真正用起来的开发者入门与进阶。
NYU 13周研究生课：LLM推理时代的前沿全景
文章介绍了NYU Tandon 2026年秋季由Anthropic研究员Pavel Izmailov开设的研究生课程《Language Models, Reinforcement Learning, Reasoning》。课程共13周，除Sutton & Barto教材外全部使用原始论文，沿「预训练→架构与训练效率→后训练RL→对齐与安全→前沿与未来」的主线展开，涵盖Attention机制、扩展律、Muon优化器、RLHF、GRPO与RLVR、奖励过优化、可扩展监督以及世界模型等前沿主题。文章分析了课程叙事逻辑，指出RL重回舞台中心、中国实验室工作成为正典、安全对齐被当作工程学科等趋势，并给出自学者建议。
Building an RL fine-tuning platform to train JEV-like decision models
本文介绍如何将开源 LLM（Qwen3-4B）改造为决策模型，构建小规模训练平台并产出 Gero-4B。作者在 MacBook（M5 Pro, 24GB）上使用 Apple MLX 进行 LoRA 微调，分三个阶段：架构改造（将 LM head 替换为共享线性打分层）、结构训练（学习题目格式）、强化学习训练（实现校准的置信度输出）。核心设计是每个选项独立分支的打分架构，通过自定义 KV cache 共享前缀表示，并利用注意力掩码隔离各分支，从结构上消除位置偏差。最终模型输出数值化、校准良好的概率分布，可直接用于自动化决策（如高置信度自动处理、低置信度转人工）。文章附有完整可运行的代码实现。
Why LLMs can't write well and how Sherpa fixes it
Pocket FM 创始人 Rohan Nayak 分享其 AI 写作系统 Sherpa 的构建历程。通用 LLM 因训练目标（逻辑推理、快速给答案）与创意写作需求（张力、情感、悬念、节奏变化）相悖而写不好故事，且缺乏清晰的强化学习成功信号。微调现成模型的尝试均告失败后，团队自研 Sherpa harness，由规划器、叙事世界模型（NWM，维护结构化故事状态与记忆）和散文引擎三大组件构成，并利用 Pocket FM 亿级用户的收听数据做强化学习，用户留存与完听率成为写作质量的天然反馈信号。盲测中 Sherpa 在 65.6%-97.1% 的配对比较中胜出，NWM 多跳检索准确率达 86.7%，成本约为同类方案的 1/21。
Agent traces are the new oil（Agent 轨迹是新石油）
文章提出 Agent 轨迹（traces）正成为 AI 公司间的核心交易资产，甚至出现蒸馏攻击等争夺行为。作者指出 RL 训练、长程任务代理普及使 traces 价值激增，但多数企业仍未善用这一资产。文章分析了 traces 对数据厂商、前沿实验室和应用层的价值，以及在运营优化、安全护栏、持续改进三方面的用途。作者还剖析了从 traces 中提取价值的难点：数据非结构化、体量巨大、反馈混乱、长程信用分配困难等，并类比 2010 年代的大数据浪潮，认为 traces 将成为企业专有智能层和战略资产，唯有通过提炼与使用才能释放价值。
How to train your own Jev for $17
本文介绍如何以约17美元的成本微调一个类似Jev的高效分类模型。作者基于Qwen3.5 4B，从MultiNLI、BoolQ、Banking77、AG News、SST-5等多个Hugging Face数据集中采样约3.8万个样本，通过脚本归一化数据后，使用Together AI的Fine-tuning服务启动训练任务（约25分钟完成），再将模型部署到Together AI的专用端点（dedicated endpoint），并通过API查询模型完成分类任务。文中还发布了可直接使用的together/Tev1-4B-experimental模型，适用于客服意图识别、文本情感分析、论文分类等实际场景，涵盖从环境搭建、数据准备、训练到部署查询的完整流程。
斯坦福新课 CME 295：9 讲走完 Transformer → RLHF → AI Agent → Diffusion LLM 全部知识地图
斯坦福大学 NLP 团队开设的 LLM 全景课程 CME 295，由知名速查表作者 Amidi 兄弟主讲，用 9 次讲座系统覆盖 LLM 全知识地图。课程分四大板块：基础（NLP 演进、Transformer 架构、MoE、注意力变体）、训练（预训练、SFT、LoRA、RLHF/DPO、PPO/GRPO/RLVR）、系统与工程（分布式训练、KV 缓存、投机解码、AI Agent 与 MCP 协议）、评估与前沿（LLM-as-a-judge、Diffusion LLM、多模态）。课程特点包括知识密度高、零作业两次考试、前沿覆盖度好，并配有公开的 Study Guide 和 15 语言速查表，适合已懂基础 ML、想系统理解 LLM 原理与最新趋势的学习者。
AI 书籍推荐：从人类偏好到大模型性格——RLHF 与后训练
作者推荐 Nathan Lambert 的新书《Reinforcement Learning from Human Feedback》，这是首本系统覆盖 RLHF 与后训练的专著。文章总结了全书三大核心论点：RLHF 本质是解决难以明确表述的问题；后训练是在固定底盘上挖掘潜能的'引导理论'；数据远比算法重要。书籍内容涵盖指令微调、奖励模型、PPO/GRPO/DPO 等强化学习算法、RLVR、合成数据、过度优化、正则化与评估，最后指出 RLHF 已从哲学化的对齐成熟为产品工程，大模型性格可被设计但也存在被滥用的风险。