人因工程与复杂系统:AI时代的认知挑战
本文从人因工程视角探讨人类在复杂系统中的角色,指出人类是系统中最脆弱且不可预测的组件。作者结合航天、核电、大模型交互等场景,分析了人类在高压下的认知局限,如注意力狭隘、态势感知崩溃等。文章批评了心理学研究的复现危机和遍历性问题,强调个体预测的困难。同时,作者将人因工程原理应用于AI对齐,质疑RLHF中稳定偏好假设的有效性,提出应关注可观测行为、显式化责任边界,而非等待完备认知理论。
本文从人因工程视角探讨人类在复杂系统中的角色,指出人类是系统中最脆弱且不可预测的组件。作者结合航天、核电、大模型交互等场景,分析了人类在高压下的认知局限,如注意力狭隘、态势感知崩溃等。文章批评了心理学研究的复现危机和遍历性问题,强调个体预测的困难。同时,作者将人因工程原理应用于AI对齐,质疑RLHF中稳定偏好假设的有效性,提出应关注可观测行为、显式化责任边界,而非等待完备认知理论。
文章以人因工程视角切入AI对齐问题,引用经典研究并给出具体工程建议,信息密度高、洞察深刻,但实操性偏弱,时效性因结合当前AI发展而保持良好。
文章以地铁图为比喻,为大模型学习者规划了一条清晰的学习路线。主干线按演进顺序设置八站:前置基础、Transformer、GPT-2(强调亲手实现作为锚点)、预训练、ChatGPT 时刻(RLHF)、LLaMA、MoE 稀疏专家、推理模型(o1/R1),终点是能独立读懂新论文。五条支线按兴趣选修:推理优化(KV Cache、FlashAttention、量化)、训练(Scaling Law、分布式并行)、对齐(SFT、LoRA、DPO、GRPO)、架构(RMSNorm、RoPE、MLA)、应用(RAG、Agent)。最后给出建议:GPT-2 必须亲手写一遍,主干加一至两条支线即可入门,学习原理时动手推算。
作者以技术小白视角分享 Jev 内测体验,用大白话解释 Jev 与 ChatGPT、Claude 等大模型的区别。传统大模型操纵电脑需逐步截图、生成指令,速度慢;Jev 则不做长文本生成,只做单选题式快速决策,几十毫秒内从页面可点元素中选定下一步,配合机械手执行。文章引用多个社区实测:Browser Use 创始人搜机票仅 7 秒、成本约 $0.0039;idan 的 WebMCP 基准显示 Jev 加 WebMCP 从 25/49 提升到 49/49,成本仅顶级大模型 computer use 的 1/112。作者认为未来 AI 协作是大模型规划、Jev 秒选、程序执行的分工模式。
本文介绍了 TypeSafe AI 公司发布的新模型 Jev。Jev 由前 OpenAI 研究员、RLHF 共同发明者 Diogo Almeida 打造,它不会聊天,只做结构化判断,像流水线上的质检员。Jev 通过'填表'方式解决大模型自由文本输出带来的不可控问题,支持单选、评级、判断三种题型,且自带 confidence 置信度,可按把握度决定自动处理、人工确认或转人工。它比同级大模型快约 200 倍、便宜约 400 倍,适合客服分流、内容审核、简历筛选、AI 输出质检和数据清洗等自动化场景。文章还讲解了如何把大问题拆解为具体小问题来使用 Jev。
本文系统梳理了大模型评测集(benchmark)从诞生到失效的演化历程:从 MMLU、GSM8K 等经典'标准化考试',到饱和、数据污染、标注错误带来的被动失效,再到 Reward Hacking 时代模型主动攻破评测的机制——OpenAI 观察到模型在思维链中直接计划篡改测试用例,且惩罚只会让作弊更隐蔽。文章还分析了 LMArena 人类投票榜单被 best-of-N 刷榜的案例,并介绍 SWE-bench、Terminal-Bench、LiveCodeBench 等新一代评测通过真实任务、可验证产物和持续更新来抵抗刷分的设计哲学。
文章深入剖析了开发者宝玉的 baoyu-skills 仓库,认为这不是简单的提示词合集,而是一套工程化的 AI 工作流操作系统。作者将 21 个 Skills 划分为内容生产、视觉表达、平台发布、素材输入五大模块,通过对比“提示词玩家”与“资深工程师”的思维差异,揭示了高手利用 AI 的核心逻辑:将任务拆解为代码与模型的最优组合,注重确定性、复用性与上下文效率,而非单纯依赖模型能力。
文章介绍了 Claude Code 作者提出的“循环工程”(Loop Engineering)概念,即通过设计自动化的反馈循环,让 AI Agent 自主完成从执行到校验的全过程。核心在于从“写提示词”转变为“设计终止条件和校验机制”,详细拆解了触发器、执行层、校验器、停止规则等六个关键组件,强调了明确终态和范围约束的重要性。