本文是 Agent 高频面试题详解系列第 4 题，系统讲解 Agent 效果评测体系。文章基于 64 场面试面经分析，归纳出评测追问的八个方向，并结合 Anthropic、OpenAI 等实践经验展开：先明确评什么（Agent 评测难在结果在环境状态中、路径不唯一、结果不确定）；评测集怎么建（题目来自真实失败、业务方、合成数据，注意分层、防泄露与防过拟合）；谁来打分（代码判分、模型判分、人工判分三种方式的取舍，LLM-as-a-Judge 的位置偏差、冗长偏差等已知问题及校准方法）；以及如何通过基线对比、多次运行排除随机性，证明改进真实有效。文章强调评的是 Harness 和模型的整体，判结果而非规定路径。
本文介绍如何设计可信的评估体系，并依据评估开展爬山优化，重点讲解 claude-api 技能中的 build-eval 和 hillclimb 两个命令。文章首先阐述良好评估的四个要素：任务反映生产环境、更强模型表现更好、保留提升空间、运行波动小，并强调对抗性采样的误区。随后说明 build-eval 如何通过生产流量采样、验证评分器、诊断检查建立评估。爬山优化部分介绍迭代成本低、效果可归因、目标明确等原则，以及通过拆分训练集与测试集防止过拟合。最后通过客服基准降本和 claude-api 技能提分两个案例展示实际效果。
本文从最简单的线性模型 y=wx+b 出发，逐步拆解神经网络识别图片的原理。作者解释了为何单层线性计算表达能力不足，堆叠多层也仍会退化为一次线性变换，因此需要 ReLU 等激活函数引入非线性。随后说明图像如何从原始像素经多层计算被加工成适合任务的内部表示，并澄清了'第一层看线条、第二层看耳朵'的常见误解。文章还介绍了万能逼近定理的含义与局限、CNN 与 Transformer 的关系，以及模型为何是黑箱与机制可解释性，最后引出过拟合问题，为下一篇泛化主题做铺垫。
本文系统梳理了模型微调的核心概念与术语。作者首先解释了微调的意义：在预训练模型基础上，用任务相关数据继续训练，使模型更适应特定表达、任务或指令，减少幻觉。随后从五个层面展开：模型训练阶段（预训练、基础模型、后训练、微调）；训练原理（SFT、指令微调、下一个token预测）；训练框架与工具（PyTorch、容器、训练方案）；LoRA相关技术（PEFT、QLoRA、rank、alpha、target modules）；数据与训练参数（语料、数据集、batch size、学习率、过拟合、eval loss等）。文章以DGX Spark本地微调Gemma为例，帮助读者理解微调全流程。
