用 Claude 自动设计评估与爬山优化
本文介绍如何设计可信的评估体系，并依据评估开展爬山优化，重点讲解 claude-api 技能中的 build-eval 和 hillclimb 两个命令。文章首先阐述良好评估的四个要素：任务反映生产环境、更强模型表现更好、保留提升空间、运行波动小，并强调对抗性采样的误区。随后说明 build-eval 如何通过生产流量采样、验证评分器、诊断检查建立评估。爬山优化部分介绍迭代成本低、效果可归因、目标明确等原则，以及通过拆分训练集与测试集防止过拟合。最后通过客服基准降本和 claude-api 技能提分两个案例展示实际效果。
