Autoresearch在Listen的应用:从客观指标到偏好判断
本文介绍了Listen Labs如何将Karpathy的autoresearch模式应用于不同模糊级别的任务,从客观指标优化到基于偏好的判断。作者分享了在查询时间优化、情感提取、研究代理等任务中的实践经验,并讨论了每个级别遇到的挑战,如指标相关性、奖励黑客和评估标准等。文章强调了清晰指标、迭代速度和人工监督的重要性。
本文介绍了Listen Labs如何将Karpathy的autoresearch模式应用于不同模糊级别的任务,从客观指标优化到基于偏好的判断。作者分享了在查询时间优化、情感提取、研究代理等任务中的实践经验,并讨论了每个级别遇到的挑战,如指标相关性、奖励黑客和评估标准等。文章强调了清晰指标、迭代速度和人工监督的重要性。
文章提供了具体的应用案例和权衡分析,但信息密度中等,深度尚可,实用性较强,观点有一定新颖性,时效性高,结构清晰但部分内容略显简略。
文章指出,过去两年提升 AI 效果的关键在于写更好的提示词,但这一方法正逐渐失效,取而代之的是自主循环(loop)。文章以 Karpathy 的 autoresearch 系统为例:该系统两天内自动运行约 700 次实验,发现约 20 项改进。作者阐述了真正循环的五个阶段(发现、规划、执行、验证、迭代),强调验证、记忆和停止条件三大关键组件,并介绍了自愈式 GitHub 仓库的实践案例。最后,文章给出用 AGENTS.md、loop.py、verify.sh 三个文件构建第一个 AI 循环的入门方法,指出外部验证比增加另一个模型更重要。
文章以杰文斯悖论类比:降低 AI 编码代理的使用摩擦反而会大幅提升其使用规模。Google Cloud Developer Plugin(基于开放的 Agent Plugins 规范)通过四层架构消除上下文瓶颈:多层级渐进式披露(约1680 token 的发现路由器)、通过 Developer Knowledge MCP 服务器获取实时有据可查的官方文档、严格的 gcloud CLI 执行护栏(leaf help 验证、非交互标志、输出投影压缩)以及凭据安全引导(ADC 与短期 IAM 模拟)。文章最后演示了端到端场景,引导 AI 代理一次性构建并部署跨 Cloud Run、Firestore 和 BigQuery 的实时事件分类管道,支持 Antigravity、Claude Code 和 Codex。
文章讨论 AI 编码代理的指令文件碎片化问题:Shopify CEO Tobi Lütke 因 Claude Code 只读 CLAUDE.md 而威胁在公司禁用该工具,认为多工具团队需在多个厂商文件间同步规则,导致分裂问题。Anthropic 回应称模型家族并非可互换,指令文件需按模型偏好编写,但同时承认维护负担并承诺支持 AGENTS.md。作者提出解决方案:先在项目根目录建立自有 AGENTS.md 手册,包含规则、命令、工作流、记忆四部分,再让各厂商文件成为薄适配器,通过引用导入。这样规则归项目所有,切换工具时无需重写整个指令层。
Anthropic 工程经理 Felix Rieseberg 宣布其团队面试不再考核传统编程题,因为 Claude 等AI已能轻松完成这类题目,且团队最能出成果的人与编程题表现关系不大。他认为AI时代让入行不久的工程师有机会跑赢资历更老的员工,因为把想法做出来的成本大幅降低。文章介绍了新人面临的困境(想法不被重视、受所谓'常识'束缚),并给出五条建议:紧盯业务影响、提出大胆想法、快速做原型、一个原型聚焦一个好点子、善用新人视角。文中以两位新工程师用周末做出 Claude Code 图形界面版为例佐证。
作者系统整理了 369 个开源仓库清单,聚焦于能让 Claude Code、Codex 等编程 Agent 实现视频生成、自动化剪辑与代码动效渲染的工具、Skill 和提示词库。文章收录规则强调视频/动效产出、专供 Agent 调用、完整文档三大标准,并打破高星滤镜。重点介绍了四大现象级框架:lemo-opuscar(59 种风格引擎)、huashu-art-motion(艺术动画)、huashu-motion(商业发布片)、sweety-handdraw-video(手绘口播流水线),以及自动化剪辑、代码直出成片、数字人与音乐 MV 等垂直领域的硬核项目,最后给出 2026 年 AI 视频生产工具选型决策表。
作者分享了多起利用 Claude Code 检测手机和电脑上恶意软件的真实案例:伪装成系统应用(如 System Sync)的 stalkerware、通过无障碍权限监控定位的间谍软件,以及 Instagram/Telegram 等应用中并未真正删除的消失消息。文章详细讲解了 stalkerware 的三种隐藏手段,并给出可在 10 分钟内完成的 Claude Code 只读审计提示词和手动 ADB 命令,包括检查第三方包安装日期、设备管理员、无障碍服务、通知监听器交叉比对等方法,还推荐了 MVT、stalkerware-indicators、TinyCheck 等取证工具,帮助普通人自查设备安全。
作者讲述了自己从成绩垫底、靠父母花钱入学的普通人,到申请上博士,再到通过自媒体逆袭的经历。他因分享博士申请经验意外走红,建立留学申请生意做到年营收500万,后因行业萎缩而退出。2026年他用Claude Code一天做出学术平台'构石',三天登上热搜,一个月全网涨粉百万。他总结三条可复刻的经验:做IP建立壁垒、别等准备好再开始、AI是普通人的工业革命级机会。最终他选择休学创业,全力投入AI应用赛道。
作者开源了一个名为 Story Studio 的 AI Agent Skill,用于自动化生产历史/人物故事类短视频,涵盖选题策划、黄金钩子文案、豆包大模型配音、毫秒级字音对齐、三套画风分镜生图、自动生成剪映草稿等全链路。作者靠该流水线在视频号实现单条爆款播放100W+、单日带货4000+的战绩。文章详细拆解了各环节实操方法,并分享图书带货、银发健康产品、创作者分成计划、私域导流等四条变现路径,强调工具完全免费开源。
本文整理了 npm 联合创始人 Laurie Voss 在 AI Engineer 纽约 workshop 上关于 AI Agent 评估方法的分享。他从一份分析师共识加总为 116% 的特斯拉研报切入,阐述 trace(日志)与 eval(评估)的区别,强调先人工精读十几条记录再设计评估的重要性。文章详细介绍了从免费代码断言、LLM 裁判到黄金数据集校准裁判的完整评估体系,指出选择正确的评估问题比调优评估更重要,并以'评结果而非评步骤'为原则,演示了通过一行 prompt 修改将可操作性从 5/16 提升到 48/48 的案例。最后他强调将评估接入 CI、区分能力评估与回归评估,才能持续保证 Agent 质量。
作者宣布其 AI 视频情报站正式开放 MCP 接口,支持 Claude Code、Codex 等 Agent 直接接入查询。文章介绍了接入方法(一条命令即可),并展示了几种典型用法:每天早上让 Agent 查询新起和升温的视频题材、查询某个题材的来源和时间线、追踪特定 AI 模型的动态,以及将情报站接入自己的工作流(如自动生成选题卡、晨会材料等)。情报站每天早上更新一期,提供题材归类、X 热议、开源项目、题材溯源等数据,同时说明了查询范围限制。不接 MCP 也可通过网页或开源版自行部署使用。
文章介绍了 Anthropic Claude Code 团队的代码审查实践,以及作者团队自研 AI 代码审查工具 HeyDeer 的落地经验。核心思路是:AI 写代码占比接近 100% 后,人工逐行审查不再可行,应把人的注意力留给真正有风险的部分。做法包括按风险分级审批(低中风险由 AI 自动批准,高风险由人判断方向)、多模型交叉审查降噪、用仓库检查落实团队规范、通过 Autopilot 自动修复问题直至收敛。作者团队跑了 8 个月未因合并有 bug 的代码导致线上事故,认为大部分创业和中小公司都适用这种方式。
本文介绍了 Claude Code 团队在 AI 生成约 90% 代码的情况下如何重构代码评审流程。团队将代码评审从人工逐行阅读转变为分层自动化体系:包括 PR 前的 Claude 自验证、子代理 diff 审查、内部 skill(bug 猎捕、diff 缩减等)、以及每个 PR 的 AI 评审,仅将人类注意力保留给高风险决策。通过 CLAUDE.md 和 REVIEW.md 等文件向评审者注入项目上下文,并快速回滚机制兜底。6 月至 9 月间合并 PR 数量翻倍,回滚率下降超 40%,实现了用最少人工环节保障代码质量的目标。