Agent + 豆包 Seed2.0 Lite 重做 Karpathy 的工作流
文章探讨了如何利用豆包 Seed-2.0-lite 多模态大模型和 Agent 技术,将 Andrej Karpathy 两年前提出的“视频转博客”构想变为现实。作者通过将多模态能力封装为 Skill,并设计了一套包含视频切片、结构化素材提取、关键帧智能挑选和 Markdown 生成的四步工作流,成功解决了传统 ASR+LLM 流水线中信息丢失的问题,实现了高质量、图文并茂的技术博客自动化生成。
文章探讨了如何利用豆包 Seed-2.0-lite 多模态大模型和 Agent 技术,将 Andrej Karpathy 两年前提出的“视频转博客”构想变为现实。作者通过将多模态能力封装为 Skill,并设计了一套包含视频切片、结构化素材提取、关键帧智能挑选和 Markdown 生成的四步工作流,成功解决了传统 ASR+LLM 流水线中信息丢失的问题,实现了高质量、图文并茂的技术博客自动化生成。
文章提供了一套极具实操性的多模态Agent视频转博客工作流,包含详细步骤、代码与原理解析,且基于近期最新模型测试,技术落地价值极高。
本文深入介绍xAI(文中称SpaceXAI)的Grok Bot如何运作:每个Bot运行在持久化的云端Linux虚拟机上,拥有浏览器、文件系统和终端。核心亮点是'团队化'使用模式——以Chief of Staff为中心,配合各司其职的专家Bot,并由人工审批关键操作。文中以客服事件处理为例:三个Bot(IncidentWatch、Support Bot、IncidentSweep)协作,10分钟内清理204个工单。文章分7部分讲解Bot的组织架构、工程harness、技能与记忆、审批机制及可复制的搭建方案。
作者在豆包工作中优化地图动效 skill,实现全自动制作旅行 vlog。只需提供社媒照片链接,Agent 即可生成 3D 地图动效,根据画面内容推断拍摄机位(如虎跳峡、梅里雪山、雨崩),并利用多模态能力将旅行自拍生成 Q 版贴纸小人。最终自动渲染配乐,输出 mp4 视频,如从地球俯冲定位、Q 版小人沿真实路线行走、照片弹出的云南自驾 vlog 成片。还可配合开源剪辑 skill 生成剪映工程文件,完成素材粗剪,解决旅行 vlog 制作难题。
文章指出,现代生产力的最大瓶颈不是思考慢,而是工作碎片化地在多个应用间切换,决策只需三十秒,而协调却要二十分钟。Grok Bot 类持久化 Agent 的价值在于以任务结果为界面,让应用成为实现细节,消除工具间的转换成本。作者阐述了以职位描述定义工作流、持久化环境保存上下文、将流程固化为可复用例程、从人类行为中学习自动化等理念,并强调 Agent 架构应分层:生成模型负责创造内容,快速决策层负责调度,确定性代码负责规则约束,从而构建真正自主的工作系统。
文章探讨了高级 AI Skill 的本质:不是把更多指令塞进一份文件,而是把多个单点能力按任务关系编排组合。作者通过分析 GitHub 上多个热门 Skill 仓库,总结出五种组合模式:路由(判断调用哪个 Skill)、顺序(强制工作流程)、选择(按需分诊组合)、流水线(专业能力交接)和分层(Skill 与系统能力分工)。文章提出组合 Skill 的五个核心零件:路由、输入输出契约、顺序与并行、上下文状态、验证反馈,并建议从真实返工中逐步长出组合关系。核心观点:Prompt 让 AI 听懂一次需求,Skill 固化一类做法,而组合 Skill 才能把复杂任务交付出来。
作者体验字节跳动的豆包工作后,认为其远超预期。文章详细介绍了豆包工作的几大亮点:覆盖金融、法律、电商等行业的内置Skill生态与连接器(企业微信、钉钉、腾讯会议等);全局划词翻译与解释功能;本地Office集成,可直接在PPT、Excel中与AI协作编辑;浏览器录制与回放功能可将企业重复工作流沉淀为专属技能;以及手机、电脑、云电脑之间的多端切换能力。作者认为字节太懂国内用户,国内下一波AI赚钱风口在于帮企业搭建工作流、做培训和落地服务。
文章探讨 xAI 推出的 Grok Bot(拥有独立云电脑的 AI 代理)应该承担哪些工作。作者结合 Matt Palmer 和 Eric Zakariasson 的实际使用案例,将 100 个用例归纳为五种任务形态:重复性工作、多步骤流程、跨网站杂务、定期监控、文档密集型分析。建议从自己最熟悉的无聊任务入手,一次演示让 Bot 形成例程,一个 Bot 只做一个工作,并注意共享登录与持久记忆的安全风险。文章强调应以回报明确、可循环的任务为切入点,而非追求炫技演示。
本文探讨了“循环工程(Loop Engineering)”的概念,即从人工提示Agent转变为构建自动提示Agent的系统。文章追溯了其起源,并将之置于提示、上下文、测试床之上,作为自动化运行的最高层。作者详细拆解了循环系统的五个核心组件:触发器、任务、验证门、状态文件和停止条件。最后,文章介绍了Claude Code中四种循环类型及其应用场景,强调通过客观的评估器和状态持久化来实现夜间无人值守的自动化开发任务。
本文探讨了从手动提示AI向“循环工程”转变的新一代工作流。作者指出,真正的循环工程依赖于廉价的长上下文模型来控制Token成本。文章详细对比了旧的手动工作流与新的自动化循环工作流,并深入剖析了单智能体循环与舰队循环(多智能体协同)的区别。同时,强调了在实际应用中应优先采用边界清晰、易于控制的闭环。最后,拆解了构建高效循环系统的六个核心基石:自动化、工作树、技能复用、外部插件、子智能体和检查器,帮助开发者打造可自我迭代和修复的AI系统。