《指挥 AI,做出一个企业级 Agent》09:接通大模型只是开始,真正难的是不让它越权
文章探讨企业级 Agent 开发中如何防止 AI 越权。作者指出接通大模型仅是第一步,关键在于通过服务端规则、来源白名单和 Human-in-the-loop 机制约束模型行为。文章介绍了流式输出协议、AI 原稿与人工终稿分离、以及模型不可用时的降级策略,强调企业需建立可追踪的责任链路,确保 AI 只提供建议,不直接产生业务结果。
文章探讨企业级 Agent 开发中如何防止 AI 越权。作者指出接通大模型仅是第一步,关键在于通过服务端规则、来源白名单和 Human-in-the-loop 机制约束模型行为。文章介绍了流式输出协议、AI 原稿与人工终稿分离、以及模型不可用时的降级策略,强调企业需建立可追踪的责任链路,确保 AI 只提供建议,不直接产生业务结果。
作者面试一家 AI+Web3 公司失败后,获得面试官分享的《Agent工程师入门指南》,并结合自己的学习心得整理成一条完整的 Agent 工程师学习路线。内容涵盖 LLM 基础(Transformer、Token、上下文窗口、采样参数、API 协议、流式输出、结构化输出、工具调用、Embedding)、Prompt Engineering(Zero-shot/Few-shot、CoT、ReAct、Reflexion)以及 RAG(文档解析、分块、检索与重排)等核心知识。每个知识点都附有学习文档链接、项目要求和验收标准,帮助学习者系统掌握 AI 应用开发技能并检验学习成果。
文章包含两条内容:一是 DeepSeek kernel 工程师 Shengyu Liu 的长文,讲述 AI 已能自主分析 CUDA/PTX/SASS 并优化 kernel,他预判半年到一年内 AI 写的 kernel 可能超过自己,工作将从亲手写代码变为驾驶 Agent,并担忧未来社会走向共产主义或赛博朋克两极,因此选择留在 DeepSeek 推动开源 AI。二是微信团队开源的 WeKnora 框架,已从 RAG 系统进化为企业 Agent 基础设施,提供知识处理、ReAct Agent、Sandbox 执行环境、长期记忆和 Auto-Wiki 能力,代表 RAG 向企业 Agent Context + Runtime 的迁移趋势。
程序员鱼皮宣布其编程导航新项目教程《AI 闯关学习小程序》完结。项目基于 Taro + Python FastAPI + LangChain + DeepSeek,用 AI 编程(Vibe Coding)方式从 0 到 1 开发可将任何知识变成闯关游戏的学习小程序。功能涵盖 AI 联网搜索出题、闯关答题即时讲解、AI 复盘报告、RAG 私有知识库出题、AI 题目配图、微信静默登录等,并走完 Docker 部署与小程序上线全流程。项目代码已完整开源,同时提供视频、文字教程及简历写法和面试题解,帮助求职者提升竞争力。
文章深入剖析了 DeepSeek-V4 如何通过 HCA、CSA 和 SWA 三通道并行架构,将 KV Cache 压缩至基线的 2%,从而实现工程上可行的 100 万 token 上下文。然而,这种极致的压缩是有代价的:MRCR 8-needle 测试准确率在 1M 长度下显著下降至 0.59。文章指出,V4 通过牺牲检索精度换取了推理成本的数量级降低,是一种‘有损的 1M’,并明确论证了该设计原理上无法完全替代 RAG 系统。
文章基于 YC Paper Club 播客,剖析 LLM 推理成本真相:按两年模型寿命摊算,推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%,瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%,实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差(同一模型不同服务商差距超开源闭源差距)以及开源推理生态的规模,指出推理成本优化才是 LLM 竞争的胜负手。
文章对比了社区开源的 DS Bot(DeepSeek-Bot)与 Grok Bot 两款多角色 AI 助手。核心差异在于'动手能力':Grok Bot 提供托管云电脑,可操作浏览器、跨网站执行任务且合盖继续运行;DS Bot 内置浏览器仅能读网页,但支持自选模型、MCP/Skills 扩展和可检查的 Markdown 记忆。文章从网页操作、模型控制权、数据与权限、成本等维度给出选购建议:不想维护、需要网页自动化选 Grok Bot;已有 API、重视控制权选 DS Bot。作者建议先用一个每周固定任务实测,再决定是否扩展。
作者leonliuzx回顾了自己与开源和开发者关系(DevRel)结缘的历程:初中开始在GitHub上折腾代码,2023年通过AGI Playground参与无障碍AI项目'声桥AI语训',之后深入书生浦语、飞桨等社区做助教、写教程、贡献文档。2024年底加入百度从事社区运营实习并转正,组织Hackathon活动、培养贡献者,甚至与李彦宏共进晚餐。工作之余还发起了OMDSH和OpenAIGames等独立社区。作者将开源社区比作同好群,认为因纯粹热爱而聚集的感觉非常棒,并庆幸自己在这个年纪找到了愿意长期投入的热爱。
本文是 Agent 高频面试题详解系列第 4 题,系统讲解 Agent 效果评测体系。文章基于 64 场面试面经分析,归纳出评测追问的八个方向,并结合 Anthropic、OpenAI 等实践经验展开:先明确评什么(Agent 评测难在结果在环境状态中、路径不唯一、结果不确定);评测集怎么建(题目来自真实失败、业务方、合成数据,注意分层、防泄露与防过拟合);谁来打分(代码判分、模型判分、人工判分三种方式的取舍,LLM-as-a-Judge 的位置偏差、冗长偏差等已知问题及校准方法);以及如何通过基线对比、多次运行排除随机性,证明改进真实有效。文章强调评的是 Harness 和模型的整体,判结果而非规定路径。