Wiki 知识库

全部文档 / 标签: 模型路由

41 篇
清除

LLM 路由可能比不路由成本更高

文章探讨 LLM 路由(LLM Routing)的成本悖论:理论上将简单任务分配给廉价模型可节省大量成本(如 RouteLLM 实现约 85% 降本),Uber 因给 5000 名工程师统一部署 Claude Code 导致年度 AI 预算提前耗尽的案例也说明单一模型定价的问题。但传统路由方案在生产中会因四大失败模式而失效:分类调用额外计费、通用模型意图识别能力差、路由逻辑缺乏评估易腐化、以及模型切换破坏 KV 缓存导致全价重算。文章随后介绍 DigitalOcean 基于开源代理 Plano 的基础设施级路由方案:使用 1.5B 参数的专用路由模型(Arch-Router / Plano-Orchestrator)在代理内完成意图解析,准确率超越前沿大模型且更快,再结合成本与延迟数据对候选模型池按策略排序,实现成本与质量兼顾的动态路由。

技术 › LLM Akshay 2026-09-0715.7 KB 49.9K 475 75

Grok Bot vs. Hermes: 外表相似,底层架构截然不同的押注

本文基于第一手文档对比 Grok Bot 与 Hermes Bot Mode。两者在产品层面日益相似,但架构理念截然不同:Grok Bot 提供托管的云计算机环境,让持久化 AI 队友像管理产品一样运行,降低操作摩擦;Hermes 则是一个开源(MIT)可配置的 Agent 运行时,模型层、工具、记忆、技能、Profiles 等组件均可由操作者自行配置。文章分析了 Hermes 的 Profiles 状态隔离(并非执行隔离)、多模型路由自由,以及两者都将技能视为可复用的长期资产等关键差异。

技术 › Hermes MASA 2026-08-2119.5 KB 67.5K 626 66

OpenRouter & Stripe: The Intelligence Network

本文由a16z合伙人Martin Casado撰写,宣布Stripe收购OpenRouter,并阐述其战略意义。文章提出“Token是新美元”的观点,认为Token已成为AI时代新的价值交换媒介,而OpenRouter作为模型路由和清算层,与Stripe在支付领域的角色类似,共同构成AI经济的基础设施。作者回顾了OpenRouter的创业历程,强调其从小规模聚合到大规模基础设施的演进,并看好合并后的发展前景。

投资 › 宏观经济 martin_casado 2026-08-208.6 KB 240.7K 524 62

如何为每个编码代理提供相同的第二大脑

本文探讨了在多个编码代理之间切换时产生的“重置税”问题,即代理间缺乏共享状态导致重复探索、决策冲突和效率低下。作者提出解决方案:不复制整个会话,而是创建一个可移植的、经过审计的任务契约,记录已验证的任务状态、约束和决策。文章强调模型与工具链应分别路由,并指出共享状态应包含权威数据而非未经验证的信息,以避免上下文过载和记忆污染。通过小型、版本化的契约,不同代理可以无缝协作,同时保持各自的优势。

技术 › LLM Rohit 2026-08-2025.3 KB 330.7K 263 76

用 Kimi K3 构建你的第一家 AI 原生公司

作者提出 Company Foundry 项目:用 Kimi K3 作为中央智能单元,将公司简介编译成可移植的组织方法规范,生成上下文、技能、路由、策略、证据记录等运行时配置。核心理念是公司不是一群 agent,而是决定哪些工作重要、agent 能做什么、必须留下什么的方法。模型可租可换,但运营方法归公司所有。harness 层为 agent 工作赋予结构,通过契约管理所有权、任务准入、来源策略和模型路由,让工作可复现、证据可追溯,公司知识不随模型更换而流失。

技术 › Harness Engineering Avid 2026-08-1831.1 KB 701.5K 238 74

Why model routing must be in the harness

本文探讨了模型路由为何应置于代理的harness中而非网关层。随着代理部署扩大,推理成本上升,模型路由成为控制成本的关键。作者基于生产数据指出,harness层路由可降低58%成本且不损质量,因为harness能结合会话缓存、任务状态和结果来动态选择模型,而网关缺乏这些上下文。文章强调,模型切换需权衡缓存失效成本,只有harness能判断何时切换最经济。

技术 › LLM Abhay Singhal 2026-08-1514.0 KB 173.3K 349 75

图工程:构建全自动化AI开发系统

本文介绍如何摒弃手动单次提示,通过构建AI系统实现开发自动化。以Claude Code为基础,结合上下文规则实现工程化代理;利用循环工程让系统自动发现任务、执行并验证结果;引入图工程作为知识记忆层,通过三元组存储项目逻辑,使模型准确率大幅提升且避免从零开始;最后通过模型路由按任务复杂度自动分配Opus 5或Fable 5,以大幅降低开发成本并成倍提升工作效率。

技术 › Agent Noisy 2026-08-0713.8 KB 292.7K 162 84

OpenCode 番外篇:驾驭 AI 的法典、军团与薄壳

文章指出 AI 编程的核心不是工具安装,而是建立权力结构与规则。作者通过 AGENTS.md、模型路由、MCP 和 Team Mode 等 OpenCode 机制,阐述如何通过立法、感官建立和验收来驾驭 AI 军团,强调开发者应成为立法者而非单纯的批准按钮。

技术 › OpenCode AI最严厉的父亲 2026-07-2221.6 KB 11K 14

Claude Code + GPT-5.6 Sol + Grok-4.5 = 多快好省

本文介绍了如何利用 CLIProxyAPI 构建混合编程 Agent 方案。通过将 Claude Code 作为主控,将 Plan 和架构任务交给 GPT-5.6 Sol,将执行任务交给 Grok 4.5,实现了多模型的优势互补。文章详细阐述了从环境配置、路由设置到三层验证的完整步骤,并强调了配置备份的重要性。

技术 › 工具与效率 码良 2026-07-1413.3 KB 5.7K 20

清华开源 PilotDeck:智能路由的 Agent OS

清华大学开源了名为 PilotDeck 的 Agent 操作系统。其核心亮点在于“智能路由”技术,通过自动判断任务难度来分配模型(如主模型搭配小模型),相比纯 Claude 方案大幅降低了成本($3.15 vs $18.36)并提升了分数。系统具备 WorkSpace 隔离、白盒记忆(可追溯、编辑)及 Always-on 后台持续运行三大功能。

技术 › Agent 撸毛吃猪脚饭 2026-05-311.1 KB 65