Wiki 知识库

全部文档 / 标签: AI评测

9 篇
清除

顶尖 AI 公司都在押注 Fusion,我实测了一款:你装没听见,它还在提醒你

作者设计 15 道两轮陷阱题,第一轮故意说出错误前提,第二轮装作没听见继续提问,用三个 AI 裁判评测了 5 个模型的'回头纠错'能力。150 次对话结果显示,融合模型 FUMO 旗下的 Fusion Code 以 90% 的纠错比例遥遥领先,GPT-6 Astra、Claude Fable 5.1、Claude Opus 5 和 GPT-5.6 均在 70% 左右。文章对比了模型路由与多模型协作的差异,指出榜单分数高不等于会在用户走偏时拦截,并介绍了 FUMO Fusion Max 2.0 在办公文档分析上的新能力。

技术 › LLM 阿良|AI 工作流 2026-10-2325.4 KB 31.5K 115 85

FDE-Gym 论文解读:AI 能否胜任 Forward Deployed Engineer 工作

文章解读了一篇关于 FDE(Forward Deployed Engineer)的论文《FDE-Gym》。该论文将真实企业项目改造成覆盖金融、医疗、制造、能源等 18 个行业的 95 个任务,评测 AI Agent 承担真实企业交付工作的能力。Agent 仅获得客户最初的一句话需求,需自行读文档、查系统、确认信息并判断客户真正的问题。评分不仅要求完成需求,还要求交付系统真正改善业务指标,乱找人、反复试错都会产生成本。结果显示最强模型平均得分仅 0.56,95 个任务中仅真正解决 14 个,最大瓶颈在于未写入需求的业务规则、隐性约束以及客户未表达清楚的问题。文章指出 FDE 的难点在于在信息不完整、需求模糊的环境里判断该解决什么并真正交付。

技术 › Agent Xudong Han (@Xudong07452910) 2026-10-181.6 KB 65

MLS-Bench:AI自进化假象的硬核测试

本文介绍了MLS-Bench基准测试,该测试旨在评估AI系统在机器学习研究中的方法发现能力,而非仅仅是工程执行能力。MLS-Bench包含12个领域、140个真实研究任务,通过控制可修改范围、复现强人类基线、跨条件验证等设计,将算法贡献与调参、容量等因素分离。实验表明,当前AI模型即使经过多轮迭代,也主要是在优化和组合现有组件,未能发现新机制,且在实验规划和论证判断方面表现不足。文章指出,真正的科学发现需要方法提出、实验设计、预算分配、证据判断等综合能力,而当前模型尚未具备。MLS-Bench已被Kimi K3、Qwen3.8-Max等模型官方评测采用,成为衡量AI研究能力的新前沿。

技术 › LLM 青稞社区 2026-08-1417.6 KB 3.5K 9 74

如何评价MiniMax最近发布的H3模型?

本文从AI视频创作者视角评测MiniMax发布的H3模型。通过36条实测视频,分析了H3在镜头叙事、微表情、音画同步及2K重拍等方面的表现。文章解读了H3的技术架构,指出其具备“执行导演”机制和音画同生能力,且成本低廉。最后探讨了开源对行业竞争及创作者的影响。

技术 › LLM Derek Wen|德里克文 2026-08-049.5 KB 3.8K 7

都说 Kimi 审美好,实测 7 个 Skills 来找出它的最佳搭配

文章通过实测 7 个不同的设计 Skill 与 Kimi K3 模型的搭配效果,评估其在网页设计、动效和交互方面的表现。测试发现,design-taste-frontend 和 Impeccable 表现最佳,而 Kimi K3 自身的审美能力已相当出色。Skill 的作用更像是更换创意总监,而非简单的加分升级,优秀的 Skill 应为模型提供指引而非限制。

技术 › LLM 卡尔的AI沃茨 2026-07-1913.1 KB 5.4K 7

OpenClaw 终于有了一个能打的对手:Hermes Engine 全平台实测+迁移指南

本文深入评测了新兴的 AI Agent 引擎 Hermes Engine,视其为 OpenClaw 的强力替代品。文章指出 Hermes 在稳定性、记忆持久化和进度可视化方面显著优于 OpenClaw,且完美兼容 OpenClaw 的技能生态。详细提供了 Linux/Mac/Windows 全平台安装教程、数据迁移方法及 Telegram Bot 集成指南,推荐搭配 Google AI Studio 的免费 Gemma 模型使用。

技术 › Agent 0x小师妹 2026-05-209.2 KB 10.3K 66 90

Moxt 实测:把你的组织,折叠进一堆文件夹

本文是对 AI 产品 Moxt 的深度评测。作者指出当前 AI 工作存在“上下文散”和“格式脏”两大痛点,而 Moxt 通过构建基于本地文件系统和 Markdown 格式的工作空间有效解决了这些问题。文章详细介绍了 Moxt 的核心功能:包括基于 AGENTS.md 的个人 AI 分身、支持 Skill 自动化的工作流、以及生成可视化的 HTML 报告。作者认为 Moxt 将 AI 从单纯的对话工具转变为具备记忆和执行能力的“同事”,非常适合处理复杂的组织协作任务。

技术 › Agent 歸藏 2026-04-2912.8 KB 78.2K 88 76

当LLM能运行生信流程,你敢信任结果吗?

文章评测了Genentech关于Agent端到端执行生物信息学工作流的预印本。测试涵盖基因组学等领域,Codex CLI和Claude Code表现良好,但存在运行间的不稳定性。作者指出,这虽然证明了Agent在处理依赖和调用工具方面的“操作员”能力,但目前仍缺乏对生物学判断和科学决策可靠性的验证。

技术 › LLM Kyle Tretina, Ph.D. 2026-04-199.6 KB 8.6K 57 71

扫了1000+个仓库,测了200+个技能,终于找到这90个真正能用的AI神器!

作者经过数周实测,从1000多个GitHub仓库和200多个Claude技能中筛选出90个真正实用的AI工具。文章详细介绍了22个Claude Skills(涵盖办公、设计、开发、SEO等领域)、3个改变工作流的MCP服务器(Tavily、Context7、Task Master),以及25个核心开源Agent项目(如OpenClaw、AutoGPT、Dify)。此外还列出了40个值得关注的新鲜仓库,涉及Agent编排、基础设施、记忆系统及开发工具。

技术 › 工具与效率 纯棉短裤 2026-03-2224.6 KB 10.6K 100 83