从未见过如此抽象的 AI 测评!三大AI大战屎山代码
文章介绍了B站兴起的AI测评生态:UP主用屎山代码改BUG、AI囚徒困境生存游戏、新三国梗问答、同一素材做游戏、量化交易回测等脑洞方式测试各大模型。与公开跑分榜单不同,这些由UP主临时出题、观众共同参与测评的方式避免了模型背题,更能反映AI真实能力。B站推出的AI无限竞技场将这些测评收进同一平台,29个主题、百大模型同场竞技,首期榜单第一名是GPT-6,但并非每个主题都是第一,体现了多角度测评的价值。
文章介绍了B站兴起的AI测评生态:UP主用屎山代码改BUG、AI囚徒困境生存游戏、新三国梗问答、同一素材做游戏、量化交易回测等脑洞方式测试各大模型。与公开跑分榜单不同,这些由UP主临时出题、观众共同参与测评的方式避免了模型背题,更能反映AI真实能力。B站推出的AI无限竞技场将这些测评收进同一平台,29个主题、百大模型同场竞技,首期榜单第一名是GPT-6,但并非每个主题都是第一,体现了多角度测评的价值。
以B站AI无限竞技场为切入点介绍社区出题式模型测评的新生态,案例丰富、时效性强、观点新颖,但缺乏可操作方法和深入分析,偏资讯介绍。
Anthropic发布Claude Opus 5.5,比Opus 5便宜40%、速度快30%,跑分全面超越Fable 5.1,并推出订阅用户一次性的额度reset功能。一个半小时后,OpenAI发布GPT-6 Sol和Luna,大幅降价,Luna价格杀入DeepSeek区间。作者实测对比了Opus 5.5、Opus 5和Fable 5.1在鹈鹕骑单车SVG、Blender建模宋代斗拱、机械蝴蝶等任务上的表现,发现Opus 5.5综合成本省29%-55%,agent能力强,但max档反而不如medium档。文章详细分析了各模型跑分、价格策略和Claude Code更新要点。
OpenAI发布GPT-6 Astra,定位为迄今最智能且最对齐的模型。文章详细解析其新特性:105万Token上下文窗口、作为全球最佳操作电脑的模型(OSWorld完成率72.6%)、ARC-AGI-3达到99.9分远超人类平均水平、视觉判断力和审美大幅加强、更强的主动性(Judgment)能自主消化不确定性、安全对齐显著提升(幻觉率降至2.0%)、成为首个达到网络安全Critical等级的模型。同时文章指出隐忧:模型思维链可监控性显著下降,人类越来越难理解其推理过程,AI正在走向奇点。
文章揭秘了海外爆火的匿名模型OX Alpha的真实身份——智谱发布的GLM-5.3-Flash。该模型是总参数320B、激活18B的MoE架构,GLM-5系列首个原生多模态模型,支持图像、视频和文本输入,上下文达100万。其能力逼近Opus 4.8,而价格极低(每百万Token输入0.8元、输出2.8元),比DeepSeek V4还便宜一半。作者通过自建1000条新闻评测集实测发现其在精选率和品味上优于MiMo 2.5 Pro和DeepSeek V4 Pro,前端代码能力也直逼顶级模型。此外,智谱用10万张国产卡扛下了匿名测试期的全部推理流量。作者决定将AIHOT网站模型全面切换至GLM-5.3-Flash。
文章讲述了“生成骑自行车的鹈鹕SVG”这一AI测试题的来龙去脉。该题源自英国程序员Simon Willison,因同时考验模型的空间几何理解与代码生成能力而成为测试大模型的经典题目。随着模型进步,该测试已趋于饱和,连小体量开源模型Qwen3.6都能击败Claude Opus 4.7,引发其是否沦为“应试科目”的讨论。作者分析了鹈鹕测试依然流行的原因:直观易懂、已成为开发者社区的“开机仪式”,透过这只越来越像样的鹈鹕,能直观感受AI时代的快速发展。
作者用四组同提示词测试(鹈鹕骑单车、iPhone Duo 产品片、Roadster 腾空镜头、自制小机器人短片),对比 Kimi K3.1 Pro 与 GPT-6 Astra 在 3D 建模与动画方面的能力。Kimi K3.1 Pro 在 Artificial Analysis 榜单得分 55,全球第四、中国第一。结果显示两模型均能通过编写 Blender/Three.js 脚本生成可反复修改的 3D 场景,但细节和修改轮次各有短板。作者还用 Kimi 打造了一个 3D 视频预演台,可切换机位、焦段和灯光并导出分镜。文章最后吐槽 5 小时使用额度限制,认为这类工具适合做分镜草稿与预演,而非直接成片。
月之暗面发布 Kimi K3.1 Pro,基于 K3 做 post-training 升级,2.8T 总参数、104B 激活(MoE)、1M 上下文、多模态。Terminal-Bench 4.0 得分 65.7,超越 GPT-6 Astra(58.2),仅落后 Claude Opus 5.5(66.4)0.7 分,是开源模型离闭源最强最接近的一次。API 价格输入 $2/输出 $10,比上一代降价三分之一,权重将于 11 月 4 日开源。文章拆解了 14 项评测表现,指出其在编码、Agent、金融分析领域表现出色,但科学计算类任务偏科严重(38.1 vs 68.1),并给出小白使用入口与避坑清单。
月之暗面发布旗舰模型Kimi K3.1 Pro,参数规模2.8T(MoE,104B激活),支持100万Token上下文,继续开源。API价格较K3砍半,仅为GPT-6 Astra的五分之一。跑分仅次于Claude Opus 5.5和GPT-6 Astra,Terminal-Bench 4.0达65.7%,OfficeQA Pro v2获SOTA,幻觉率从23.4%降至8.3%。作者重点测试了视觉方向:3D建模能力已可与GPT-6 Astra正面竞争,包括网页3D果冻、高精度机械键盘、根据户型图与装修图生成Three.js第一视角漫游网站、结合平面图与手持视频还原办公室3D模型。视频动效方面提升巨大,可一轮直出动效作品集、宣传片及科普视频,虽距Opus 5.5仍有差距,但已属国产模型巅峰水平。
作者在 MiniMax M3.1 Flash 还以匿名模型 Space Bunny 身份活跃时,用自己维护的 300 题封闭测试集(HumanEval+/MBPP+ 代码题与 MMLU-Pro 推理题)进行了评测,匿名期得 240 分。正式版发布后用同一套题复测得 246 分,两版表现几乎一致,主要提升在代码题。代码能力与 DeepSeek V4.1 Flash-1017 基本打平;官方数据显示其在企业流程自动化和操作电脑两项为国产第一,且成本显著低于 Claude Opus 5。短板是困难推理。整套 300 题成本仅一元出头,性价比突出。
作者拆解了 B 站爆款账号「Claude大小姐在运营」(三天破百万播放)的成功要素:AI 为主角的好奇心选题、B 站现成梗文化、评论区驱动下一期内容、公开账本养成感与信息差。作者用 Claude Code 花一小时、成本两元复刻出像素风视频,并将整套方法(skill 加出片引擎)按 MIT 协议开源。随后他连开三个细分内容号:Claude 与 DeepSeek 双人营业号(中英双语)、鸣潮二创日记号、AI 像素擂台(10 个模型同场比赛),并分享了选题调研方法论:追踪同类爆款数据、判断赛道拥挤程度、寻找未被挤满但持续出爆款的内容形式。
作者用一道难题对比测试开源 5B 图像模型 MOSS-Image 与闭源最强的 GPT Image 2.5:在一张水墨长卷中画出李白临江举杯场景,写出《将进酒》全文12行书法,配标题、作者、朱印和英文,并精确控制酒杯数量。第一轮两者都通过,但第二轮仅改两处细节后,GPT Image 2.5 数错酒杯,MOSS-Image 两轮全部正确。文章分析了小模型在中英文渲染、长提示词理解(支持4K tokens)和风格控制上的优势,并分享了结构化布局、负面约束等复杂提示词技巧,附完整提示词。MOSS-Image 已开源权重和代码,支持 LoRA 微调,ComfyUI 下载量突破70万。
DeepSeek 于 10 月 17 日发布 V4.1-Flash-1017 版本,AI 编程跑分显著提升,DeepSWE 达 77.0 超越 Claude Opus 5,任务平均费用降至原来的三分之一。作者使用 DeepSeek Harness 实测四个项目:3D 城市生成器对比显示新版的重庆、西安等地标建筑辨识度大幅提升,耗时从 102 分钟降至 61 分钟;许愿式编程能快速产出 3D 地铁跑酷游戏和天坛祈年殿建模;基于新开放的 Search/Fetch 接口开发的 AI 搜索引擎完成度很高。总花费仅 12.81 元,性价比突出,是一次实打实的帕累托改进。