Wiki 知识库

全部文档 / 标签: 多模态

75 篇
清除

GLM-5.3-Flash 发布:多模态大模型,开始真正“看着自己干活”了

文章介绍了智谱 GLM-5.3-Flash 模型的发布。该模型总参数量 320B、激活 18B,采用稀疏与线性注意力混合架构,注意力计算量降低 3 倍,支持 1M 上下文。作为 GLM-5 系列首个原生多模态模型,其最大亮点是视觉能力被直接纳入 Coding 循环,模型可观察网页截图、渲染结果和交互反馈,自主发现并修正问题,实现“生成—检查—迭代—交付”的完整闭环。文章还展示了其在游戏开发、3D 建模、办公文档和法律金融场景的应用,并给出 API 使用细节,认为大模型竞争正从回答质量转向完整工作的交付质量。

技术 › LLM Smartpig 2026-08-276.8 KB 6.5K 11 77

V4Flash 的价格、Opus4.8 的能力:智谱 GLM-5.3 Flash(Ox Alpha)正式开源

匿名模型 Ox Alpha 揭晓为智谱 GLM-5.3 Flash,320B 参数、MIT 开源、原生多模态、1M 上下文,限时价格仅为 Opus 4.8 的 1/40。作者通过三个前端场景实测:仅凭一张图用 Three.js 复刻玻璃折射海报、看录屏视频还原 60 片玻璃螺旋彩带交互网站、将静态体素海报改造为滚动揭示的 3D 网页,均表现出顶级多模态理解与代码能力,远超同价位的 DeepSeek V4 Flash,接近 Fable 5 但便宜约百倍。作者认为其把'便宜又够用'的行业斩杀线大幅推进,让预算有限的创作者也能用上前沿智能。

技术 › LLM 歸藏(guizang.ai) 2026-08-2712.0 KB 113.6K 72 77

DeepSeek 视觉模型实测:免费识图能力 + 8 大场景体验

DeepSeek 发布实验性视觉模型 DeepSeek-V4-Flash-Vision-Exp,在 V4 Flash 基础上增加识图能力且价格不变。作者通过 DeepSeek Harness 接入该模型,完成了 OCR 识别、人物识别、iPhone 机型辨别、找不同、图片转 ASCII、报错修复、前端页面复刻、数据报表逻辑分析共 8 项测试。结果显示其 OCR 和找不同表现优秀,但人物识别、机型辨别和页面复刻存在明显失误。整体可用且性价比极高,一张图约 0.12 分钱,八轮测试仅花约 6 元,而同等测试用 Opus 5 需约 8 美元。这是 DeepSeek 迈向原生多模态的重要一步。

技术 › LLM 程序员鱼皮 2026-08-2512.6 KB 11.7K 25 73

全球首款原生全模态交互式世界模型 HiDream-O1-World 发布

智象未来发布 HiDream-O1-World,定位为全球首款原生全模态交互式世界模型。它提供漫游、编辑和交互三类核心能力,用户可自由探索视角、通过文字语音实时改变场景与角色行为。技术上依托 3D 先验注入 Memory 上下文与 TTT 机制解决时空一致性与物理一致性,其 DreamWorld 论文被 ECCV 2026 录用。该模型在 WBench 榜单综合得分 80.9 位列第一,未来可应用于互动影游、具身智能仿真等方向,标志着 AI 从生成画面走向生成世界。

技术 › LLM 苍何 2026-08-2514.5 KB 9K 18 65

2026 Agent Eval 全景图:从'会做'到'值得部署'

本文系统梳理了2026年Agent评估领域的全景图,指出Agent Eval正从'任务能否完成'转向'结果是否有效、过程是否可靠、系统是否值得部署'。文章从通用Agent、软件工程、GUI与SaaS、工具与事务、知识工作(Deep Research、数据分析、预测)、多模态内容生产、科研优化、组件与记忆、多Agent系统等赛道,介绍了代表benchmark及其演进,并强调了可靠性、成本、轨迹审计与证据包成为评估的新基本单位。

技术 › Agent Cloris 2026-08-2221.9 KB 5.6K 56 77

Advancing Scientific Discovery with DeepEarth: 用突破机器实现25倍能力提升

文章提出'科学突破机器'概念:无需先实现AGI,通过范围受限的自我改进循环(sub-RSI loop)即可在特定问题上模拟ASI效果。作者团队将其应用于DeepEarth——一个多模态时空世界模型,用于全球环境智能。系统通过共享记忆、快速筛选实验预算、基于不变量的验证与计分卡机制,让智能体集群自主进行假设、实验与迭代。最终将模型调和均值从0.016提升至0.407,实现约25倍的能力提升,并发现单一编码器的改进未必带来融合能力的提升,环境信号(如AlphaEarth卫星嵌入)是最大杠杆。

技术 › Agent Sai Vegasena 2026-08-1911.3 KB 279.3K 42 72

源神归位!实测Qwen3.8-27B,效果有点夯!【附模型本地部署、对接桌面Agent教程】

本文实测了最新开源的Qwen3.8-27B模型,该模型基于Qwen3.5架构训练,量化后可在24G消费级显卡上运行,性能媲美Qwen3.7-Plus。作者详细介绍了通过Unsloth在Mac和4090上的本地部署流程,并演示了接入桌面Agent后的工具调用、Skill使用、发票整理、图片翻译、PPT生成等场景。实测表明,该模型在复杂办公、长文档和多轮Agent任务中表现出色,是本地部署的极佳选择。

技术 › LLM 刘聪NLP 2026-08-166.7 KB 38.8K 116 72

DeepSeek 不能生图/生视频的解决思路

针对文本模型无法直接生成多媒体内容的问题,本文提出了一种分层解决方案:利用 DeepSeek 生成结构化的画面描述,通过接入第三方聚合 API 处理图像和视频生成,最后交由 Agent 工作台串联完整流程。文章详细演示了如何调试接口并将验证成功的流程封装为可复用的 Skill,从而极大提升后续多模态内容生成的效率。

技术 › Agent AFei Liang 2026-08-106.2 KB 3.5K 17 81

MiniMax H3 官方 Skills 上手指南

MiniMax H3 开源系统通过封装9个开箱即用的官方技能,将专业视频制作流程产品化。核心技能h3-prompt-writing负责将多模态需求转化为标准提示词,另外8个风格技能则覆盖极简广告、3D动画、定格科普等特定场景,拆解了导演级的工作流。实测表明,技能能大幅降低提示词编写门槛,且推荐使用云端部署,单条视频成本仅约0.6元。

技术 › Skill 知识猫AI实验室 2026-08-1013.1 KB 53.2K 196 91

免费给你的 DeepSeek-V4-Flash 加上图片识别能力

作者开发了名为ModLens的工具,以“能力包”形式免费为DeepSeek等纯文本大模型增加图片识别能力。该工具接入简单,支持配置多个免费视觉引擎(如Gemini等)实现自动故障转移。实测表明,它能精准读取截图、照片及密集图表,并诚实反馈无法确认的信息。该工具仅需安装在本地AI Agents中即可大幅扩展纯文本模型的实用性。

技术 › Skill liustack 2026-08-084.9 KB 1.9K 11 82

Seedance 2.5深度解析:从短视频爆款到电影感与具身智能的未来

文章深度解析了AI视频模型Seedance 2.5的核心升级。相比2.0追求短视频爆款的自主发挥,2.5将目标对齐电影工业标准,具备极强的指令遵循能力,支持原生30秒视频输出及海量参考素材。通过提升画面美术质感、物理空间稳定性和声音细节,2.5实现了真正的“电影感”。此外,该模型不仅能颠覆影视预演工作流,更能为具身智能提供低成本训练数据。作者指出,随着技术普及,审美判断力、资产构建能力和优秀的故事内核将成为未来最稀缺的能力。

技术 › Agent 数字生命卡兹克 2026-08-0720.0 KB 32.2K 113 81

Cherry Studio 2.0 发布:一次“边开飞机边换发动机”的底层重构

Cherry Studio 2.0 正式发布,此次更新不仅是 UI 的调整,更是底层架构的重大重构。文章详细阐述了产品从聊天客户端向 AI 工作平台和 Agent 平台的演进,包括引入数据库存储、优化 Windows 兼容性、整合多模态能力以及构建 Code Mate 编码搭档,旨在让 Agent 更简单、可靠地进入日常工作流。

技术 › Agent Yinsen 2026-08-059.3 KB 23.2K 83

为 DeepSeek-v4-flash 增加视觉和联网搜索能力的 Skill

作者分享了为 deepseek-v4-flash 开发的两个 skill:一个增加免费视觉能力,另一个通过 antigravity cli 借道 google 实现联网搜索和网页解析。尽管 deepseek-v4-flash 官方已支持搜索,但作者认为其效果不如 google,并提供了禁用官方搜索的方法。源码已开源。

技术 › Skill liustack 2026-08-023.0 KB

MiniMax H3: 打破任务与模态界限的开源多模态生成模型

MiniMax 发布通用多模态生成模型 H3,支持文本、图像、视频和音频的统一理解与生成。H3 可生成原生立体声的 2K 分辨率视频,具备优异的指令遵循和精准编辑能力,并计划近期开源模型权重,旨在打破任务边界,降低成本,加速商业化内容创作。

技术 › LLM MiniMax 2026-07-3111.6 KB 469.2K 2.5K

What Comes After the Prompt

文章探讨了超越传统提示词的多模态交互技术,提出“任务”概念,通过结合语音、屏幕、文本等多种信息源,让代理更高效地完成复杂工作。该方法减少交互循环,提升并行工作能力,并通过存储执行痕迹逐步转化为可重用的技能,为未来全模型交互奠定基础。

技术 › Agent elvis 2026-07-237.6 KB 27.4K 67

腾讯设计Agent Miora全面上线,打造设计界的WorkBuddy

腾讯正式推出设计Agent平台Miora,由WorkBuddy团队打造。该平台支持品牌设计、UI设计等五大场景,具备模型切换、技能市场和项目记忆功能。作者实测了品牌VI全案生成,展示了其在设计工作流中的潜力,标志着设计Agent进入白热化竞争阶段。

技术 › Agent 数字生命卡兹克 2026-07-2214.9 KB 61.7K 256

聊聊我对 Kimi K3 的体感

作者分享了使用 Kimi K3 模型的实际体验,通过 3D 坦克大战游戏、权力游戏地图动画和教学视频制作三个案例,展示了其在多模态和复杂任务处理上的强大能力。文章指出 K3 提供了 Claude 和 Codex 之外的优质选择,且具备合规性优势,但同时也面临算力短缺的局限。

技术 › LLM Wang Shuyi 2026-07-2112.9 KB 13.4K 11

网页爬虫迎来重大升级:PixelRAG 实现基于视觉的网页检索

PixelRAG 是一种开源的视觉化网页检索技术,通过直接截图并使用视觉模型分析像素,而非依赖 HTML 解析,从而避免信息丢失。它构建了 3000 万维基百科截图的视觉索引,在问答任务上超越传统文本 RAG 基准 18.1%,并支持 Claude 代码插件。

技术 › LLM 半吊子程序猿大铭 2026-07-191.7 KB

跟 Opus 4.8 打的有来有回?!Kimi K3 首测

本文评测了全新上线的 Kimi K3 模型。作者选取了 3D 玻璃折射、WebGL Shader、视差滚动及家具网页动效四个高难度前端场景,与 Claude Opus 4.8 进行对比。结果显示,K3 在多模态理解和自检修正上表现优异,能以 Sonnet 级价格提供接近 Opus 的性能,整体表现惊艳。

技术 › LLM 歸藏 2026-07-1710.6 KB 157.8K 89

OpenAI 重大更新:终结对话时代,打造 AI 工程团队

文章详细解读了 OpenAI 的最新更新,包括 GPT-5.6 模型家族的发布、GPT-Live 全双工语音交互的引入,以及 ChatGPT Work 和 Codex 的深度整合。核心观点是 ChatGPT 正从单一的问答机器人进化为包含规划、多代理协作、代码执行和语音交互的“AI 工程工作台”。文章还针对 Codex 用户提供了模型选择建议。

技术 › OpenAI Rachel 2026-07-135.9 KB 30.2K 51

Codex 终极使用教程:接入 Kimi 与 Skill 自动化指南

本文是一份针对小白的 Codex 终极使用教程。文章首先指出了 Codex 在多模态和办公场景(如生成 PPT)相较于 DeepSeek V4 的优势,详细介绍了如何通过 CC Switch 工具将性价比高且原生支持多模态的 Kimi 模型接入 Codex。此外,作者还分享了通过 Skill 功能将工作流程固化并设置定时任务的实战案例,旨在帮助用户将重复性工作自动化,极大提升职场效率。

技术 › Codex 小盖 2026-07-0312.9 KB 99.2K 761

魔搭每天 2000 次免费 API,我把它接进了 Agent 工作流

文章介绍了如何利用阿里云魔搭 ModelScope 每日 2000 次的免费 API 额度,将其接入 Agent 工作流以降低 AI 创作成本。作者详细讲解了账号注册、API Key 获取、模型筛选与调用的全过程,并开源了一个名为 `tiezhu-modelscope-api-inference` 的 Skill,实现了自动额度管理和多模态任务处理。

技术 › Agent 铁柱AGI 2026-06-2914.3 KB 3.3K 16

四模态喂料工作流:从抽卡到稳定出片

文章指出提示词时代正在退场,掌握“喂料能力”才是 AI 视频创作的关键。作者以 Seedance 2.0 为例,详细介绍了四模态(图、视频、音频、文本)的混合喂料方法,阐述了如何通过分别控制长相、运镜、情绪和剧情来提高出片稳定性。此外,文章推荐了 Edimakor 工具来实现从素材生成到后期缝合的工业化工作流。

技术 › 工具与效率 波妞PONYO 2026-06-115.0 KB 3K 59

你的 X Premium+ 订阅赚翻了:Grok Build 安装与实战全攻略

xAI 发布 Grok Build 并向 X Premium+ 用户开放。这款终端 AI 编程工具是 Claude Code 的竞品,支持 Windows/Mac/Linux 安装。文章介绍了安装方法及使用案例,包括生成图片、视频、浏览推文和生成网页,特别强调了其独特的视频生成能力。

技术 › LLM 柴郡|Crypto+AI Plus 2026-05-304.8 KB 17.5K 20 57