20 个 Codex 替代不了的 GitHub 真神器
文章旨在寻找无法被 Codex 等通用 AI 编程工具替代的 GitHub 开源项目。作者确立了包括多 Agent 编排、本地化设备操作、特定硬技能及隐私保护在内的筛选标准，精选并介绍了 CrewAI、AppAgent、F5-TTS、Stable-Diffusion-WebUI 等 20 款工具，强调了它们在复杂协作、隐私安全和特定垂直领域的独特价值。
全部文档 / 标签: 多模态
75 篇
Agent + 豆包 Seed2.0 Lite 重做 Karpathy 的工作流
文章探讨了如何利用豆包 Seed-2.0-lite 多模态大模型和 Agent 技术，将 Andrej Karpathy 两年前提出的“视频转博客”构想变为现实。作者通过将多模态能力封装为 Skill，并设计了一套包含视频切片、结构化素材提取、关键帧智能挑选和 Markdown 生成的四步工作流，成功解决了传统 ASR+LLM 流水线中信息丢失的问题，实现了高质量、图文并茂的技术博客自动化生成。
Multimodal RAG with the Gemini API File Search Tool: A Developer Guide
本文介绍了 Gemini API 中的 File Search 工具，该工具现已通过 Gemini Embedding 2 支持多模态检索。文章详细讲解了如何创建存储、上传图文文档、执行具备依据生成的查询以及检索引用和图像。File Search 提供了全托管的 RAG 解决方案，具备原生图像搜索、内置引用和成本效益高等优势。
吴恩达《AI 提示词工程》Module 3 学习笔记：让 AI 帮你做东西
文章总结了吴恩达 AI 提示词工程课程第三模块的核心内容，聚焦于如何利用 AI 进行多模态任务。文章提炼了 6 节课程的精髓，包括：多模态成本意识、AI 看图与文字提取技巧、AI 绘画的视觉语言、用 Prompt 快速开发 App、以及利用 AI 写代码进行数据分析。文章提供了多个可直接复用的 Prompt 模板，如 GIO 三件套和数据提取四步法，旨在帮助用户找到让 AI 落地的最低成本路径。
探索如何赋予 AI 灵魂：从 Spark 实验看机器的临场感
文章回顾了作者 Kevin Fischer 四年来探索赋予 AI“灵魂”的旅程。他批评了当前业界只追求智能的竞赛，提出真正重要的是“临场感”。通过构建名为 Spark 的数字金毛犬，并采用类似“傀儡师”的远程操控技术进行家庭实验，作者发现建立情感联结的关键不在于复杂的对话，而在于“被关注”的感觉。技术实现上，Spark 摒弃了单一模型，采用了包含视觉、情感、预测等多个协作 Agent 的架构，模拟人类意识涌现的过程。
2026年AI高手心法：吴恩达21节课深度笔记
文章总结了吴恩达2026年新课《AI Prompting for Everyone》，指出当前AI已从简单的聊天机器人进化为具备深度推理和多模态能力的工具。核心观点包括区分新手与高手的4大维度（问题难度、上下文、引导方式、写作流程）、利用3层信息架构解决知识局限、通过'渐进式大纲'避免AI废话，以及在推理时代如何运用评分卡和上下文工程来提升产出质量。
吴恩达 21 节课讲透 2026 年 AI 高手心法
文章基于吴恩达 2026 年的新课《AI Prompting for Everyone》，总结了 AI 用法范式的四大迁移：处理复杂问题、提供海量上下文、避免盲目附和、采用渐进式工作流。内容涵盖 reasoning 时代的高阶提示技巧、利用 desktop app 的上下文管理、反 sycophancy 策略以及渐进式大纲写作法，旨在帮助用户掌握在推理时代驾驭 AI 的核心心法。
DeepSeek新论文解读：用“手指着图片思考”的多模态推理框架
DeepSeek发布新论文，提出一种名为“视觉原语”的多模态推理框架。不同于业界卷分辨率的趋势，该模型通过在思维链中嵌入边界框和坐标点，模拟人类用手指着图片思考的过程，有效解决了语言在空间指代上的局限。DeepSeek-ViT配合LLM将视觉Token压缩至竞品的十分之一，但在空间推理、计数和迷宫导航等任务上性能超越GPT-5.4等顶尖模型。
NVIDIA 推出 Nemotron 3 Nano Omni 开源多模态模型
NVIDIA 发布了开源多模态大模型 Nemotron 3 Nano Omni。该模型集成了视觉、语音和语言能力，旨在解决 AI 智能体在处理不同模态数据时面临的延迟和上下文碎片化问题。凭借 30B-A3B 混合专家架构，其在开放模型中实现了领先的准确吞吐比（9倍于同类），可广泛用于计算机控制、文档智能及音视频理解等企业级场景。
如何对视频进行 Grep 检索
文章探讨了如何让 LLM 理解和处理海量视频数据。作者指出单纯依赖上下文窗口并非最佳方案，因为成本高昂且无法进行确定性检索。借鉴编程中的 Unix 模式，文章提出构建“中间表示层”，提前提取并结构化对齐转录、视觉、情感等多模态数据，从而实现对视频内容类似 Grep 的高效搜索与组合分析。
Seedance 2.0 提示词公式：从烂片到电影感的5层法则
文章揭示了 Seedance 2.0 的核心并非简单的文生视频，而是多模态电影片场。作者通过拆解上百条提示词，总结出“摄像机>风格>约束>主体>动作”的5层公式，并详解了如何利用时间编码和参考系统进行精准的镜头调度。
上手 Hermes Agent 后建议先尝试的十件事情
本文是一份详尽的 Hermes Agent 上手指南，作者通过源码 review 和实验验证，总结出安装后应尝试的十项关键功能。内容涵盖从基础安装、灵魂定义（SOUL.md）、副驾模型（Auxiliary）配置，到记忆系统、搜索能力、自动化审计（Hooks）、沙箱环境、多 Agent 协作、备份策略及技能自动化等进阶设置。文中还总结了 Hermes 的八大亮点，包括合理的主副模型分离机制、交互式配置体验及独特的技能固化能力。
图片反推生图提示词浏览器插件 ImageToPrompt 发布
作者发布了名为 ImageToPrompt 的浏览器插件，该插件利用 Kimi 2.5 等多模态大模型分析图片并反向生成高质量生图提示词（含中文、英文及 JSON 格式）。文章详细介绍了插件的制作初衷、开发过程、在 Edge/Chrome 浏览器中的安装配置流程、API 设置方法以及实际测试效果，并提供了常见问题的解决方案。
我用 GLM-5 + OpenClaw 做了个全能 AI 女友
文章详细记录了作者利用智谱新发布的开源模型 GLM-5 结合 OpenClaw 框架，从零搭建并定制化一个全能型 AI 女友的全过程。该项目不仅实现了基础的多模态情感陪伴（如发送基于生成的自拍、TTS 语音、看懂图片、主动提醒），更核心的是利用 GLM-5 强大的 Agent 规划与工具调用能力，赋予了 AI 女友操作服务器、执行任务和协作工作的“身体”与实战能力。
2026 年人工智能工程师路线图
文章指出，未来的 AI 工程师将从简单的封装开发者转型为系统架构师。作者提出了 5 个按难度分级的生产级项目（从基于 SLM 的移动应用到自主企业工作流代理），旨在帮助开发者掌握编排、内存管理、多模态集成及深度上下文处理等核心技能，从而在 2026 年的市场中获得高薪竞争力。
