Multimodal RAG with the Gemini API File Search Tool: A Developer Guide
本文介绍了 Gemini API 中的 File Search 工具,该工具现已通过 Gemini Embedding 2 支持多模态检索。文章详细讲解了如何创建存储、上传图文文档、执行具备依据生成的查询以及检索引用和图像。File Search 提供了全托管的 RAG 解决方案,具备原生图像搜索、内置引用和成本效益高等优势。
本文介绍了 Gemini API 中的 File Search 工具,该工具现已通过 Gemini Embedding 2 支持多模态检索。文章详细讲解了如何创建存储、上传图文文档、执行具备依据生成的查询以及检索引用和图像。File Search 提供了全托管的 RAG 解决方案,具备原生图像搜索、内置引用和成本效益高等优势。
文章非常详尽地介绍了最新Gemini API多模态RAG功能的使用方法,提供了大量可直接落地的代码示例,时效性极强,但缺乏对底层实现细节的深入剖析。
文章指出仅掌握基础的'chat with PDF'式 RAG 流水线(分块、嵌入、向量检索、LLM)不足以构建真实生产系统,并推荐 10 个进阶项目:混合检索(BM25+向量)、元数据过滤、重排序、上下文分块、SQL+向量混合、知识图谱+向量、纠错式 RAG、自感知 RAG、多模态等。每个项目均说明要解决的问题、系统架构、技术栈(Python、pgvector、LangGraph、Neo4j 等)及学习要点,帮助开发者从语义相似度走向关键词匹配、结构化过滤、关系推理与检索质量反馈等生产级能力。
作者以美妆企业 FDE 落地项目为例,讲解如何将小红书、抖音、视频号、微博等平台采集的多模态数据(文字、图片、音频、视频)清洗成一套可信、可查询的结构化数据。文章提出八步通用链路:定数据规范、保留原始内容、梳理用户/帖子/评论关系、多模态归一处理、冲突与质量清洗(含证据分级)、生成结构化数据、执行验收、按规则和版本入库。文中还给出 OCR/ASR 工具选型建议(FFmpeg、PaddleOCR、Whisper 等)以及大模型结构化输出的实践经验。
本文介绍 Kimi 推出的 3D Make 功能,用户只需一句话描述即可生成可查看、可编辑的 3D 模型。文章通过三个实战案例(喷气发动机剖面拆解、雨林中庭、哥特式大教堂)演示完整的提示词写法:如何描述物体、关键部件、外观风格与视角;如何通过后续对话逐步细化,如拆分发动机各阶段、增加植物层次、渲染彩色玻璃光线。文章还给出了通用的修改提示模板,强调每次只提出一个具体改动并旋转检查效果。该功能已在 kimi.ai 和 Kimi 应用上线,支持在线预览与编辑模型。
Google AI 联合 Earth Fire Alliance 和 Muon Space 推出 FireSat 卫星星座,利用 AI 从太空探测早期野火。系统通过专为火灾检测优化的定制相机,并在受控燃烧上空训练 AI 模型,建立真实火灾的可靠基线。该星座可发现小至 5x5 米(约一辆车大小)的火灾,弥补传统卫星图像易混淆(云层、烟囱、烧烤架)且时效滞后(最长11小时)的缺陷。首批卫星已在轨运行,预计到2030年将有约50颗卫星,每20分钟对地球表面完成一次完整拍摄,帮助消防人员更早发现并控制火情,保障社区安全。
本文是 Agent 高频面试题详解系列第 4 题,系统讲解 Agent 效果评测体系。文章基于 64 场面试面经分析,归纳出评测追问的八个方向,并结合 Anthropic、OpenAI 等实践经验展开:先明确评什么(Agent 评测难在结果在环境状态中、路径不唯一、结果不确定);评测集怎么建(题目来自真实失败、业务方、合成数据,注意分层、防泄露与防过拟合);谁来打分(代码判分、模型判分、人工判分三种方式的取舍,LLM-as-a-Judge 的位置偏差、冗长偏差等已知问题及校准方法);以及如何通过基线对比、多次运行排除随机性,证明改进真实有效。文章强调评的是 Harness 和模型的整体,判结果而非规定路径。
作者以制造业企业 AI 知识库项目为例,复盘了从 demo 到真正落地的完整链路。文章指出 demo 成功不等于企业可用,需要经历真实问题验证、资料核对、查询设计、业务验收、人工接管、知识更新和持续运营八步。核心观点包括:签约前用真实问题测试真实资料、区分单项查询与完整筛选需求、源头纠错修正原始资料、验收关注实际等待时间、设计人工接管路径、沉淀人工答案、明确知识运营负责人,以及报价时把建设、维护和知识更新分开核算。
MemOS 团队发布全球首个“记忆原生”大模型 MemT-1.0,将记忆能力直接训练进模型权重,取代 RAG、Mem0 等外挂记忆方案。其思路是不改底座、参数冻结,仅在部分层并联约 1.05 亿参数的记忆块,通过蒸馏训练让模型自学“什么该记、什么该忘、怎么取用”,优化目标从检索命中率改为任务答对率。交付物包括通用模型权重(会记笔记的大脑)和用户专属记忆状态文件(仅 40 MiB 的笔记本)。数据显示其 40 MiB 记忆答题成功率 69.73%,略高于全量上下文的 69.13%,存储缩小 66 倍、首字响应快 4.19 倍。已在 Hugging Face 和 GitHub 开源,被视为开启模型“在使用中变强”的第四条技术路线。