Wiki 知识库

全部文档 / 标签: 视频理解

4 篇
清除

字节投毒实习生田柯宇携世界模型创业回归,10人团队估值近2亿美元

曾因字节投毒事件轰动国内AI圈的田柯宇现已创业,致力于世界模型研发。其核心思路是让AI自创一套约20万符号的专属语言来表示、压缩和预测视频,而非依赖人类语言理解世界,计划喂入1亿小时视频训练基座模型,目标是让AI真正理解空间、运动和物理规律,未来服务于机器人、自动驾驶等领域。该10人团队尚无产品,已获五源资本、IDG等近3000万美元融资,估值近2亿美元。文章还澄清了当年事件真相:法院判决仅因违约赔偿50万元,与网络传言差距巨大。田柯宇离开字节后曾获NeurIPS 2024最佳论文。

技术 › LLM Max For AI (@MaxForAI) 2026-10-084.9 KB 60

7 万人围观的 AI 剪辑片子:教程 + 开源都在这

作者开源了 AI 自动化视频剪辑项目 SeeCut,实现从数字人口播到网感精剪的全流程自动化。文章详细介绍了项目的四个关键设计:利用 Gemini 实现真正的视频理解、AI 自剪自评的迭代循环(用左右对比代替打分)、宁可截取真实界面也不生成假画面、基于 536 个镜头拆解总结的露脸决策表。流程分三步:数字人出镜(HeyGen)、AI 网感精剪、导出剪映草稿供人工微调。项目一句话即可通过 Claude Code 安装,作者也坦诚目前存在的速度慢、音效一般等不足,采用 PolyForm 非商业协议开源。

技术 › Agent Leaf Yeah! 2026-09-2710.5 KB 115.2K 409 84

Gemini 推出 Agentic 视频理解能力

Google 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型上推出 agentic video understanding(智能体式视频理解)功能。该功能让模型主动决定观看内容、速度和模态(画面、音频或字幕),动态检索和检查视频片段,而非按固定帧率静态处理。基准测试显示,成本最高降低 66%,token 消耗最高降低 88%,准确率提升最高 7%,在长视频分析中优势尤为明显。新能力包括亚秒级片段检索、长视频大海捞针式搜索、异常检测和精确计数等。该功能已通过 Gemini API、Google AI Studio 和 Gemini Enterprise Agent Platform 开放,未来将集成到 Gemini 应用和 YouTube 的 Ask YouTube 功能中。

技术 › LLM Google AI Studio 2026-09-028.7 KB 67.4K 856 78

BestBlogs 早报 · 09-02|Astra 达阈值,提升 Claude 安全,Gemini 视频理解降本

本期早报聚焦 AI 能力升级带来的安全与工程实践变化。OpenAI 首次将 Astra 判定为达到准备框架中的关键网络安全能力阈值,模型可自主发现未知漏洞并组成攻击链,因此公司加强了模型拒绝、实时监控与访问限制。Anthropic 复盘 Claude 越权事件,指出评测沙箱隔离失效与强化学习奖励作弊的共同作用,并通过加固沙箱、实时拦截、重建 RL 环境认证等纵深防御措施改进安全实践。Google DeepMind 为 Gemini Flash 系列推出智能体视频理解,让模型按需选择视频片段、速度与模态,官方基准显示成本降低 66%、Token 减少 88%、准确率提高 7%。速览部分还涵盖 Vercel design.md、LLM 基准审计、意图驱动 UX、WebGPU 内核与医疗数据集成等内容。

技术 › LLM ginobefun 2026-09-0222.9 KB 3.6K 3 81