2026 年 9 月 1 日，Google DeepMind 发布 Gemini 智能体视频理解功能。与按固定帧率读取整段视频不同，新方式会先理解问题，再动态决定查看哪些时间段、采用何种速度，以及调用画面、音频还是转录文本。官方称，在其测试条件下，视频分析的 Token 消耗最多减少 88%，成本最多降低 66%，准确率最多提升 7%。这些数字均为“最高”口径，尚不能直接等同于所有业务场景的稳定收益。Google DeepMind 官方发布说明 [交叉核验资料] citeturn1view13turn1view2
按需选帧改变的不是帧率，而是决策方式
传统方案通常以固定 FPS 均匀抽帧。提高帧率能够增加时间覆盖密度，却会让视觉 Token、推理延迟和费用随视频长度快速增长；降低帧率虽然便宜，却可能漏掉按钮闪烁、画面切换、快速动作或短暂异常。智能体方案试图把“事先确定统一帧率”改成“围绕问题逐步寻找证据”：先用转录、音频或低密度画面定位候选区间，再对可疑片段提高采样密度，必要时反复查看。Google 官方将其概括为由模型决定看什么、以什么速度看、通过哪种模态看。[1] [2] citeturn1view13turn1view6
这意味着系统优化目标不能只是“选出相关度最高的若干帧”。如果全部预算都集中在一个高相关片段，得到的可能是多张近似画面，远处的补充证据反而被遗漏。更稳妥的目标应同时考虑问题相关性、时间覆盖度、画面差异性和证据不确定性，让检索既能聚焦，也保留发现反例和上下文的机会。
准确率、成本与遗漏风险应分层控制
第一层：用任务类型分配基础预算
摘要、过程复盘和因果分析需要较广的时间覆盖；寻找某句发言或某张页面，可以优先依赖转录与时间戳；动作计数、异常检测和精确剪辑则需要在候选窗口提高 FPS。开发者不宜给所有问题配置同一 Token 上限，而应先判断问题是全局型、检索型还是瞬时事件型，再确定粗扫范围和局部重采样预算。
第二层：保留探索预算，防止只看“最像答案”的片段
相关性检索容易形成确认偏差。系统一旦在早期找到疑似答案，后续工具调用可能持续围绕同一区间展开。因此，可将帧预算划分为“利用”和“探索”两部分：大部分用于检查高相关窗口，小部分用于覆盖视频开头、结尾、场景边界及尚未观察的时间段。对于内容审核、事故复盘等高遗漏代价任务，探索比例应高于普通问答。
第三层：建立证据停止条件，而不是 Token 用完即回答
合格的停止条件至少应包括：关键结论是否有可定位时间戳，画面与音频或转录是否相互支持，是否存在尚未检查的高不确定区间，以及不同采样轮次能否得到一致判断。如果只获得单帧证据，系统应查看前后相邻片段；若画面与转录冲突，则应扩大窗口或转人工复核。这样可以避免智能体为了节省 Token，在证据不足时过早结束搜索。
用可观测指标替代单一准确率
- Token 效率：分别记录粗扫、局部重采样和最终推理的消耗，避免平均值掩盖少量高成本请求。
- 证据召回：测试关键事件是否进入已查看时间窗，而不只是最终答案是否碰巧正确。
- 时间定位误差：核对返回时间戳与真实事件之间的偏差，尤其关注亚秒级动作和切换。
- 冗余率：检查入选帧是否高度近似，防止有限预算被连续重复画面占满。
- 弃权率：证据不足时允许输出无法确认，并触发扩大搜索或人工复核。
Google 在 2026 年 9 月 1 日的说明中列出的重点用途包括亚秒级时刻检索、长视频“大海捞针”问答、异常检测以及动作与物体计数。这些任务的失败成本差异很大，因此官方所称“准确率最多提升 7%”只能作为产品信息，不能替代企业在自有视频、问题分布和错误代价上的独立评测。[官方能力与基准口径] [公开资料核验与边界分析] citeturn1view13turn1view6
论坛与内容平台还需增加合规护栏
围绕《互联网信息服务管理办法》相关禁止性要求及“七条底线”开展视频理解时，按需选帧不能成为降低审核完整性的理由。涉及违法有害信息识别、侵权投诉、未成年人保护或公共安全的任务，应提高覆盖预算、保存时间戳和证据片段，并设置人工复核。系统输出还应遵守法律法规、社会主义制度、国家利益、公民合法权益、社会公共秩序、道德风尚和信息真实性等基本要求，避免把模型推断包装成已经核实的事实。
节省 Token 是工程收益，保住关键证据才是可信视频理解的底线。若系统无法说明看过哪些时间段、依据什么作答以及跳过了什么，就不应把低成本直接等同于高可靠。
总结
智能体视频理解把长视频处理从固定抽帧推进到问题驱动的主动取证，但准确率、Token 成本与证据遗漏并不存在适用于所有任务的统一最优点。可落地的方案应采用任务分级、粗细两阶段采样、探索预算、证据停止条件和失败升级机制，并通过证据召回率、时间定位误差及冗余率进行持续评估。对于高风险场景，宁可增加采样和人工复核，也不要让模型在没有充分证据时给出确定结论。
事件或资料日期：Google DeepMind 官方资料发布于 2026 年 9 月 1 日；中文交叉核验资料发布于 2026 年 9 月 1 日及 2026 年 9 月 2 日。
资料来源：Google DeepMind 官方发布；DataHub 公开资料；AI 早报核验分析。citeturn1view13turn1view2turn1view6
