跳转至

Read this paper write-up in English

Video-RSI:通过 harness 演化递归改进视频 Agent

复现级别:L1 接纳规则。 实现准确率—视觉成本双目标的 Pareto 接纳;未在视频 benchmark 上自动改写并执行完整 harness。

论文信息

字段 内容
论文链接 Video-RSI
公司 / 机构 清华大学(第一作者署名单位)
首次公开日期 2026-09-29(arXiv v1)
原作者代码 是:bingjunluo/Video-RSI
本地 adapter / 方法 video-rsi
本地复现代码 src/auto_research/agent_research/latest_20260930.py

原始论文总结

背景与主要改动

视频 Agent 的执行 trace 只包含当前 harness 选择观察的证据,因此失败解释可能无法区分。Video-RSI 让模型回访原训练视频、主动收集额外观察,形成可检验诊断并改写 harness;候选只有在准确率提高且成本不恶化,或成本下降且准确率不恶化时才保留。

flowchart LR
  H[当前 harness] --> E[执行视频任务]
  E --> D[失败诊断]
  D --> I[主动回访视频]
  I --> R[提出 harness 修订]
  R --> V[准确率/视觉成本评估]
  V -->|Pareto 接纳| H

原论文关键图

Video-RSI 从回答到 harness 改进

原论文 Figure 1:直接回答、固定视频 Agent 与递归 harness 改进的区别。图片来自原论文,版权归原作者所有。

核心公式

本地接纳规则为 \(a'\ge a-\epsilon_a\) 且 \(c'\le c+\epsilon_c\),并要求至少一项严格改善;这保留论文 accuracy/cost 双门槛,拒绝用单一加权分数掩盖明显退化。

论文离线与线上效果

论文报告在视频理解 benchmark 上同时提高准确率、减少处理帧数。本站只报告接纳逻辑三种子诊断 metrics/mechanism-seeds42-44.json,不声称完成端到端视频复现。

本地复现与边界

未把训练视频私有答案或 example-level score 暴露给候选 harness;当前不含真实视频解码、代码改写 sandbox 和跨代停止条件,因而暂不登记为 Evolve 可执行 operator。