Read this page in English

视觉世界建模：状态、生成与动作条件

多模态 / 96 个问题 · 24 篇论文

先看问题，想一想，再展开答案。这里持续积累本子主题各篇论文的问答，一篇论文也可以追加多个问题。

阅读本主题精读卡片：多篇论文对比、分析与问答

搜索问题

学习层次 全部 基础理解 核心机制 方法对比 实现细节

96 个问题 · 24 篇论文

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

GUI-JEPA为什么不需要逐token生成动作？

GUI-JEPA: Candidate-Conditioned JEPA Latents as a Fast Action Policy for Mobile GUI Agents

问答新增：2026-10-29 · Shanghai Jiao Tong University / Nanyang Technological University

展开答案与例子

答案：它先从可访问性树枚举候选，再让每个候选条件化画面latent，一次批量打分选动作。动作空间来自观测侧枚举，不是语言模型自由生成。因此速度取决于候选数，也依赖像素型Agent不一定拥有的a11y输入，不能直接比较所有GUI系统。

教学例子：页面已有三种可执行按钮动作，系统分别算三个分数后选最高者；这不同于先生成JSON文本，再解析其中坐标。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么候选的动作与ROI需要先经过残差predictor，而不是直接送结构打分头？

GUI-JEPA: Candidate-Conditioned JEPA Latents as a Fast Action Policy for Mobile GUI Agents

问答新增：2026-10-29 · Shanghai Jiao Tong University / Nanyang Technological University

展开答案与例子

答案：论文刻意让候选相关视觉信息通过条件化latent路径，避免打分头绕开JEPA predictor。动作与ROI影响query，三层Transformer产生残差latent，再做ROI与全局池化。它用决策损失训练，不自动意味着这个latent是准确的未来画面预测。

教学例子：两个都是click的按钮，ROI内容与坐标不同，应产生不同条件latent；若直接把原ROI接到额外捷径头，不能用该结果证明predictor有用。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

GUI-JEPA的latent打分，与“预测下一状态然后选最接近目标”有何区别？

GUI-JEPA: Candidate-Conditioned JEPA Latents as a Fast Action Policy for Mobile GUI Agents

问答新增：2026-10-29 · Shanghai Jiao Tong University / Nanyang Technological University

展开答案与例子

答案：它将latent作为通过listwise动作损失塑造的决策特征，而非把到目标的latent距离当作价值。论文随机初始化predictor也能匹配dynamics预训练版本，提示决策相关性和动力学预测不是一回事。不能从动作分数改善推导完整世界模型准确。

教学例子：点击确认可能使画面变化很小却完成任务，打开动画可能让视觉距离更接近某目标图但动作错误；决策分数不等于像素或latent相似度。

依据：背景与主要改动、核心公式、论文离线与线上效果；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

本地三层predictor和真实梯度通过验证，是否等于已经能操作Android？

GUI-JEPA: Candidate-Conditioned JEPA Latents as a Fast Action Policy for Mobile GUI Agents

问答新增：2026-10-29 · Shanghai Jiao Tong University / Nanyang Technological University

展开答案与例子

答案：不能。当前接口只读外部画面与condition latent，验证残差结构头、候选mask和加权listwise损失。编码器、a11y枚举、MiniLM ranker与执行环境都没有接入；正例仅给训练loss，不能传进forward让模型看答案。GPU张量验证不是AndroidControl成功率。

教学例子：给两个合法latent候选反向更新参数，只能证明梯度路径工作；真正打开应用还需要从截图生成latent、找到合法候选、执行并观察下一页面。

依据：本地复现、检查与负控、高成本完整实验；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

SWIM学到的是机器人策略，还是状态距离该看哪些坐标？

SWIM: Learning What Matters from Behaviors for JEPA World Models

问答新增：2026-10-30 · Boston University / Unity Technologies

展开答案与例子

答案：SWIM先从离线记录动作中学习连续状态坐标权重，再用它构造world-model几何监督。逆动力学预测记录动作只是学习权重的训练目标；实际部署仍由图像encoder、latent dynamics和CEM等规划器决定动作。本地仅实现门控目标与距离，不等于可执行机器人策略。

教学例子：状态含方块位置和背景灯颜色，行为数据可能让方块位置获得较高相对权重；这只改变“相距多远”的定义，并没有直接输出抓取轨迹。

依据：背景与主要改动、本地复现；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么当前状态不能一起gate，为什么还需要真实错配的discrimination？

SWIM: Learning What Matters from Behaviors for JEPA World Models

问答新增：2026-10-30 · Boston University / Unity Technologies

展开答案与例子

答案：当前状态提供动作发生的完整上下文，论文只门控未来位移；把两者都gate会改掉逆动力学输入定义。仅拟合正例时，模型可能忽略未来变化、只靠当前状态预测动作；cyclic错配让同一个当前状态和动作与错误未来对比，促使门控保留行为相关的位移信息。

教学例子：记录动作是向右，当前位置保持不变，正例未来向右；负例换成batch下一条未来再减当前位置。不能同时把当前状态也换掉，否则模型可能利用不同上下文区分正负。

依据：核心公式、检查与负控；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

把状态乘g还是sqrt(g)，以及之后再标准化，会得到同一个距离吗？

SWIM: Learning What Matters from Behaviors for JEPA World Models

问答新增：2026-10-30 · Boston University / Unity Technologies

展开答案与例子

答案：不会。要让平方距离中的每维系数是g，坐标必须乘sqrt(g)；乘g会得到g²。权重作用于已经标准化的状态，之后再逐坐标标准化会抵消缩放。整体gate尺度在Pearson相关中会抵消，且可被逆模型吸收，所以绝对gate值也不是唯一可识别的重要性刻度。

教学例子：一维差值2、gate0.25，目标距离为0.25×4=1；乘sqrt(g)=0.5再平方也是1，直接乘g再平方却是0.25。再除以缩放后的标准差会把0.5抵消。

依据：核心公式、本地复现；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

怎样防止组件测试把“L1让gate变小”误当作学到了行为，或把未来state泄露到规划？

SWIM: Learning What Matters from Behaviors for JEPA World Models

问答新增：2026-10-30 · Boston University / Unity Technologies

展开答案与例子

答案：先单独检查去掉L1后的行为项仍给gate梯度，再检查真实optimizer更新，而不只看参数有变化。第二阶段state距离停梯度，未来state只在离线训练构造位移，部署接口不能读取它。常量距离的Pearson没有定义，应拒绝，不能加任意epsilon后当成几何学习有效。

教学例子：若只算λsum(g)，gate当然会下降，即使记录动作全被忽略；因此本地另算λ=0的梯度。若所有frame pairs距离都为0，相关度分母为0，应报错而不是写成功率1。

依据：本地复现、检查与负控；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

Decision Transformer 为什么可能需要比“期望回报是多少”更丰富的未来条件？

DT-JEPA: Learning to Predict Future Representations for Decision-Making

问答新增：2026-10-27 · Southeast University

展开答案与例子

答案：不同轨迹可能获得相同总回报，却通向完全不同状态，单个 return-to-go 无法区分这些动力学。DT-JEPA 用从历史预测的未来表示分布作为条件，让动作选择获得更具体的未来信息。未来只是预测，不是部署时可读取的真实结果，仍要管理不确定性和训练信息隔离。

教学例子：教学例：两条路线奖励相同，一条到充电区、另一条到出口；相同回报数字未说明当前该往哪走，未来状态特征提供另一类条件。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么未来 latent 要由历史预测，而真实未来只交给训练期的目标编码器？

DT-JEPA: Learning to Predict Future Representations for Decision-Making

问答新增：2026-10-27 · Southeast University

展开答案与例子

答案：决策时真实未来尚未发生，直接用它作条件会造成泄漏。历史编码器预测未来分布，并通过重参数采样得到决策条件；EMA 目标只提供训练对齐信号。相同回报可能对应不同动力学，未来表征尝试补足单一 return-to-go 无法区分的信息。

教学例子：例如两条轨迹都得十分，但一条将撞到障碍、另一条可通行；预测未来状态比仅给“目标十分”更能区分后续选择。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

预测高斯分布与直接用一个确定未来向量，有何建模取舍？

DT-JEPA: Learning to Predict Future Representations for Decision-Making

问答新增：2026-10-27 · Southeast University

展开答案与例子

答案：高斯均值与方差允许表示不确定性，再经重参数采样调制 DT；确定向量只提供一个点条件。分布形式增加可训练的不确定性表达，但受对角高斯假设限制，不能因此声称可完整覆盖多峰未来，也不能把训练真实未来输入部署前向。

教学例子：例如两条路都可能成功时，方差可反映预测不确定；但两个相距很远的离散目标未必能被单一高斯精确表达。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

NLL、BC 与 critic 的归约能都改成通用 MSE.mean 吗？

DT-JEPA: Learning to Predict Future Representations for Decision-Making

问答新增：2026-10-27 · Southeast University

展开答案与例子

答案：不能。NLL 对 latent 维求和后批平均，BC 与 critic 对时间和动作维求和后批平均；归约改变会隐式改变损失相对权重。target 与 TD bootstrap 停止梯度，但 actor 的 Q 对动作梯度需保留，本地仅验证这些组件，不包含完整在线环境收集。

教学例子：例如动作维翻倍时，全元素均值会缩小单样本总贡献；若其他项仍按维求和，原有权重关系就发生变化。

依据：核心公式、本地复现、复现边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

统一建模不同动作格式时，为什么 token 数量不应直接代表动作的重要性？

UniAction: Unified Action Conditioning for World Models

问答新增：2026-10-27 · Stanford University

展开答案与例子

答案：不同动作可按不同粒度离散成 token，同一语义可能因编码更细而占更多位置。UniAction 区分元素身份与时空位置，并处理这种表示数量差异对联合注意力的影响。它约束的是编码粒度带来的偏置，新增真实动作仍可改变内容，不能把所有 token 增加都当成无意义复制。

教学例子：教学例：同一移动轨迹分成十段或二十段，语义重要性未必翻倍；但若新增一次真正的抓取动作，模型当然应感知到新信息。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么给 action logits 加 log(Nref/Na)，能抵消完全复制动作 Token 带来的注意力总权重变化？

UniAction: Unified Action Conditioning for World Models

问答新增：2026-10-27 · Stanford University

展开答案与例子

答案：同一联合 softmax 中，复制相同 key/value 且位置编码相同，会增加重复项的指数和，使 action 总权重仅因数量变大。数量对应的对数偏置抵消这种重复，同时保留 action 内相对 logits；加入不同内容或不同位置的动作仍可合理改变输出。

教学例子：例如把每个动作 token 连位置表示一起复制两份，未经校正动作会更占权重；校正后不应仅凭重复份数改变结果。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

联合 softmax 校正与把视频、动作分别 softmax 后相加有何不同？

UniAction: Unified Action Conditioning for World Models

问答新增：2026-10-27 · Stanford University

展开答案与例子

答案：联合 softmax 让两种信息在同一个归一化分母竞争，动作 logits 统一加 log(Nref/Na) 调节总量；分别归一化会各自总和为一，再相加形成另一种融合规则。两者即使动作内部排序相同，也不具有相同的跨模态权重。

教学例子：例如视频证据很强、动作证据弱时，联合归一化可使动作总权重较小；分别归一化仍强行分配一整份动作权重。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

复制不变性是否允许新增任意动作或改变位置编码？

UniAction: Unified Action Conditioning for World Models

问答新增：2026-10-27 · Stanford University

展开答案与例子

答案：不允许。精确不变性要求复制的 key、value 及位置表示完全相同；不同新动作或不同位置可改变输出。Na 按每个请求的有效动作计数，padding 不计且 softmax 权重为零；native 位置回调必须显式提供，本地诊断回调不冒充 Wan 原生位置机制。

教学例子：例如把同一动作复制到另一个时间点，位置表示变了就不再是完全复制，输出发生变化并不违反该不变性。

依据：核心公式、本地复现、复现边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

Inside-JEPA 为什么关注潜在状态能否表达“对象之间的关系”？

Inside-JEPA: From Prediction to Relational Grounding in Latent World Models

问答新增：2026-10-27 · Australian Institute for Machine Learning, Adelaide University

展开答案与例子

答案：世界模型可以预测向量变化，却未必把接触、相对位置等关系组织成可检查信息。Inside-JEPA 把实体与关系纳入状态，并研究动作监督如何塑造关系表示。可解释通道存在不等于语义已被学到，需要对照区分信号来源，不能用维度正确或预测 loss 低替代关系能力验证。

教学例子：教学例：两个物体外观不变，但从分离变成接触，这种关系变化可能决定下一动作；仅识别物体类别并不足以描述。

依据：背景与主要改动、核心公式与五臂；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么逆动态头的未来状态要来自可反传的 online 编码器，而非 EMA target？

Inside-JEPA: From Prediction to Relational Grounding in Latent World Models

问答新增：2026-10-27 · Australian Institute for Machine Learning, Adelaide University

展开答案与例子

答案：逆动态目标要把“哪些关系能解释动作”的信号传回表示层，若未来关系全停梯度，该侧就失去相应学习压力。JEPA 预测目标仍可使用稳定 EMA，但逆动态路径有不同梯度职责；还需通过只读实体、打乱动作等对照确认关系通道真正提供作用信息。

教学例子：例如模型需根据移动前后的“杯子在盒子左侧”关系恢复动作；未来关系分支可反传，才能学会保留这种变化。

依据：背景与主要改动、核心公式与五臂；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

INV-S、INV-R 与打乱标签控制分别用来区分什么信号？

Inside-JEPA: From Prediction to Relational Grounding in Latent World Models

问答新增：2026-10-27 · Australian Institute for Machine Learning, Adelaide University

展开答案与例子

答案：INV-S 让逆动态只读关系通道，INV-R 只读实体 latent，可检查动作监督是否直接塑造关系；打乱标签臂只打乱 inverse 目标，而预测器仍读真实动作。它们是监督来源控制，不能简单将任意辅助头增益都解释为关系 grounding。

教学例子：例如随机动作标签也能带来相似变化时，就需警惕收益来自一般正则而非正确动作与关系变化的对应。

依据：背景与主要改动、核心公式与五臂；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

四实体 K=8 的状态为什么是 256 维，而不是删对角后的 224 维？

Inside-JEPA: From Prediction to Relational Grounding in Latent World Models

问答新增：2026-10-27 · Australian Institute for Machine Learning, Adelaide University

展开答案与例子

答案：实体 latent 为 4×32，有序对槽为 4×4×8，合计 256；padding 和对角槽固定零但仍保留形状。JEPA 未来目标来自 EMA 并停止梯度，inverse 的未来状态必须来自可反传 online 编码器；将二者混用会切断定义性训练信号。

教学例子：例如把对角关系值设零不会删除那三十二个槽；若顺手移除它们，预测器输入维度与论文合同就不同。

依据：核心公式与五臂、本地复现与操作；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

ALPS 为什么希望一个视觉表示同时适合语言理解、状态预测和图像检查？

ALPS: Visual State Encoders for World Models

问答新增：2026-10-27 · University of California, Santa Cruz

展开答案与例子

答案：世界模型规划需要表示可预测，指令任务需要语言对齐，检查预测结果又需要能恢复可读图像，单一目标训练可能只满足一部分。ALPS 研究让同一组 patch token 兼顾这些接口。多接口可读性仍要各自验证，能重建像素不能自动证明可规划，语言对齐也不保证物理状态完整。

教学例子：教学例：机器人既要理解“把杯子移到右边”，又要预测位置并检查未来画面；若每种用途都需完全不同表示，接口会难以衔接。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

第二阶段为什么只监督教师裁剪 B 中落在学生裁剪 A 内的 patch？

ALPS: Visual State Encoders for World Models

问答新增：2026-10-27 · University of California, Santa Cruz

展开答案与例子

答案：学生只看得到 A，要求它逐点预测完全不在视野内的 B 区域会把不可见内容也当成确定监督。几何映射先找可对应位置，再预测固定教师的目标，外观增强则训练鲁棒表示；教师固定与学生初始化相同，不意味着训练中两者会一起更新。

教学例子：例如学生只看到图片左半边，教师裁剪横跨左右；应只监督二者重叠部分，而不能要求学生精确读出右侧从未见到的小字。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

固定 Stage1 教师与 EMA 教师在第二阶段各意味着什么？

ALPS: Visual State Encoders for World Models

问答新增：2026-10-27 · University of California, Santa Cruz

展开答案与例子

答案：ALPS 用 Stage1 模型作为学生初始化和固定教师，教师在第二阶段不随学生更新。EMA 教师则会按学生参数持续移动，目标分布不同；不能把常见 JEPA 的 EMA 习惯套进 ALPS。训练后丢弃跨视图预测器，部署保留学生 encoder 和语言接口。

教学例子：例如学生为增强鲁棒性发生变化时，固定教师仍提供同一干净裁剪目标；EMA 设置会让这些目标随训练一起漂移。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

跨裁剪损失为什么先按图平均有效 patch，再对 batch 平均？

ALPS: Visual State Encoders for World Models

问答新增：2026-10-27 · University of California, Santa Cruz

展开答案与例子

答案：每图重叠区域大小不同，先做图内均值可避免重叠更多的图自动占更大权重。有效性由 B 的 patch 中心是否落入 A 的半开区间决定；无重叠时损失安全贡献零，训练采样器另有最小有效数要求，不能把安全分母当完整采样策略。

教学例子：例如甲图重叠一百格、乙图十格，整体 token 平均会让甲权重十倍；逐图平均让两张图各贡献一个样本。

依据：核心公式、本地复现、验证与结果边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

AW-0 为什么试图把可组合程序、未来视觉和机器人动作放在一个模型里？

Agentic World Action Models

问答新增：2026-10-27 · UC Berkeley

展开答案与例子

答案：程序能表达可复用步骤，视频预测提供未来场景，连续动作负责真实控制，分别建模未必能把计划与物理后果联系好。AW-0 用三个专家联合生成这些对象，默认代码提供计划而非直接执行。实际效果还受视觉预测、动作质量和执行模式限制，本地仅完成资料审查。

教学例子：教学例：整理物品可有程序级“抓取再放置”，同时预测下一场景并生成控制；默认产生的代码不意味着系统会直接运行任意 Python。

依据：背景与主要改动；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

AW-0 为什么允许专家内部双向交互，却把专家之间限制为代码→视频→动作？

Agentic World Action Models

问答新增：2026-10-27 · UC Berkeley

展开答案与例子

答案：内部双向交互有利于同一模态组织完整表示，跨专家分块因果则保持计划、场景预测与动作的条件方向。代码不应提前读取后续视频或动作来伪装规划，动作却可利用代码与预测场景；完全互读会改变信息可用性及推理时的执行顺序。

教学例子：例如先生成“抓取杯子”的程序，视频专家据此预测场景，动作专家再产出控制；不能让程序先偷看真实未来动作。

依据：背景与主要改动；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

三专家各有投影、归一化与 FFN，与完全共用一套模态变换有什么区别？

Agentic World Action Models

问答新增：2026-10-27 · UC Berkeley

展开答案与例子

答案：独立变换给代码、视频和动作各自的表示处理路径，联合注意力再按规定边界交换信息；完全共享则对不同模态使用同一套参数映射。前者表达了模态分工，也增加参数与接口管理，不能据结构推断必然更好。原文是专家内部双向、专家之间分块因果的具体组合。

教学例子：教学例：离散程序 token 与连续动作可以各用自己的 FFN，但仍通过联合注意力衔接；这不等于三份模型完全隔绝或完全互读。

依据：背景与主要改动；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

连续 flow 目标与代码 masked diffusion 能使用同一噪声和监督 mask 吗？

Agentic World Action Models

问答新增：2026-10-27 · UC Berkeley

展开答案与例子

答案：不能。视频与动作采用连续加噪及速度回归，代码采用独立 Bernoulli mask，只监督被遮挡程序 token；动作噪声与代码 mask 也不由视频噪声统一决定。视频混合采样还需不同重要性权重并截断归一化，单个 flow loss 不能代表完整训练。

教学例子：例如视频噪声较低不意味着程序也只能遮少量 token；若三者共用一个随机 mask，就改变了论文规定的独立采样关系。

依据：本地收录与复现边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

同一图像的不同视图越相似，为什么还要防止所有图像都变成同一个表示？

LocaLeJEPA: Maximum Entropy Representations under Geometric Priors

问答新增：2026-10-27 · University of Pennsylvania

展开答案与例子

答案：跨视图一致让模型忽略增强噪声，但如果所有输入都输出常量，也能轻易达到一致。LocaLeJEPA 同时关心表示多样性，并考虑数据可能具有局部几何结构。两项需求分别是同对象稳定与不同对象可区分，不能把一致性 loss 低直接当成表示已学到有用信息。

教学例子：教学例：猫的两种裁剪应相近，但猫和汽车若也全部变成同一向量，检索和分类就没有可用差别，尽管跨视图误差很低。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么 LocaLeJEPA 不把所有簇都直接拉向同一个高斯分布？

LocaLeJEPA: Maximum Entropy Representations under Geometric Priors

问答新增：2026-10-27 · University of Pennsylvania

展开答案与例子

答案：不同局部簇可能对应具有自身几何的状态，把它们统一拉向原点会破坏簇间位置和局部结构。方法先固定分组，再对各簇重中心残差匹配均匀球体分布，保留整体布局；簇太小时还要明确回退，不能把目标偷换为普通全局高斯正则。

教学例子：例如两团表示分别对应两种运动模式，各自分散但位置不同；约束局部形状无需把两团的中心都拉到同一点。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

均匀实心球目标与高斯或单位球面目标有什么区别？

LocaLeJEPA: Maximum Entropy Representations under Geometric Priors

问答新增：2026-10-27 · University of Pennsylvania

展开答案与例子

答案：均匀实心球把概率分布在球体内部，半径取根号 d+2 使协方差为单位阵；高斯无界，球面则只在固定半径上有质量。三者特征函数不同，LocaLeJEPA 的目标不能由高斯公式或向量单位化代替。

教学例子：例如二维均匀圆盘含中心附近样本，圆周分布没有内部质量，高斯还会在任意大半径出现样本；它们并非同一正则。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

小簇过滤与簇数变化为什么影响有效正则强度？

LocaLeJEPA: Maximum Entropy Representations under Geometric Priors

问答新增：2026-10-27 · University of Pennsylvania

展开答案与例子

答案：只保留至少四样本的簇，无有效簇时回退全 batch 并记录。各簇统计先乘其样本数，再对有效簇和视图等权平均，因此改变簇数不只是改变局部粒度，也改变损失尺度；积分采用球特征函数，不能把高斯窗口误作目标分布。

教学例子：例如拆成更多有效小簇后，等权平均与样本数因子共同改变数值；沿用同一 λ 也不保证正则力度相同。

依据：核心公式、本地复现、验证与边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

长视频生成为什么在镜头回到旧位置时，容易忘记原来的场景布局？

Persistent Planar Memory for Video World Models

问答新增：2026-10-27 · Tsinghua University

展开答案与例子

答案：只条件化少量近期帧会丢掉更早看过的几何，保存全部像素或点云又成本很高。PPMem 研究用紧凑、可光栅化的平面场景记忆接续视频 chunk，使回访有可用空间依据。平面是近似表示，遮挡和错误几何仍需维护，不能从持久存储直接推断生成完全一致。

教学例子：教学例：镜头先离开书桌再转回，书架不应无故换位置；近期帧看不到书架时，持久场景记忆可提供几何条件。

依据：背景与主要改动、核心公式与流程；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

依据下一段相机轨迹淘汰平面，为什么不等于读取未来真实视频？

Persistent Planar Memory for Video World Models

问答新增：2026-10-27 · Tsinghua University

展开答案与例子

答案：相机轨迹可以是生成任务已给定的控制条件，它说明之后将朝哪里看，并不提供那里的真实图像。平面池据此管理将被更好观测替换的几何，后续视频仍需模型生成；只有把未知未来观测或真值几何提前送入记忆，才构成另一种信息泄漏。

教学例子：例如用户预先指定镜头绕桌子一圈，系统可据轨迹安排记忆；它仍不知道桌子背面的真实纹理，不能当成已经看到。

依据：背景与主要改动、核心公式与流程；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

持久平面池与仅保留近期帧作为生成条件有什么差别？

Persistent Planar Memory for Video World Models

问答新增：2026-10-27 · Tsinghua University

展开答案与例子

答案：近期帧记忆容易在长时间离开某区域后忘记场景，世界坐标 pool 可在相机回访时继续提供几何条件。它还需遮挡投票、质量去重及淘汰维护，不能把不断追加平面当完整机制；已知未来相机轨迹也不等于读取未来真实视频。

教学例子：例如镜头绕房间一圈后回到起点，旧墙面可仍在 pool 中；淘汰决策可知道下一段相机位置，却不知道未来真实像素。

依据：背景与主要改动、核心公式与流程；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

几何 LoRA 是在每个视频去噪步都开启吗？

Persistent Planar Memory for Video World Models

问答新增：2026-10-27 · Tsinghua University

展开答案与例子

答案：不是。视频去噪使用 Stage1 冻结骨干并关闭几何 LoRA，视频生成完成后额外开启一次几何前向提取平面。两阶段训练还有深度、法线、光栅化与平滑目标，前千步不启用光栅化损失；当前本地仅资料收录，没有执行世界模型。

教学例子：例如生成二十五帧 chunk 的多个去噪步不逐步更新平面；结束后一次几何提取再合并 pool，流程不同于每步联训几何。

依据：核心公式与流程、本地复现与成本判断；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

第一视角视频空间推理为什么需要同时改进提问规划和感知回答？

EgoP²C: Internalizing Plan-Perceive-Compose for Spatial Reasoning in Egocentric Video

问答新增：2026-10-27 · Arizona State University

展开答案与例子

答案：复杂问题往往要先决定看哪里、问什么，再可靠读取局部证据，规划与感知任何一侧出错都会传给后续组合。EgoP²C 研究让这些角色能共同改进，同时保持各自信息范围。角色分离用于控制训练和交互，不代表感知结果天然可信，最终空间结论仍需验证。

教学例子：教学例：问抽屉相对门的位置，规划者先选视角和子问题，感知者读具体位置；若读错左右，组合推理再流畅也会出错。

依据：背景与主要改动、核心公式与信息边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么分段蒸馏必须让各教师评价同一批学生 tokens？

EgoP²C: Internalizing Plan-Perceive-Compose for Spatial Reasoning in Egocentric Video

问答新增：2026-10-27 · Arizona State University

展开答案与例子

答案：学生实际生成的交互决定了它访问的前缀，各角色教师在这些前缀上评分，才能分别指出规划、感知或直接回答的偏差。若改成模仿教师另写的一条答案，就丢失在策略监督；共享视频 KV 还不能混入角色私有历史，以免破坏信息隔离。

教学例子：例如学生先提出一个视角问题，再给出空间判断；规划教师评前段、感知教师评相关片段，二者都评学生真正走过的文本。

依据：背景与主要改动、核心公式与信息边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

PC、V 与通用 G 专家的参数，是否都采用相同的训练边界？

EgoP²C: Internalizing Plan-Perceive-Compose for Spatial Reasoning in Egocentric Video

问答新增：2026-10-27 · Arizona State University

展开答案与例子

答案：角色专家从基础 FFN 复制初始化，但 G 的 FFN 始终冻结，G 的 attention residual 到 MOPD 阶段才训练；PC、V 则承担规划与感知的可训练角色路径。不同参数边界维护通用直接回答能力与专门化分工，不能把它简化成三份全参数模型一起更新。

教学例子：教学例：给 G 保留原 FFN 不是完全禁止它的一切适配；attention residual 后续可训练，而底层复制初始化也不等于所有角色共享更新。

依据：背景与主要改动、核心公式与信息边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

角色长度归一化的分母为何必须覆盖整条轨迹？

EgoP²C: Internalizing Plan-Perceive-Compose for Spatial Reasoning in Egocentric Video

问答新增：2026-10-27 · Arizona State University

展开答案与例子

答案：同角色可出现多个片段，分母是该轨迹中该角色所有监督 token 总数，而非每段各平均一次。否则拆成更多短片段就会获得更大角色权重。教师与旧学生 logp 停止梯度，私有 decoder KV 不跨角色复用，本地随机教师诊断不等于空间推理能力。

教学例子：例如 PC 总共十个 token，拆成两段各五个后总权重应不变；若每段独立平均，拆段会把 PC 贡献翻倍。

依据：核心公式与信息边界、本地复现；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

Gen4P 为什么尝试把视频生成模型的知识用于三维和四维感知？

Gen4P: Video Generators are 4D Perceivers

问答新增：2026-10-27 · Nanyang Technological University

展开答案与例子

答案：视频生成预训练需要理解外观、运动和部分几何结构，这些先验可能帮助估计深度、轨迹和相机，而不必只服务像素生成。Gen4P 从干净视频提取场景表示，再按查询输出所需属性。利用生成器不等于必须生成整段视频，感知预测仍需对应几何真值或任务验证。

教学例子：教学例：输入一段移动镜头视频，用户需要的是某点的三维轨迹而非一段新视频；模型应把已有运动先验转为可查询感知结果。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

使用视频生成器做四维感知时，为什么不必执行完整多步去噪？

Gen4P: Video Generators are 4D Perceivers

问答新增：2026-10-27 · Nanyang Technological University

展开答案与例子

答案：Gen4P 利用预训练 DiT 内部的运动与几何表示，而不是要求它重新生成视频。干净视频潜变量经过一次规定条件的编码，查询再读出轨迹或深度；冻结几何适配与新任务 LoRA 承担不同职责。少一次生成过程并不意味着感知任务无需监督或解码器。

教学例子：例如输入现有视频后查询某点三秒后的三维位置，读取一次场景表示即可训练预测头，不需要先生成另一段完整视频。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

冻结 depth-LoRA 与训练 4D-LoRA 的分工，为什么不同于全参数微调？

Gen4P: Video Generators are 4D Perceivers

问答新增：2026-10-27 · Nanyang Technological University

展开答案与例子

答案：基础 DiT 和深度 LoRA 保持冻结，新增 4D-LoRA、查询与输出解码器承担感知任务适配，分别保留生成和深度先验。全参数微调会允许更广泛改变这些表示；双 LoRA 也并非每项指标必然改善，原文保留了深度结果下降的例子。

教学例子：例如新任务需要追踪点的时间轨迹，可更新 4D 适配而不改已有深度更新，但仍要检查是否改善实际深度与追踪。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

连续时间查询与 DiT 输入条件有哪些容易混淆的细节？

Gen4P: Video Generators are 4D Perceivers

问答新增：2026-10-27 · Nanyang Technological University

展开答案与例子

答案：时间查询用起终点 embedding 按 t/(T-1) 连续插值，DiT 则读取干净 z0，使用最终 scheduler 时间条件和空文本条件。不能把查询时间当作扩散加噪时刻，也不能改成迭代去噪。当前只有资料收录，无本地 adapter 或 4D 能力验证。

教学例子：例如查询视频中间时刻使用两个时间端点的插值，并不是给该帧加一半噪声再让生成器恢复。

依据：核心公式、本地复现、复现边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

EgoJEPA 为什么尝试从大量人类第一视角视频学习可迁移的动作经验？

EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos

问答新增：2026-10-27 · Mohamed bin Zayed University of Artificial Intelligence

展开答案与例子

答案：机器人示范昂贵且不同本体接口各异，人类视频则含丰富的视觉变化与行动关系，却没有直接可用的机器人控制量。EgoJEPA 研究先学习视觉与动作的潜在结构，再适配目标机器人接口。视频中的相关变化不是任意机器人的可执行命令，真实控制仍需适配与环境验证。

教学例子：教学例：人类打开抽屉的视频可提供动作与场景变化经验；换成机械臂后，关节控制仍须通过目标机器人接口学习。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

EgoJEPA 为什么先学习潜动作，而不把人的手部轨迹直接规则映射成机器人关节？

EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos

问答新增：2026-10-27 · Mohamed bin Zayed University of Artificial Intelligence

展开答案与例子

答案：人的手与机器人的执行器形态不同，硬映射容易把特定身体结构当成通用动作。方法先用运动差分条件学习与视觉变化相关的潜动作，再联合视觉建模，最后适配目标机器人的动作接口；可迁移的是作用关系，而不是假设两种关节坐标天然等价。

教学例子：例如人的捏取动作和夹爪闭合角度不同，但都能导致杯子被拿起；先学这一状态变化，再适配夹爪的输入输出。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

动作条件 JEPA 与后续视觉—潜动作联合 Flow Matching，分别学习什么关系？

EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos

问答新增：2026-10-27 · Mohamed bin Zayed University of Artificial Intelligence

展开答案与例子

答案：前一阶段利用手部运动差分预测未来视觉表示，让潜动作与可观察变化建立联系；后续联合建模视觉和潜动作，再通过目标机器人输入输出接口适配控制。它们不是同一个损失换名字，预测未来的表示学习与联合生成承担不同职责，也不能据前者成功推出真实机器人控制已完成。

教学例子：教学例：先学“某类手部变化对应怎样的视觉后果”，再学习视觉与潜动作的联合结构；目标机械臂仍需要自己的控制接口。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

未来视觉目标在 JEPA 训练和实际控制时的可见性有什么区别？

EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos

问答新增：2026-10-27 · Mohamed bin Zayed University of Artificial Intelligence

展开答案与例子

答案：训练时真实未来帧经目标编码器提供停止梯度的表征，用于监督历史和手部差分条件预测；实际控制不能读取尚未发生的未来。当前本地只有方法和成本收录，无 adapter、指标或 GPU 回执，不能把公式说明当作真实机器人链路已实现。

教学例子：例如给定前几帧预测拿起后的物体位置，目标帧只用于训练核对；部署时若直接输入该帧，就已提前泄露未来。

依据：核心公式、本地复现、复现边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

单图生成新视角时，ESC 为什么关心物体是否在三维场景中一致存在？

ESC: Escaping 2D Diffusion Ambiguity with Geometric Constraints for Consistent Novel View Synthesis

问答新增：2026-10-27 · FAIR at Meta / Mila - Québec AI Institute / Université de Montréal

展开答案与例子

答案：图像生成器可能画出清晰、姿态看似正确的画面，却让物体凭空出现或在转视角后消失。ESC 研究把颜色与深度联系起来，用几何一致性检查这些错误。新视角与源图本来就不应逐像素相同，目标是可解释的空间变化，而非单纯追求更相似或更好看的图片。

教学例子：教学例：镜头绕桌移动，杯子位置应随投影变化；若杯子在无遮挡处消失，画面再精致也不符合相同场景的几何关系。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么新视角图像看起来清晰、相机姿态也正确，仍可能不满足 PCC？

ESC: Escaping 2D Diffusion Ambiguity with Geometric Constraints for Consistent Novel View Synthesis

问答新增：2026-10-27 · FAIR at Meta / Mila - Québec AI Institute / Université de Montréal

展开答案与例子

答案：外观逼真不约束两视角是否描述同一个三维场景。PCC 用深度重投影及可见性检查双向几何差，区分物体消失与凭空出现；遮挡和无效像素必须处理，不能用普通 RGB 差代替。Best-of-N 选优比较的是几何一致性，而非直接选择最漂亮的图片。

教学例子：例如转动镜头后桌上的杯子消失，新图依旧自然清晰；双向深度重投影却会暴露这处不一致。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

PCC Best-of-N 与按 RGB 相似度选最像源图的候选有什么不同？

ESC: Escaping 2D Diffusion Ambiguity with Geometric Constraints for Consistent Novel View Synthesis

问答新增：2026-10-27 · FAIR at Meta / Mila - Québec AI Institute / Université de Montréal

展开答案与例子

答案：新视角本来就应改变像素外观，RGB 相似不能直接代表几何正确。PCC 使用源与目标深度的双向投影、遮挡和有效覆盖判断缺失与幻觉几何，并选择分数最小的候选；它衡量特定几何约束，不保证所有图像质量指标同时最优。

教学例子：例如相机转到桌子另一侧，正确图像与源图像素差很大；重复源图可能 RGB 更近，却不符合目标视角。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

重投影计算为什么必须包含 z-buffer 和有效像素 mask？

ESC: Escaping 2D Diffusion Ambiguity with Geometric Constraints for Consistent Novel View Synthesis

问答新增：2026-10-27 · FAIR at Meta / Mila - Québec AI Institute / Université de Montréal

展开答案与例子

答案：多个源点投到同一目标像素时要处理遮挡，负深度、越界或无源深度点也不能当有效误差。PCC 还含阈值、对数压缩、裁剪与覆盖归一化，不是简单绝对深度差。当前未实现或训练 ESC，本地没有可用能力指标。

教学例子：例如墙后物体在目标视角被遮住，不应因缺少可见对应就算作消失；忽略遮挡会把正确几何当成失败。

依据：核心公式、本地复现；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

JEPA 的下一步 latent loss 很小，为什么还不足以判断它理解了物理运动？

One-Step Prediction Fidelity Is a Poor Proxy for Planning Performance in JEPA World Models

问答新增：2026-10-27 · 论文未列机构

展开答案与例子

答案：latent 是编码器自己的坐标，距离小未必对应位置、角度或速度误差小，也未必帮助长程规划。该工作把物理状态解码与真实规划分开检查，并用共享训练尺度组织误差。研究目标是厘清预测指标代表什么，不能从某个内部 loss 的下降直接宣布物理理解或控制成功。

教学例子：教学例：两个预测向量很接近，解码后却可能对应不同物体角度；还需检查物理量误差，以及同任务中实际规划是否成功。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么要从预测状态误差中减去真实表征经同一解码器得到的误差？

One-Step Prediction Fidelity Is a Poor Proxy for Planning Performance in JEPA World Models

问答新增：2026-10-27 · 论文未列机构

展开答案与例子

答案：解码误差同时混合编码器可读性、解码器不足和预测器偏差。固定同一解码器，先测真实下一表征，再测预测下一表征，差值更接近预测环节新增的影响；它可能为负，不能截零。即便差值小，长程规划成功率仍需独立配对验证。

教学例子：例如解码器本来就把位置估错两格，预测表征又错三格；不能把全部三格都归因预测器，应先扣除真实表征的基础误差。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

一步物理预测误差下降与规划成功率提升为什么需要分开测？

One-Step Prediction Fidelity Is a Poor Proxy for Planning Performance in JEPA World Models

问答新增：2026-10-27 · 论文未列机构

展开答案与例子

答案：规划反复调用模型，误差可能累积、偏向关键动作或改变搜索路径；一步平均误差无法表达这些闭环影响。应在同一 checkpoint、任务和配对种子上实际运行规划，再比较成功率，不能由一个预测指标自动推导行动能力。

教学例子：例如模型在常见静止状态更准，却在碰撞附近稍错，整体一步误差下降仍可能让规划频繁撞墙。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

E_excess 为负时应截成零吗？

One-Step Prediction Fidelity Is a Poor Proxy for Planning Performance in JEPA World Models

问答新增：2026-10-27 · 论文未列机构

展开答案与例子

答案：不应。它定义为预测表征解码误差减真实表征解码误差，预测表示偶然更适合冻结解码器时差值可为负。两种表示完全相同则差值必须为零；状态归一化方差只由共享训练数据确定，解码器不能用预测 test 表征重新拟合。

教学例子：例如真实表征误差为三、预测为二，差值应为负一；截零会改变定义并掩盖解码器外推现象。

依据：核心公式、本地复现、聚合、结果与边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

小 batch 自监督学习为什么可能让图像视图对齐，却仍学不到可区分的表示？

Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning

问答新增：2026-10-27 · European Molecular Biology Laboratory (EMBL)

展开答案与例子

答案：把同一图像的增强视图拉近，只约束一致性，所有样本输出常量也可满足；抗坍塌还需判断整体表示是否足够分散。小 batch 对分布估计容易不足，OOB 研究在显存受限时取得更广统计支持。统计范围更大不自动保证下游能力，仍需匹配目标与独立评估。

教学例子：教学例：一个 batch 的几张图片编码相近，无法判断是样本本就相似还是全模型坍塌；只检查两视图差小，容易漏掉后一种问题。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

OOB 为什么能让小 batch 使用接近全数据范围的抗坍塌监督？

Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning

问答新增：2026-10-27 · European Molecular Biology Laboratory (EMBL)

展开答案与例子

答案：它把全数据统计与在线优化分开：定期编码训练集并建立每样本锚点，随后小 batch 读取对应固定目标。这样在线更新无需每步重新估计完整分布，但锚点会随模型变化而陈旧，需要刷新；这不同于直接在小 batch 上计算普通方差或协方差损失。

教学例子：例如显存一次只能放八张图，仍可事先用全训练集生成排序分位数目标，再让这八张各自匹配自己的缓存锚点。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

Gaussian sorted-quantile 目标与只约束均值零、方差一有何不同？

Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning

问答新增：2026-10-27 · European Molecular Biology Laboratory (EMBL)

展开答案与例子

答案：排序分位数为每个样本沿随机方向分配正态目标，约束投影分布及样本对应；均值方差只约束少数矩，许多不同分布都满足。该目标也不是原始 Epps–Pulley 统计量，配对基线应使用同一分位数口径，避免把损失差异误作范围收益。

教学例子：例如一半样本在负一、一半在正一也可均值零方差一，却不是正态分位数排列；锚点目标会区分两种分布。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

锚点刷新的方向、目标和梯度应怎样隔离？

Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning

问答新增：2026-10-27 · European Molecular Biology Laboratory (EMBL)

展开答案与例子

答案：刷新后投影方向和按样本分配的目标固定，detach 后存 CPU，在线损失对 B、视图数 V、方向数 M 归一化，不通过锚点反传到刷新阶段。球面变体另优化单位锚点，不能替换为 Gaussian 目标；稳定索引丢失会把样本配到错误锚点。

教学例子：例如数据加载器打乱顺序后仍需按原样本 ID 查锚点，不能把缓存第一个目标直接给当前 batch 的第一张图。

依据：核心公式、本地复现、复现边界与成本结论；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

理解视频里的动作类别，与保留精确速度和关节角，为什么是不同学习要求？

Time-JEPA: Grounding Video World Models with Physical Time Series

问答新增：2026-10-27 · Harbin Institute of Technology

展开答案与例子

答案：语义分类可在很多姿态和速度变化下保持不变，控制或物理分析却可能需要这些连续量。Time-JEPA 研究让视频表示在自监督之外保留更细的时间物理信息。目标不是把传感器当作部署捷径，准确连续状态也不能仅由动作标签正确推断，需要针对数值量独立检查。

教学例子：教学例：两段视频都叫“抬手”，但快慢和肘部角度不同；类别判断相同不表示表示里已经保留足够精度供机器人使用。

依据：背景与主要改动、核心公式与隔离要求；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

物理时间序列只作训练标签，为何还能改善仅输入视频的编码器？

Time-JEPA: Grounding Video World Models with Physical Time Series

问答新增：2026-10-27 · Harbin Institute of Technology

展开答案与例子

答案：辅助头把视频表示映射到速度或关节角，误差反向推动编码器保留这些物理信息，部署时可以删除该头。传感器不进入输入，因此评测仍是视频任务；无效帧要保持掩码，归一化统计也只能来自训练集，避免伪造零标签或测试泄漏。

教学例子：例如训练时用同步速度监督视频表示，测试只给运动画面；若把速度数值直接拼进测试输入，就变成不同任务。

依据：背景与主要改动、核心公式与隔离要求；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

辅助物理目标与只做 masked latent prediction 约束什么不同信息？

Time-JEPA: Grounding Video World Models with Physical Time Series

问答新增：2026-10-27 · Harbin Institute of Technology

展开答案与例子

答案：masked latent 预测鼓励表征可预测，却未必保留精确物理量；同步物理监督直接推动同一 encoder 保留这些变量。它可能改善物理可读性，但仍受变量覆盖与跨域分布影响，不能将一个域的探针结果推广为所有物理任务或控制能力。

教学例子：例如视频模型能补全道路纹理，却忽略速度微差；训练专用速度目标会直接要求表示区分这类差异。

依据：背景与主要改动、核心公式与隔离要求；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

tubelet 内某变量完全缺测时，能否补成有效零标签？

Time-JEPA: Grounding Video World Models with Physical Time Series

问答新增：2026-10-27 · Harbin Institute of Technology

展开答案与例子

答案：不能。每个变量独立按 valid 帧求均值，空 tubelet 仍无效；归一化均值方差仅在训练集拟合并冻结。物理损失只在有效项上求 SmoothL1，β 为 0.5；不同域还各有 head、统计和权重，不能混成同一无条件标签空间。

教学例子：例如两帧都没测到关节角，填零会把未知误当真实零角度；正确做法是让该变量该 tubelet 不贡献监督。

依据：核心公式与隔离要求、本地复现；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

同一视频模型为什么需要适应手机、服务器或跨设备分段执行的不同预算？

EV-JEPA: Elastic V-JEPA for Any Device and Cross-Device Inference

问答新增：2026-10-27 · Meta Reality Labs Research

展开答案与例子

答案：固定尺寸模型未必适合所有设备，分别训练多个模型又可能让中间表示不兼容，难以把计算从一台设备接到另一台。EV-JEPA 研究共享参数的弹性宽度和兼容表示。可选择宽度并不表示任意切分都正确或免费，实际传输、压缩和任务质量仍需验证。

教学例子：教学例：手机先运行较窄前半段，再把中间表示交给服务器继续；若两种宽度从未学习衔接，形状能对上也未必能接着推理。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为何训练窄模型和宽模型之外，还要专门训练“窄转宽”路径？

EV-JEPA: Elastic V-JEPA for Any Device and Cross-Device Inference

问答新增：2026-10-27 · Meta Reality Labs Research

展开答案与例子

答案：两种宽度各自表现好，不保证窄模型中间状态可直接交给宽模型。混合路径显式训练切分层的升宽接口，并以共同冻结教师约束表示，使跨设备接力有训练依据；这与随意裁剪通道或在运行时硬接两个独立模型不同，也不能省掉接力通信成本。

教学例子：例如手机先跑窄层再把状态交给服务器宽层；若从未训练这种交接，服务器接到的表示可能不在其熟悉的分布中。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

训练压缩器的切分层重建目标，与直接删掉 token，要求恢复什么信息？

EV-JEPA: Elastic V-JEPA for Any Device and Cross-Device Inference

问答新增：2026-10-27 · Meta Reality Labs Research

展开答案与例子

答案：普通裁剪只减少保留位置，删除内容可能无法供后段读取；压缩器额外学习切分层重建，使压缩传输后的表示尽量适配后续计算。二者都减少输入量，但兼容性训练的目标不同。重建损失较低也不能自动推出端到端任务无损，更不等于本地已完成跨设备部署。

教学例子：教学例：直接丢掉一半空间 token 与编码成较少 token 后训练重建，不是同一操作；后者尝试保留可供后续网络恢复的结构。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

EV-JEPA 的教师是固定视频模型，还是跟随弹性学生更新的 EMA 副本？

EV-JEPA: Elastic V-JEPA for Any Device and Cross-Device Inference

问答新增：2026-10-27 · Meta Reality Labs Research

展开答案与例子

答案：教师采用冻结 V-JEPA 2，为窄、宽和混合路径提供共同目标，不随学生做 EMA。三条学生路径共享嵌套参数，并在同一目标空间接受 masked-token L1 监督。固定教师不代表学生无需训练，也不能把只实现通道切片称为完成这种联合训练或跨设备能力验证。

教学例子：教学例：一次学生更新会改变可切片的共享参数，教师输出仍由同一个固定模型产生；不能再按学生权重滑动平均偷偷改掉目标。

依据：核心公式、本地复现、边界与后续触发条件；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

SmolWAM 为什么把视频生成式机器人策略的整条接口都纳入轻量化？

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

问答新增：2026-10-27 · ML Collective

展开答案与例子

答案：视频骨干、视觉编码、文字条件和动作表示都会影响推理成本，只缩小动作头仍可能留下大部分负担。SmolWAM 逐项改造这些接口，并恢复改变预训练分布造成的偏移。组件更小不等于原知识自动保留，既要检验前向等价和恢复训练，也要在真实控制协议下评估。

教学例子：教学例：动作头很小，但仍运行大 VAE、长视觉序列和多步去噪，总成本未必低；轻量化需要看完整执行路径。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么缩小动作查询接口时，还要保留原 token 位置与 rectified-flow 方向？

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

问答新增：2026-10-27 · ML Collective

展开答案与例子

答案：预训练 trunk 已适应特定位置语义和从数据到噪声的速度定义，换轻量接口若同时改掉这些约定，会产生额外分布偏移。SmolWAM 逐项恢复适配而非只缩小动作头；载入权重成功也不能证明错误的噪声方向或位置设置下仍等价运行。

教学例子：例如教师学的是噪声减数据的速度，若学生默认反向定义却仍套用原读出公式，动作恢复就可能朝错误方向变化。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

单帧 VAE 加 adapter 与直接换成单帧 VAE 有何不同？

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

问答新增：2026-10-27 · ML Collective

展开答案与例子

答案：原 teacher 以视频 clip latent 接口训练，单帧编码的分布可能不同；adapter 将单帧结果映回原 clip latent 空间，以保留预训练 trunk 可用的输入结构。直接更换编码器省略这个恢复步骤，不能假定 token 位置相同就代表数值分布一致。

教学例子：例如两个编码器都输出相同形状，数值尺度和时空语义仍可能不同；adapter 学的是让新单帧输入适应旧骨干。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

这里的 rectified-flow 速度方向与 LeWAM 相同吗？

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

问答新增：2026-10-27 · ML Collective

展开答案与例子

答案：不同。SmolWAM 沿 teacher 的数据到噪声方向，插值 xτ=(1-τ)x0+τε，速度为 ε-x0，干净估计应与此符号一致；LeWAM 使用相反方向。还需保留十二个指定 block、原位置及零偏置 sink，不能只照抄另一篇 flow 公式。

教学例子：例如从噪声端反推干净动作时若把速度符号颠倒，会朝错误方向更新；损失数值可运行并不说明读取方向正确。

依据：核心公式、本地复现、数据协议、结果与边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

LeWAM 为什么希望“预测动作后果”和“产生可用动作”在训练时互相联系？

LeWAM: End-to-End World and Action Modeling with JEPAs

问答新增：2026-10-27 · UC San Diego

展开答案与例子

答案：世界模型能预测给定动作的未来，却不一定高效找到达到目标的动作；另训策略又可能无法让控制需求塑造视觉表示。LeWAM 联合学习视觉状态、动力学和随机动作策略，使预测与控制共享训练信号。联合目标并不免除信息隔离或真实执行验证，模型规划也可能失准。

教学例子：教学例：模型知道推一下物体会移动，却仍需决定往哪推、推多远；动作学习与未来预测相连，才能为具体目标产生候选。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么 LeWAM 的噪声动作分支不能经中间层读取干净动作？

LeWAM: End-to-End World and Action Modeling with JEPAs

问答新增：2026-10-27 · UC San Diego

展开答案与例子

答案：干净动作作为未来动力学监督，在训练中可供状态查询使用，却不是部署时策略已知的信息。如果噪声动作通过共享注意力偷读它，就可能复制目标而不学从观察和目标生成动作。分支独立参数不够，必须同时约束跨层可见性以堵住间接泄漏。

教学例子：例如训练给出真实“向左推”的动作供预测未来；生成动作的噪声分支不能先看见这个答案，再把恢复结果算成决策能力。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

LeWAM 的动作 flow 策略与宽高斯随机搜索的区别是什么？

LeWAM: End-to-End World and Action Modeling with JEPAs

问答新增：2026-10-27 · UC San Diego

展开答案与例子

答案：flow matching 学习从噪声到动作数据的速度场，提供更接近训练动作分布的候选，再在潜在动力学中规划。宽高斯搜索主要靠无结构采样覆盖动作；学得的候选可能更集中，但真实优势仍需独立控制任务验证，不能靠训练损失推断。

教学例子：例如推物体时，学得策略可优先给出贴近桌面的推法，而不是大量采样穿过桌面的无效动作。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

LeWAM 的动作精炼为什么用 proximity penalty 优化，却按原始 goal cost 选候选？

LeWAM: End-to-End World and Action Modeling with JEPAs

问答新增：2026-10-27 · UC San Diego

展开答案与例子

答案：Adam 优化目标加入动作偏离采样计划的惩罚，限制精炼走得过远；最终选择则比较未加该项的 goal cost，让候选按到达目标的预测效果竞争。原始采样候选也保留，防止精炼退化。优化只更新动作，不把规划阶段误写成模型权重训练或真实任务成功保证。

教学例子：教学例：精炼动作偏离原方案较多但更接近目标，最终应按目标误差比较；若精炼反而更差，仍可退回保留的原候选。

依据：核心公式、本地复现、数据协议、结果与边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

没有字幕的原始视频，为什么仍可能为语言模型提供有用的中期训练信号？

Mid-Training Language Models on Raw Video

问答新增：2026-10-27 · Meta AI / Massachusetts Institute of Technology

展开答案与例子

答案：视频的有序画面含有物体、运动和时空关联，不必全部先压成文字说明才能学习。该方法把帧 patch 编成连续视觉序列，让因果模型预测后续表示，利用原始视觉变化。预测视觉 token 并不等于生成字幕或掌握真实物理规律，后续能力还需匹配调优与评测。

教学例子：教学例：杯子被拿起的连续帧包含运动关系，字幕可能只写“有人拿杯子”；直接视觉序列可提供文字未逐项标注的变化。

依据：背景与主要改动、核心公式与原文效果；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

目标侧 stop-gradient 为什么不意味着视觉 tokenizer 完全冻结？

Mid-Training Language Models on Raw Video

问答新增：2026-10-27 · Meta AI / Massachusetts Institute of Technology

展开答案与例子

答案：目标路径停止梯度是防止预测目标跟随预测一起塌缩或移动，输入侧视觉 tokenizer 仍可通过 LM 与预测头接收梯度。模型在无字幕中期训练中学习视觉序列关系，之后需匹配的指令调优对照；不能把没有文字损失误解为整个视觉前端不训练。

教学例子：例如用前一帧 patch 预测下一 patch，下一目标不反传，但前一输入经过的视觉参数仍可被预测误差更新。

依据：背景与主要改动、核心公式与原文效果；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

与视频 caption 训练相比，raw video 路线避免了什么监督瓶颈？

Mid-Training Language Models on Raw Video

问答新增：2026-10-27 · Meta AI / Massachusetts Institute of Technology

展开答案与例子

答案：caption 只保留文字描述覆盖的视觉内容，可能省略连续运动和细节；连续 token 预测直接利用原始视频顺序。它也引入更长序列与视觉回归训练成本，不能因为没有字幕就推断语义必然更好，后续还需匹配的图文指令调优比较。

教学例子：例如字幕只写“球移动”，原始连续表示仍含路径与速度变化；但模型能否利用这些信息需要实际下游评测。

依据：背景与主要改动、核心公式与原文效果；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

视频中期训练后的图文指令调优，为什么必须与对照使用同一口径？

Mid-Training Language Models on Raw Video

问答新增：2026-10-27 · Meta AI / Massachusetts Institute of Technology

展开答案与例子

答案：最终能力同时受视频阶段与后续指令调优影响，若两侧调优数据或流程不同，就难把差异归因于 raw-video 阶段。论文用匹配图文指令调优隔离其贡献，文本保真结论也限于这一协议。不能据此推广为任意无字幕视频训练都不遗忘，本地组件不代替完整对照训练。

教学例子：教学例：视频组多做一轮优质指令训练而基线没有，最终图像问答涨分就混入额外监督；需要先对齐后续调优条件。

依据：核心公式与原文效果、本地复现与成本决策；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

WOVEN 的状态转移监督为什么不是普通静态图片分类？

WOVEN: Weaving Visual World Modeling into Multimodal LLMs

问答新增：2026-10-27 · Northwestern University

展开答案与例子

答案：共同对象是初始状态、动作与结果状态的关系，可要求前向预测、反推动作或反事实结果。视频生成 rollout 提供实际视觉转移及中间帧，而非在 prompt 里直接写结果；仅辨认物体类别无法覆盖这些操作，也不能替代模型对转移关系的学习。

教学例子：例如同一初始球位，左推与右推得到不同结果，问题可要求选动作或选后果，不是只回答画面里有没有球。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

为什么要按初始场景或 source 分组切分，而不能随机拆散视觉转移问答？

WOVEN: Weaving Visual World Modeling into Multimodal LLMs

问答新增：2026-10-27 · Northwestern University

展开答案与例子

答案：同一初始图像可以衍生多个动作、问题与反事实选项，随机按题切分可能把几乎相同的视觉状态放进训练和测试。分组隔离减少这种捷径，再区分场景、动作与推理操作的迁移；高同源问答分数不能自动说明理解了未知场景的状态变化。

教学例子：例如同一桌面分别问“向左推会怎样”和“什么动作导致杯子移动”，两题共享底图，应作为一组切分而非分居训练测试。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

scene-OOD 与 state-perturbation 测试区分什么泛化问题？

WOVEN: Weaving Visual World Modeling into Multimodal LLMs

问答新增：2026-10-27 · Northwestern University

展开答案与例子

答案：scene-OOD 改变场景分布，state-perturbation 检查状态变化下的鲁棒性，两者不能因 ID 准确率高就视为解决。原文受控轴还含 action 与 reasoning，不同监督操作对迁移的贡献需分别比较，不能把按不同 benchmark 选 subset 的覆盖当成单模型全面提升。

教学例子：例如模型在新餐厅场景表现好，仍可能对同一场景里物体位置的小变化敏感；两种测试关注不同失效模式。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

四种 option permutation 与 source_id 分组分别防什么问题？

WOVEN: Weaving Visual World Modeling into Multimodal LLMs

问答新增：2026-10-27 · Northwestern University

展开答案与例子

答案：排列选项时要同步搬迁目标字母而保持内容和图像对应，避免固定字母捷径；划分按初始来源分组，防同源状态的不同问法跨集合泄露。prompt 只投影问题、选项和真实图像，distractor_type 等答案相关字段不能进入模型，本地也只运行 SFT 未运行 GRPO。

教学例子：例如同一初始帧生成三道题，应一起划到训练或留出；否则模型可记住来源，再在所谓 test 回答变体问题。

依据：核心公式、本地复现、代码映射与边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

机器人动作策略为什么会从“预测将看到什么”中获得额外条件？

V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents

问答新增：2026-10-27 · Tsinghua University

展开答案与例子

答案：仅靠当前图像选择动作，可能缺少目标执行后场景如何变化的线索。V-JEPA Policy 将指令条件未来表示预测与动作学习联系起来，让动作专家读取预测上下文。未来信息必须来自模型预测，不能在控制时偷读真实后续视频；预测有误也会影响动作，因此仍需实际执行验证。

教学例子：教学例：指令要求把杯子放入盒子，未来表示可帮助描述目标视觉状态；机器人尚未行动，不能直接读取任务结束后的真实画面。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

动作专家读取预测未来潜变量，与直接读取训练视频未来帧有何区别？

V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents

问答新增：2026-10-27 · Tsinghua University

展开答案与例子

答案：预测未来由当前观察与指令生成，部署时也能获得；真实未来仅作为训练目标，用于塑造预测器。动作 flow expert 因而使用可计算的前瞻上下文，而非提前观察结果。冻结视觉编码器稳定表示，却不保证预测误差不会在控制过程中累积。

教学例子：例如根据当前桌面预测抓取后的杯子位置，再产生动作；不能把实际抓取结束后的照片先传给策略再评价成功率。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

联合世界与动作训练与先训预测器再独立训动作头有什么区别？

V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents

问答新增：2026-10-27 · Tsinghua University

展开答案与例子

答案：联合训练让未来预测与动作 flow 在同一训练框架中协调，动作专家使用 predictor 提供的未来信息；两阶段独立训练则可能让预测表征未适配控制需要。这里视觉 encoder 仍冻结，不能将联合 predictor/action 训练扩大为所有视觉参数都端到端更新。

教学例子：例如动作头需要未来抓取位置，联合训练可协调预测上下文；但冻结 V-JEPA 编码器的权重依然不会因动作损失而变化。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

future target 的梯度隔离与本地实现边界应怎样表述？

V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents

问答新增：2026-10-27 · Tsinghua University

展开答案与例子

答案：真实未来经冻结视觉编码器产生目标并 stop-gradient，masked 位置上做 L1，同时训练动作速度损失。本地只执行 future-latent 隔离和 flow 机制诊断，没有加载 V-JEPA 2.1 或机器人数据，不能将三 seed 小张量更新说成 LIBERO 策略已验证。

教学例子：例如检查目标张量没有梯度可确认监督边界，但没有任何机器人 rollout，就不能计算实际动作成功率。

依据：核心公式、本地复现、复现边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

视觉推理生成了一个好看的终图，为什么还可能没有完成要求的任务？

VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning

问答新增：2026-10-27 · Nanyang Technological University / VBVR Community

展开答案与例子

答案：有些任务约束对象如何移动、何时经过某状态或是否避开禁区，终图正确也可能掩盖错误过程。VBVR-Pro 把这类任务规则变成可执行检查，为生成轨迹提供更具体反馈。程序化奖励覆盖已定义约束，不能自动衡量未定义的所有视觉质量，也不代表任意任务都有可靠 scorer。

教学例子：教学例：物体最终到达目标点，但途中穿过禁止区域；只看终图会漏掉违反路径约束，过程检查才看得到。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

可执行 scorer 为什么比通用 VLM judge 更适合某些时空约束任务？

VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning

问答新增：2026-10-27 · Nanyang Technological University / VBVR Community

展开答案与例子

答案：任务若能明确列出中间状态、约束和最终条件，就可逐实例检查，而不只凭答案是否流畅判断。这样的奖励把可验证条件接入训练，但只覆盖已定义的规则；scorer 自身正确、被评模型不读 gold 与生成任务真正执行，仍是不同的验证要求。

教学例子：例如移动方块不能穿墙且最终到达目标格，可逐步检查轨迹；一段听起来合理却实际穿墙的解释不应获得成功奖励。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

约束奖励加权求和，与要求全部约束硬性通过，是不是同一种任务合同？

VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning

问答新增：2026-10-27 · Nanyang Technological University / VBVR Community

展开答案与例子

答案：加权和让各项满足程度贡献分数，高权重项目可能补偿低权重项目的失败；全部硬性通过则把任一违反视为不可行。两种定义表达不同偏好，不能从总分较高推断所有约束都满足。这是对论文公式的假设比较，不是声称作者另外做过这两种方法的对照实验。

教学例子：教学例：两项各半权重的条件只过一项可得半分；若要求安全条件必须满足，即使其他项全对也不能把安全失败补偿掉。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

本地程序化 reward 从带噪基线到满分说明什么？

VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning

问答新增：2026-10-27 · Nanyang Technological University / VBVR Community

展开答案与例子

答案：只说明当前确定性 task-specific scorer 在给定程序化任务上的执行与失败归因，比带噪 judge analogue 稳定；不是多模态生成模型完成 RLVR 后的能力收益。原论文训练与外部 benchmark 需要真实轨迹、模型更新和独立评价，当前机制结果不能替代。

教学例子：例如已知轨迹满足所有布尔条件时 scorer 返回一，验证的是评分器，不是证明生成模型能自己找到这样的轨迹。

依据：核心公式、本地复现、复现边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

基础理解

同时编辑多个实例时，MICE 所说的属性串扰会怎样破坏用户指令？

Editing Everything Everywhere All at Once

问答新增：2026-10-27 · University of Modena and Reggio Emilia

展开答案与例子

答案：用户可能要求每个对象发生不同变化，若生成过程不能保持属性归属，一处颜色、形状或材质会传播到另一处。MICE 研究在无需新训练的编辑流程里维持局部绑定与周围融合。困难不是只生成更美图片，还要让每项变化落在指定实例，且不误改其他内容。

教学例子：教学例：要求左杯变红、右杯变蓝，若两个杯子都变紫，就是不同编辑属性混在了一起；单一全局颜色描述难明确这种归属。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

核心机制

多实例编辑为什么同时需要文字组隔离与平滑空间偏置？

Editing Everything Everywhere All at Once

问答新增：2026-10-27 · University of Modena and Reggio Emilia

展开答案与例子

答案：文字组隔离减少一条编辑指令直接影响另一组语义，空间偏置则把该指令绑定到相应实例并允许边界附近融合。只有硬切区域可能产生接缝，只有全局文字约束又可能串色；偏置在注意力里控制可见性，并不等于训练了一个新的编辑模型。

教学例子：例如要求左鞋变红、右鞋变蓝，文字组不应互相传播颜色，而平滑实例区域帮助各自颜色与周围图像自然衔接。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

方法对比

软空间偏置与对区域外 token 全部 hard mask 有何区别？

Editing Everything Everywhere All at Once

问答新增：2026-10-27 · University of Modena and Reggio Emilia

展开答案与例子

答案：平滑掩码取对数后给区域外有限负偏置，让边缘有逐渐衰减的交互以融合周围内容；hard mask 则彻底禁止。无关文字组仍用负无穷隔离，不能把所有边都统一软化；正文与作者默认代码还存在版本差异，本地明确遵循 paper_v1。

教学例子：例如物体边缘附近的阴影可获得较弱联系帮助融合，但另一实例专属像素被清零，避免把局部编辑扩散过去。

依据：背景与主要改动、核心公式；例子用于解释机制。

原论文 · 实现解读 · 问题链接

多模态 / 视觉世界建模：状态、生成与动作条件

实现细节

为什么 ε=10^-30 的偏置至少用 float32，且 context 到视觉域不能随意加空间 mask？

Editing Everything Everywhere All at Once

问答新增：2026-10-27 · University of Modena and Reggio Emilia

展开答案与例子

答案：float16 可能使极小 ε 下溢，改变有限 log 偏置的语义；softmax 与累加需至少 float32。本地采用正文 Case 5 的 context 到整个视觉域无偏置，不能混入示意图或默认 processor 的不同规则，再声称各版本完全等价。

教学例子：例如区域外 log(ε) 本应是有限大负数，若下溢成零再取对数就变成负无穷，软衰减被意外改为硬禁止。

依据：核心公式、本地复现、原文与代码版本边界；例子用于解释机制。

原论文 · 实现解读 · 问题链接

主题导读与阅读路线

先想一个问题

模型是在识别画面，还是能判断动作将怎样改变状态？

记住这一点

把观察、动作和后续状态放在一起，才能学习可用于预测或控制的表示。LeWAM 联合学习未来潜状态预测与动作 flow matching，让视觉表征和策略相互塑造；规划时再用潜动力学评价动作候选。WOVEN 则把视频生成的视觉转移组织成场景、动作、推理类型受控的监督，训练模型理解结果、原因与反事实。 SWIM补充“哪些状态坐标应影响latent距离”：离线逆动力学只门控未来位移，冻结gate后用sqrt(g)校准同帧对的状态距离；它不在规划时读取未来状态。

一个例子

同一桌面，把杯子向左推和向右推应产生不同结果；只认出“桌上有杯子”不足以控制机器人。表征预测可避免逐像素重建，但仍要检验动作条件是否有效、rollout 多步后是否漂移，以及选出的动作能否在闭环环境到达目标。

什么时候要小心

生成视频逼真、一步预测误差小或训练集问答分数高，都不自动证明规划有效。源场景与轨迹要分组隔离，反事实不能泄漏未来结果。本地 LeWAM 尚是非 holdout 闭环诊断，WOVEN 是小规模公开训练源实验；都不能替代原文完整泛化或机器人结论。

先读这几篇

先读 LeWAM 的潜状态/动作联合目标，理解预测怎样进入控制；再读 WOVEN 的视觉转移与受控监督，区分表征学习、生成数据、问答推理和闭环规划。之后按视觉几何、视频记忆或具身动作细分。

1. LeWAM: End-to-End World and Action Modeling with JEPAs · 原论文
2. WOVEN: Weaving Visual World Modeling into Multimodal LLMs · 原论文

自测一下

世界模型的一步 latent MSE 更低，是否必然能带来更高的长程控制成功率？

展开参考答案

不必然。误差可能集中在与动作选择无关的方向，多步 rollout 还会累积偏差，策略搜索也可能利用模型漏洞。需要相同环境、目标和预算下的闭环控制对照，且不能用训练目标轨迹冒充 holdout。

跨主题搜索全部问答 · 最近新增