多模态¶
围绕三件事学习：对齐不同模态、分配视觉证据预算、预测状态与动作的后果。
选择一个子主题，从具体论文问题开始。新论文和新增问题会继续加入对应问题库。
跨模态对齐：表征、连接器与监督
图像、语音和文字如何接上同一任务接口，学到的是相似度还是可生成的回答？
视觉证据预算：选 Token、选帧与按需回看
视觉输入太长时，哪些细节可以暂时不读，哪些必须保留恢复入口？
视觉世界建模：状态、生成与动作条件
模型是在识别画面，还是能判断动作将怎样改变状态？
围绕三件事学习：对齐不同模态、分配视觉证据预算、预测状态与动作的后果。
选择一个子主题，从具体论文问题开始。新论文和新增问题会继续加入对应问题库。
图像、语音和文字如何接上同一任务接口，学到的是相似度还是可生成的回答？
视觉输入太长时，哪些细节可以暂时不读，哪些必须保留恢复入口？
模型是在识别画面，还是能判断动作将怎样改变状态？