类型化读出:从生成句子到候选分布¶
结构化决策 / 36 个问题 · 9 篇论文
先看问题,想一想,再展开答案。这里持续积累本子主题各篇论文的问答,一篇论文也可以追加多个问题。
36 个问题 · 9 篇论文
基础理解
EditJev预测的是编辑后的图像吗?
核心机制
EditJev离线要运行所有编辑器,为什么推理时却只运行被选中的一个?
方法对比
EditJev质量优先与速度优先怎样在同一接口中表达?
实现细节
EditJev的pairwise损失为什么先按每请求pair数归一?
基础理解
PathJev中的typed decision为何不等于病理自由问答?
PathJev: Decision-Native Vision–Language Modelling for Histopathology
核心机制
PathJev的重要贡献为什么不能缩成病理图像上接一个softmax?
PathJev: Decision-Native Vision–Language Modelling for Histopathology
方法对比
PathJev评测未见器官,与在训练中见过的器官上随机留出样本相比,检验什么不同?
PathJev: Decision-Native Vision–Language Modelling for Histopathology
实现细节
PathJev的Score标签可以直接改成ordinal距离损失吗?
PathJev: Decision-Native Vision–Language Modelling for Histopathology
基础理解
System One多模态重排的一次读出怎样得到完整排序?
核心机制
多模态System One重排为什么要同时报告候选内概率和标签在全词表中的质量?
方法对比
setwise候选读出与逐文档yes/no评分有何不同?
实现细节
候选标签为什么必须是当前tokenizer下不同的单token?
基础理解
葡语JEV研究中的相关性标注与重排是同一个输出吗?
Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking
核心机制
JEV葡语检索为什么用每文档独立二元概率重排,而不把全部文档塞入同一Choice竞争?
Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking
方法对比
独立Noul概率与把BM25分数相加有何区别?
Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking
实现细节
葡语重排中缺失一篇文档分数能否默认为零?
Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking
基础理解
MJev-Spatial如何用分类表达二维点?
MJev-Spatial: System One Spatial Intelligence via Native Attention Matching
核心机制
MJev-Spatial为什么复用最终注意力的Q/K读候选,而不另接一个普通分类头?
MJev-Spatial: System One Spatial Intelligence via Native Attention Matching
方法对比
MJev-Spatial把计数分两级读出,与用一个类别表示每个整数有什么不同?
MJev-Spatial: System One Spatial Intelligence via Native Attention Matching
实现细节
多阶段空间任务的损失为什么先在同一原问题内平均?
MJev-Spatial: System One Spatial Intelligence via Native Attention Matching
基础理解
MetaEncoder怎样把闭集选择与开放检索放进同一种表示?
核心机制
MetaEncoder的候选可以缓存,为什么请求端加入选项仍不等于候选间全交互?
方法对比
MetaEncoder双塔与拼接请求候选后深度交互相比牺牲了什么?
实现细节
MetaEncoder对比训练的开放负例为何要全batch去重?
基础理解
LLM2Jev为何说现有LLM可以用作有限决策模型?
LLM2Jev: LLMs Are Already Jev-Style Decision Models -- When and How to Fine-Tune Them
核心机制
LLM2Jev为何要把选项字符串的联合概率归一化,而不能随便取最后一个token?
LLM2Jev: LLMs Are Already Jev-Style Decision Models -- When and How to Fine-Tune Them
方法对比
LLM2Jev的KL锚定与直接只训练listwise损失有何区别?
LLM2Jev: LLMs Are Already Jev-Style Decision Models -- When and How to Fine-Tune Them
实现细节
LLM2Jev的reference在辅助KL中应该怎样使用?
LLM2Jev: LLMs Are Already Jev-Style Decision Models -- When and How to Fine-Tune Them
基础理解
Chinese-Jev主要适合怎样的输出任务?
Chinese-Jev: Bringing System One Model to Chinese-Language Tasks
核心机制
Chinese-Jev为什么在候选marker上直接评分,而不是生成选项名称再解析?
Chinese-Jev: Bringing System One Model to Chinese-Language Tasks
方法对比
Chinese-Jev用one-hot标签与软标签分布训练,向模型提供的信息一样吗?
Chinese-Jev: Bringing System One Model to Chinese-Language Tasks
实现细节
Chinese-Jev的softmax应该沿哪个维度计算?
Chinese-Jev: Bringing System One Model to Chinese-Language Tasks
基础理解
GLiClass运行时提供的新标签,是新增一个分类器输出神经元吗?
GLiClass: Generalist Lightweight Model for Sequence Classification Tasks
核心机制
GLiClass运行时可以换候选标签,为什么不能退化成只看文本的固定分类器?
GLiClass: Generalist Lightweight Model for Sequence Classification Tasks
方法对比
GLiClass动态候选打分与逐对cross-encoder怎样区分?
GLiClass: Generalist Lightweight Model for Sequence Classification Tasks
实现细节
本地GLiClass的rival-centered版本中心化了什么?
GLiClass: Generalist Lightweight Model for Sequence Classification Tasks
主题导读与阅读路线
先想一个问题¶
任务只需从候选中选择时,怎样让模型直接输出可用的决策?
记住这一点¶
先明确状态、问题和候选,再选择读出路径。LLM-as-Jev 从模型的选项读出形成有限候选分布,并研究冻结模型与带 KL 锚定的微调;MetaEncoder 把请求和候选独立编码,用相似度做闭集决策或开放检索。前者可以让模型联合看选项,后者能缓存独立候选表示,两者的交互能力与复用成本不同。
一个例子¶
工具路由只有“搜索、计算、拒答”三个动作时,直接返回概率比解析一段自由文本更容易约束。候选多达百万时,双塔可以预编码工具/条目再检索;但需要比较两个候选细节的复杂推理,未必能由一个独立相似度充分表达。
什么时候要小心¶
输出合法 schema 不保证选对,也不保证校准、独立性或任意候选数量下性能稳定。双塔缓存要求候选编码不依赖当前请求。本地 LLM-as-Jev 仅有机制诊断;MetaEncoder 因训练评估成本过高未复现,不能当成本地现成能力。
先读这几篇¶
先读 LLM-as-Jev 的有限候选读出,理解“输出分布而非长句”;再读 MetaEncoder 的共享双塔和独立候选缓存,比较联合选项交互与可检索性。两篇的本地能力状态仍以各自正文为准。
- LLM2Jev: LLMs Are Already Jev-Style Decision Models -- When and How to Fine-Tune Them · 原论文
- MetaEncoder: Exploring the Limit of Bi-Encoders for Multimodal System One Decision Making with Natural Language Interface · 原论文
自测一下¶
候选独立编码并缓存,是否意味着请求也无需重新编码?
展开参考答案
不是。候选可复用,但状态、问题或图像变化后仍要编码新请求,并计算或检索匹配。若把请求特有信息写进候选编码,原缓存也会失效;应按实际依赖关系划分复用边界。