跳转至

Read this page in English

基础模型：按年份

按首次公开年份浏览；同年论文按日期倒序排列。

2026

  • 2026-10 · XLA from the Trenches: Correctness on TPU Workloads at Scale（xla-trenches）：编译器成功生成并执行程序，不保证数值正确。Google 将模板引导合成程序、生产 autotuner 的真实融合配置和 agent swarm 组合，发现静默错编译；随后从大 HLO 图定位到单个 fusion，再保留 fusion 原貌检查 VREG 中间值。它是编译正确性基础设施，不是新的推荐模型或通过 A/B 门槛的工业推荐条目。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport（gavagai）：照护者语言中许多内容词并不指向当前可见物体。逐词对视觉区域 softmax 会强制这些词选择背景，常在画面中的手、地板便吞噬词汇。GAVAGAI 同时加入无容量限制的 Nothing 列和视觉区域的容量上界，不把每个视觉列强制填满。
  • 2026-10 · ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning（proland）：LoRA 的两因子 \(\Delta W=BA\) 可以产生冗余基方向。ProLand 约束 \(B^\top B=I\)，但不每步强制投回流形；它先在 \(BA\) 的乘积空间形成协调的谱方向，再独立以 Landing 恢复可行性。不能用“对 A、B 各自运行一次 Muon”替代该定义。
  • 2026-10 · Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels（fold-bias）：Attention Matching（AM）保留部分 keys，拟合每个保留项的静态 logit bias 和 values。标准 KV cache / attention 内核未必接收这项 bias；直接丢掉它，会改变压缩后注意力。FoldBias 在每个 head 的上下文 queries 上拟合一个共享方向，把每项 bias 写成沿该方向的 key 位移，保持 head 维度和模型自身 query 路径。
  • 2026-10 · GUI-JEPA: Candidate-Conditioned JEPA Latents as a Fast Action Policy for Mobile GUI Agents（gui-jepa）：多数 GUI Agent 依靠 7B 级视觉语言模型逐 token 生成动作。GUI-JEPA 则从 accessibility tree 枚举可执行动作，用冻结 JEPA 编码器只编码一次画面；动作类型、坐标与 ROI 特征条件化残差 predictor，为每个候选生成 latent，再一次批量打分选 argmax，不解码动作文本。
  • 2026-10 · Multi-State Linear Attention with Generalized Second-Order Routing（merlin）：多状态线性注意力把上下文切成段，每段保留一个压缩状态。查询先读取多个状态，再加权汇总。只用位置或每段 key 均值做路由，会忽略同段 key 与查询对齐程度的分布：两个均值相同的段，可能只有一个含特别匹配的 key。
  • 2026-10 · Select-TTT: Query-Conditioned Selective Fast Weight Updates for In-Place Test-Time Training（select-ttt）：In-Place TTT 把 MLP 下投影作为 fast weights，边读上下文边写入；对所有 chunk 使用相同学习率会把无关内容也等强写进去。Select-TTT 不新增检索编码器或可学习门控，而从冻结输出头读取上下文 hidden 对用户问题 token的预测程度，为每个 chunk 生成连续写入倍率。
  • 2026-10 · SWIM: Learning What Matters from Behaviors for JEPA World Models（swim）：JEPA world model 预测视觉 latent，但 latent 欧氏距离不一定反映规划进展。SCALE 用 simulator state 的距离校准 latent 几何；若状态中含无关坐标，均匀加权会把这些干扰也学进去。SWIM 先用已记录动作训练门控逆动力学，再把冻结的连续权重传给状态距离监督。
  • 2026-10 · ResCom: Activation Residual Compensation for Large Language Model Quantization（rescom）：低比特激活把不同输入压到同一量化格点后，只读取量化值的补偿器无法分辨格点内部的差异。ResCom 保留当前前向中的残差 \(d=x-Q(x)\)，在冻结既有量化模型之后，以低秩分支补回这些残差造成的输出变化；不重新优化主权重或量化器。
  • 2026-10 · DT-JEPA: Learning to Predict Future Representations for Decision-Making（dt-jepa）：传统DT用单个return-to-go条件，无法区分回报相同但未来动力学不同的轨迹。本方法将条件改成由历史预测的未来latent分布：历史encoder生成Gaussian参数，EMA target encoder只在训练期编码真实未来；重参数采样的预测未来通过独立gamma/beta MLP调制DT hidden。离线目标为BC加Gaussian NLL；在线通过双target critic的较小值构建多步target，并优化Q1指导的actor目标。
  • 2026-10 · EditJev: System One Routing for Image Editing Models（editjev）：固定使用一个图像编辑器会忽视样本级互补性。EditJev先离线让所有候选产生输出并由judge评分，再将可靠质量差转为pairwise监督；router不生成模型名称，而直接输出固定候选顺序的utility vector。推理无需先运行各编辑器，仅对utility加beta倍固定速度分后选一次argmax。
  • 2026-10 · PathJev: Decision-Native Vision–Language Modelling for Histopathology（pathjev）：模型一遍前向在question/candidate markers读取hidden，decision head混合candidate线性项、question-candidate交互和set attention，对runtime候选做softmax。head和两阶段训练继承已有OmniMed-Jev；PathJev的重要新增是病理40K states、专家标签到三种typed decisions、split/overlap审计、未见器官与generative readout对照。不能只实现一个普通softmax就声称复现病理泛化。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · Inside-JEPA: From Prediction to Relational Grounding in Latent World Models（inside-jepa）：普通 JEPA 能预测潜在状态，但潜变量未必对应可解释关系。本文把每个有序实体对的关系通道直接拼入动态状态，并要求逆动态头根据前后关系通道恢复动作；预测损失的未来目标仍由 EMA 编码器提供，而逆动态的未来状态必须来自可反传的 online 编码器。仅预测、读全部状态、只读实体和打乱动作标签的对照用于区分信号来自哪里。原文 §3
  • 2026-10 · Jev-DLC: Decision-Level Continual Learning from Typed Feedback（jev-dlc）：类型化决策能给出明确 accept 或 revoke(旧选择→新选择)。Jev-DLC 不把完整历史重新塞进模型，而是在冻结 scorer 上维护两个紧凑通道：保守通道记住重复动作的语义计数与局部方向；响应通道只存当前修正方向。反馈只能影响之后的请求，不能先看当前正确答案再报成功。
  • 2026-10 · LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning（lazyflash）：与稀疏前向attention不同，LazyFlash保留训练和部署前向完全dense。它按query block的dO Frobenius范数衡量梯度贡献，用gradient-mass budget约束预计丢弃量，并importance采样反向block。必须在tiled FlashAttention反向内部跳过内存访问/计算，才能兑现论文速度；用PyTorch dense backward后置零或toy mask不构成该方法的低成本完整实现。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · OpenAttention: One Percent Is Enough with Tail Proxies（openattention）：低读取率稀疏注意力不只需要选出少量重要 KV，还需要处理未读取的尾部。OpenAttention 在 query 二阶矩定义的几何空间内聚类，以 ErrorGate 估计簇内代理误差并分配精确读取预算；每个簇的未读部分成为一个带计数的均值代理。它不是单纯的 top-k 截断或均值池化。
  • 2026-10 · Rethinking Sequence Compression with Test-time Regression（ttr-compressor）：固定池化或投影分别聚合 token，难以按当前输入的相关结构调整压缩。TTR 把一组 token 视作回归观测：由 token 方向构造 key，由保留模长的原始 token 生成可学习标量 target；每次前向精确求解 ridge 系数，直接把系数作为压缩表示。外层任务 loss 通过闭式求解训练 target 投影与正则。
  • 2026-10 · Reverse-KL Policy Distillation: Statistical Guarantees and Limits（rkl-policy-distillation）：反向 KL 的风险取决于候选策略自己的访问分布。仅在过往 rollout 状态上重新拟合 token KL，会把“候选自己很少到达的状态”算得过重。本文的在线 full-feedback Algorithm 1 同时截断累计 KL 和前缀重要性比，通过有界候选/rollout 比较更新策略空间中的指数权重。
  • 2026-10 · ALPS: Visual State Encoders for World Models（alps）：世界模型以视觉 token 为状态进行预测和规划，但一个编码器通常只擅长物理状态、语言对齐或像素重建中的一部分。ALPS 尝试让同一组 patch token 同时承担三种接口：机器人状态探针能读出位置，文字指令能对应图像，而未来 token 能被解码成图像以便检查。
  • 2026-10 · Building Auditable AI Text Detectors with Sparse Autoencoders（detector-scope）：DetectorScope 把黑盒检测器的残差流转换为 SAE 稀疏特征，按 token 取最大值后跨层拼接，再用自动解释的验证分数筛掉不可靠概念。轻量 L1 线性头只使用保留特征，因此每个预测能分解成可置零核验的概念贡献，而不是在黑盒输出后补写理由。
  • 2026-10 · MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs（moezip）：MoE 的 KV 删除会扰动 attention 输出，进而改变路由。MoEZip 用已观察 instruction token 的路由分布 Fisher trace 作为敏感性代理，经 attention 传播到 context 位置，预留全局 routing anchors；其余预算沿用调用者提供的 dense/MoE base compressor 分数。future answer 不可用于真实选择。
  • 2026-10 · Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories（right-on-q）：低比特量化会改变模型生成的前缀。只在固定的全精度参考回答上蒸馏，不能覆盖量化学生真正遇到的错误和长推理状态。OnQ 从逐 block 校准开始，让量化学生自己生成回答，再由冻结的原始全精度教师在相同学生前缀上提供分布监督。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · When Multiple Choices Are Correct: Asymmetric Probability Allocation in Jev and Other Decision Models（jev-multicorrect）：当一个列表有多个正确选项时，模型可能把大部分概率分给其中一个正确项，另一个正确项虽高于所有干扰项，概率仍低于均匀基线。单选 top-1 或“正确项都排在干扰项之前”因此会掩盖完整集合恢复的失败。论文同时分析 JEV、Luna 和 Gemini，避免把所有现象都归因于某一种架构。
  • 2026-10 · LocaLeJEPA: Maximum Entropy Representations under Geometric Priors（locale-jepa）：LeJEPA 将整体表示推向各向同性高斯；当表示本身具有局部流形、双曲或等变几何时，单一全局分布不一定合适。LocaLeJEPA 不改写为另一种高斯损失，而是将每个 batch 的多视图平均表示分簇，在各簇内分别匹配均匀球分布。各簇位置不被拉向共同原点，局部形状通过重中心后的残差约束。
  • 2026-10 · RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies（race-rope-compression）：把KV写成低秩形式却在注意力前还原，可能节省缓存但增加运算。RACE直接改变注意力head的宽度：Q和K共享选择，只保留完整RoPE旋转对；V通过校准激活的右奇异子空间投影；再将两种变换折叠到Q/K/V/O权重。保留原模型频率及原head维度缩放，避免把缩小维度当作新模型重新编码。
  • 2026-10 · Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity（stratified-sparse-attention）：只保留 top-k 会丢掉尾部质量；均匀抽样又浪费预算。SSA先确定保留高概率项，再按残差代理分布抽样。关键不是“top-k加采样”的外形，而是有放回抽样后去重，按每个token至少出现一次的包含概率修正。论文的自适应 Algorithm 1 与实际优化内核的固定 heavy fraction 版本不同；本地实现前者，不冒充后者的速度。
  • 2026-10 · DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia（deepsea）：现有多语言评测对东南亚低资源语言覆盖不足。DeepSEA 通过专业翻译与质量审核扩展五类公开任务，支持按语言资源层级比较推理、问答和生成表现；研究同时分析英语中转、错误类型及 tokenizer 效率。它是 benchmark，而非改变语言模型参数的训练算法。
  • 2026-10 · FLINT: Fixed-budget Late Interaction（flint）：ColBERT 对每个 token 保留向量，文档越长索引越大，长查询也需要更多次向量检索。ConstBERT 固定了文档侧预算，但查询仍逐 token。FLINT 则在共享 backbone 后，用两套不同的可学习 latent 分别读取查询和文档 token；交叉注意力、FFN 参数共享，双方输出都固定为 \(V\) 个向量。它不是截取前 \(V\) 个 token，也不是简单平均池化。
  • 2026-10 · Kronecker Delta Rule for Long Context Linear Attention（kronlstm）：标准 DeltaNet 用向量误差 \(Sk-v\) 更新矩阵记忆，会干扰与当前 key 重叠的其他关联。Kronecker Delta Rule 修正的是一个 key-value 对的标量关联 \(v^TSk\)；记忆修订沿 \(v k^T\) 的单一矩阵方向进行。KronLSTM 再加入 key 轴逐通道遗忘和分离 erase/write 门。
  • 2026-10 · T-MUON: Tensorizing Muon via t-SVD for Large Language Model Pre-training（t-muon）：普通 Muon 逐矩阵求 polar。本文先把结构相关矩阵放进三阶张量，再在第三轴变换域分别求 polar；这不是把张量任意展平后运行普通 Muon。分组方式与变换方式是两个独立选择：论文比较相邻层、QKV、单矩阵的 head、QKV 的 head-stack。
  • 2026-10 · Muse Glimmer 30B: An On-Device Agentic Model（muse-glimmer-30b）：模型瞄准有32GB专用内存的端侧Agent：语言骨干用稠密Transformer而非MoE，在相同内存预算下用缩放实验选架构；约1.8B冻结视觉编码器支持图文交错输入。52层采用三层2048窗口局部注意力接一层全局注意力，32Q/2KV的GQA，局部层使用RoPE，全局层不再施加RoPE。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · BMuon: Budgeting Muon's Spectral Geometry for Structured Compressibility（bmuon）：Muon的spectral-norm更新不一定产生容易按隐藏通道剪枝的权重。BMuon不在前向额外加gate，也不只是对训练好的Muon模型剪枝；它让所有MLP块的隐藏通道共享同一分配预算，并在每个通道的输入行/输出列两侧共同改变更新几何。
  • 2026-10 · Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking（jev-portuguese-ir）：检索中“给文档打离散相关性标签”和“给候选排序”并不是同一个任务。论文在四个巴西葡语检索集上，用 Choice 输出有序标签并比较人工/原始 qrels；另在 Quati 中把每个文档是否直接回答查询表示为独立 Noul 概率，收集全部批次再排序。候选不在单一 Choice 中竞争，也不与 BM25 分数混合，不训练校准模型。
  • 2026-10 · Persistent Planar Memory for Video World Models（ppmem）：长视频生成若只保存少量历史帧，跨视角回访容易遗忘场景；持续保存全部像素点云又非常大。PPMem把场景记忆压成可光栅化的平面primitive，在视频生成过程中由同一骨干联合预测，再通过持久pool向后续chunk反馈深度。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · Sink-Sparse Hybrid Attention for Efficient Inference in T2I/T2V Diffusion Transformers（sink-sparse）：扩散Transformer在每个去噪步重复执行昂贵的attention。本文观察到某些层/头中的高概率block关系在不同提示和seed下较稳定，因此一次离线校准即可得到静态稀疏支持；另用低分辨率全局KV分支补回分散上下文，无需改权重或采样schedule。
  • 2026-10 · AdaLoop: Thinking with the Vision Encoder（adaloop-vision）：普通 VLM 对所有问题只编码图像一次。视觉 AdaLoop 保持预训练视觉权重冻结，以问题池化向量调制共享视觉块，再循环更新内部视觉状态。它将“看几次”与问题联系起来，而不是让语言模型独自承担全部推理。
  • 2026-10 · Architecting for Hardware Diversity: Meta's End-to-End Co-Design for High-Performance AI Training on AMD GPUs（hardware-diversity）：CUDA 程序能够转换为 HIP，不代表跨硬件性能相同。本文以推荐训练为案例，联合修改模型/并行与内存策略，用分析模型选择 GEMM 配置，并用 Agent 辅助编译、调试和内核移植；它是系统研究报告，而非单一新推荐模型。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · BitSparse: Compact Activation Storage for ReLU Feed-Forward Networks（bit-sparse）：ReLU 家族已有大量精确零；BitSparse 保存 bitmask、正值和 tile prefix，在反向时无损重建，避免靠有损量化或额外前向换空间。§3 定义格式，公式 1–2 与 Appendix C 定义 ReLU/ReLU² 线性层反向。
  • 2026-10 · Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches（rope-relay）：selector 删除 token 后，K 仍携带稀疏旧坐标的旋转相位。RoPERelay 不重选内容、不重新 prefill 历史，将选中状态按原始时间排序、压紧坐标，并同步问题及生成坐标。来源为 §3、附录 A 的 Algorithm 1 和数值约定。
  • 2026-10 · Designing Transformers for Continuous Diffusion Language Models（langdit）：连续扩散语言模型要从带高斯噪声的 token 嵌入恢复离散分布。原文§3把架构改动分为三个位置：backbone 的 RMS/QK 归一与噪声条件容量；词表 likelihood shortcut 的显式码本梯度路由和有界校准；训练期 bootstrap self-conditioning 的置信度衰减。LangFlow 的表示、交叉熵和采样器保持不变；Plaid 适配只迁移兼容子集，不能把两套梯度规则混为一谈。
  • 2026-10 · DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction（drop-kv）：只按 attention 权重淘汰 KV 会忽略 value 内容。DropKV 将组合驱逐近似为逐 token 输出扰动，跨观察窗口累加、池化，并保护近期 token。§3 与 Algorithm 1 定义评分；§4 的近似保证有条件，不能解释成任意输入上的全局最优。
  • 2026-10 · EgoP²C: Internalizing Plan-Perceive-Compose for Spatial Reasoning in Egocentric Video（ego-p2c）：第一视角视频空间推理既要提问、采集证据，也要保证感知回答可靠。固定外部视觉工具无法随推理策略一起改进；把规划与感知压到同一组参数中又可能引入梯度冲突。
  • 2026-10 · Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference（fpot）：传统power-of-two权重网格较粗。FPoT将相邻指数间隔减半，兼顾4-bit量化误差与移位加法实现；对奇指数的平方根2系数使用1.5近似，并让校准直接适配这一实际网格，避免“先精确量化、部署时再替换系数”的额外误差。
  • 2026-10 · Gen4P: Video Generators are 4D Perceivers（gen4p）：视频生成预训练包含运动与几何先验。Gen4P不通过多次去噪恢复几何，而是在干净视频潜变量上运行一次DiT编码，用按需cross-attention查询输出3D轨迹、点云、深度和相机参数。连续时间查询适配不同视频长度，冻结depth-LoRA提供额外几何先验，独立4D-LoRA学习新任务。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · LAMP: Layerwise Adaptive Mixing of Predictors for Training-Free Few-Shot Vision-Language Adaptation（lamp）：冻结视觉编码器的中间层包含不同粒度的信息，但维度和相似性结构不同。LAMP不将它们投影到统一特征维度，而是分别拟合支持标签相对CLIP先验的残差，再在类别分数空间混合。区域核只以support bank校准；LAMP-F适配文本原型时，同步更新残差预测，避免原型改变而支持残差仍陈旧。
  • 2026-10 · LCT: Losslessly Compressed Tensors with GPU friendly execution for Training（lct）：浮点指数往往比 sign/mantissa 更可压缩，但训练需要反复编码。LCT 将两部分分开，以固定模型预计算短码，运行时中心变换适应量级，循环 stream 在固定预算之外保留原始指数尾。主源 §4、Appendix B/C；不是用通用 zlib 压缩替代算法。
  • 2026-10 · MJev-Spatial: System One Spatial Intelligence via Native Attention Matching（mjev-spatial）：空间问题往往只需选项、数值或二维点，却仍让 VLM 自回归生成并解析答案。MJev-Spatial 将三者统一为候选分类：decision marker 提供 query，candidate-end marker 提供 key，直接复用骨干最终注意力投影。连续量通过分桶或三级区域细化预测，不增加独立分类头。
  • 2026-10 · Patch where the text is new: a compression view of where byte-level models should spend compute（novelty-patching）：Byte-level 模型按 patch 调用全局模型。本文用近期重复程度预测替代纯熵边界；离线计算匹配标签，在线只查前两字节。主源位置为 §3 方法、§4-7 结果及负结果、§8 限制和 Code and data。
  • 2026-10 · Prism-1: Position- and Rival-Independent Scoring for System One Models（prism-1）：JEV/System One 选择模型希望在一次前向中选出工具、意图或界面元素。普通多选提示会让答案依赖选项顺序和无关选项。§2–4 由 Luce 选择公理推导：每个选项的分数只能看共享状态、问题和该选项本身；最后对独立分数做 softmax。只在输出层加 softmax、不隔离 attention 或不重置位置，都不能保证这一性质。
  • 2026-10 · Rethinking Routing Exploration in Modern Mixture-of-Experts（mirror-moe）：共享专家占据较多输出后，改变路由专家带来的表征差异减弱，而细粒度分割又扩大组合空间。MirrorMoE 不简单增噪，而是以镜像选择暂时抑制部分专家，随训练退火恢复普通路由。主源是 §3 的公式 3–6。
  • 2026-10 · Retrofitting Recurrent Vision-Language Models from Pretrained Backbones（rr-vlm）：预训练 VLM 的语言层可以剪掉一段，再共享循环保留核心块；但直接手术会破坏语言能力及图文对齐。RR-VLM 用一个线性 adapter 融合 prelude 上下文与循环状态，并依次执行文本恢复、projector 对齐、全模型指令恢复；文本和最终阶段加入原始未剪模型蒸馏。
  • 2026-10 · RoleQ: Role-Aligned Scales for Converting Language Models to Ternary（roleq）：按矩阵布局统一逐行放scale，会把写入残差流的不同功能单元混在一起。RoleQ按功能角色选轴：reader（Q/K/V与MLP输入）每输出单元一scale，writer（O与MLP输出）每输入单元一scale。完整RoleQ-T还需要旋转、GPTQ、蒸馏及可选Fisher二平面，不能以单个量化函数替代。
  • 2026-10 · SoftCache: Adaptive Step Size Caching for Diffusion Transformers（softcache）：动态缓存通常只决定“刷新/重用”，仍沿固定时间网格走。SoftCache 将累计陈旧度距离阈值的 headroom 转成连续步长：缓存越可靠就走得更远。它用两次新鲜残差作时间外推，并重新排布剩余节点，使跳过的节点不会又被访问。
  • 2026-10 · When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark（muon-paired-budget）：优化器每步效果更好不等于同时间更好，也不意味着更容易调参。论文在单A100上对齐初始化、数据顺序和开发候选数，分别比较数据、训练时间、冻结调参池三种预算。它不是新的Muon优化公式，主要贡献是谨慎分离比较口径。测试数据在选参和轨迹分析冻结后只评一次。
  • 2026-10 · When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill（remote-kv-tiers）：缓存命中不一定更快。该工作先计算加载与重算的盈亏平衡带宽和固定开销，再把MLA KV缓存按PCP rank分片，并使用rank独立远程实例和异步加载消除队首阻塞。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning（oob-regularization）：联合嵌入自监督学习一方面拉近同一图像的不同增强视图，另一方面用抗坍塌正则保持表示多样性。小 batch 对整个表示分布的估计可能很差；单纯增大 GPU batch 又受显存限制。
  • 2026-10 · EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos（egojepa）：人类第一视角视频中的手运动不需要经规则映射为每种机器人的动作。EgoJEPA先用手部运动差分条件JEPA预测未来视觉表示，再联合建模视觉与潜动作，最后仅适配目标机器人的输入输出动作接口。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · ESC: Escaping 2D Diffusion Ambiguity with Geometric Constraints for Consistent Novel View Synthesis（esc）：单幅图像经扩散模型生成新视角时，2D视觉质量或相机姿态对齐不保证3D几何一致。ESC 联合生成 RGB 与逆深度，用 Plücker ray maps 条件化 Qwen MM-DiT，并以双向深度重投影约束 PCC 识别“物体消失”与“凭空出现”。推理时按 PCC 在多次随机生成中选优。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon（smrc-pmrc）：低秩优化器只存投影后的动量，能减少持久状态；但梯度主奇异方向可能被噪声占据，直接丢掉子空间外分量会遗漏有效下降方向。本文让低秩动量负责投影内更新，原始梯度的正交残差负责其余方向，不额外保存一个全尺寸残差状态。
  • 2026-10 · One-Step Prediction Fidelity Is a Poor Proxy for Planning Performance in JEPA World Models（jepa-prediction-planning）：JEPA 在自己的潜空间预测下一观察，较小的一步 loss 不一定表示更好的长程行动。论文固定一个只在真实观察编码上拟合的物理状态解码器，分别解码真实下一表征与预测下一表征，把编码器本身的可读性和预测器新增的误差拆开。规划仍用相同 checkpoint、相同任务和配对种子单独执行，不能由预测指标推导成功率。
  • 2026-10 · Open-world AI: a Tale of Three Requirements（memory-mosaics-plus）：固定任务的 IID 泛化不等于在开放世界中学习新任务。论文提出推理时学习、丰富表示和预测性解耦三个要求。§3.2 的 Mosaics+ 用短期模块先处理近期依赖，再以 Gaussian-kernel 长期记忆检索预测关联；two-stage 版本分别估计当前任务与相关任务，避免一锅混池让不相关历史越多越有害。
  • 2026-10 · PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference（pn-mix）：长输出解码的 KV cache 随 token 数增长；一律把 K 降到低位宽，会放大 attention logit 的偏差。PN-Mix 的精度分配不是仅按 K 的幅度排序：它同时观察 prefill 的 Q 和 K，把实际 RoPE 旋转耦合的两个通道作为整体，以两侧平均范数乘积预测重要性。
  • 2026-10 · Selective Reasoning for Typed Decision Models: When to Start, Read, and Stop（selective-reasoning）：Typed decision model 从明确候选中返回选择，适合 JEV / System One 式判断，但直接读出不一定足以完成多步推理。始终生成很长的推理又浪费算力。本论文在冻结 Qwen3.5-4B 上拟合共享 candidate-answer reader，让空推理前缀和中间推理前缀都能返回候选分布。
  • 2026-10 · Time-JEPA: Grounding Video World Models with Physical Time Series（time-jepa）：视频自监督目标不必保留精确的速度、关节角等物理状态。Time-JEPA 用同步传感器或标注作辅助目标，但它们不是编码器输入：训练时同一个 online encoder 分别处理 masked 上下文和 unmasked 视频，评测移除物理态 head，仍只输入视频。
  • 2026-10 · The Company a Question Keeps: Auditing Open Jev-Style Models for Retrieval（jev-request-audit）：合法结构化输出不能保证问题彼此独立。论文分离三种干预：增加请求问题时保持证据和目标命题不变；增加证据时保持原目标、候选资格不变；增加可选候选时保持全部显示证据不变。这样可以区分问题 schema 依赖、真实上下文改变和候选归一化效应。
  • 2026-10 · Does System One Transfer? Calibrated Typed-Decision Models, Label Budgets, and Translation for Indonesian Regional Languages（jev-regional-transfer）：“输出概率校准良好”不等于“能可靠排序自己的错误”。本文在 NusaX 的 12 种语言和 NusaTranslation 的 7 种平行语言上，分别研究准确率、校准、错误排序、翻译和所需人工标签量。英语/印尼语和区域语言共享句子 ID，因此跨语言比较需要以句子为聚类单位，而不是把语言版本当独立样本。
  • 2026-10 · DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs（dualquant）：W+A量化中，权重与激活误差相互放大；仅最小化逐row动态范围不能消除跨row系统性column outlier。DualQuant只读取静态权重，以row/block尺度与column尺度共同最小化重建MSE。
  • 2026-10 · EV-JEPA: Elastic V-JEPA for Any Device and Cross-Device Inference（ev-jepa）：固定容量的视频模型难以同时适配端侧预算和跨设备协作，独立训练不同宽度也不保证中间表示兼容。EV-JEPA共享嵌套宽度参数，每步联合训练窄、宽与窄转宽三条路径，以冻结视频教师约束共同表示空间，并增加可调token压缩。 成本过高，暂不复现；待验收，未注册可执行入口。
  • 2026-10 · Multi-Stream Attention Residuals（msar）：标准残差把历史更新压成一个累加向量；AttnRes 能逐层检索，但只有一个深度注意力流。MSAR 保留每个完整 hidden 向量，用序列上下文产生不同尺度的完整视图，再对每个流独立做深度 softmax。
  • 2026-10 · Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels（oal）：预训练 attention 的 QK 各维度贡献不均匀，少量高贡献坐标包含较多 softmax 近似误差。OAL 先在 post-RoPE QK 上计算因果贡献，以 prompt bootstrap 识别高贡献尾部的稳定边界；随后学习共享组和组对系数的二次核。
  • 2026-10 · On the Design Space of Continuous Diffusion Language Models（doublecat-semicat）：One-hot continuous flow 在接近终点时训练几乎只看见低熵顶点，但推理跟随有熵 denoiser 概率，产生轨迹错配。DoubleCat 在高斯路径内部再插入 simplex prior 到 one-hot 的插值，把训练质量移到更像推理的 simplex 内部。
  • 2026-10 · Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers（orthros）：长 prompt、短回答的推理中，prefill 与 decode 的计算角色不同。Orthros 保留两个 token 流：base tokens 对所有位置执行固定窗口 SWA，并构建完整的逐层 KV；output-specific tokens 只在需预测输出的位置出现，用共享 KV 做全历史 causal cross-attention。
  • 2026-10 · ReplaySSM: Cache SSM Inputs, Not State（replayssm）：Mamba2/GDN 解码一般每 token 读写完整矩阵状态，常受显存带宽限制。ReplaySSM 把持久化状态与输出计算拆开：每 16 token 才刷新 checkpoint，其间只记录小型输入；输出由 checkpoint 与输入重放计算。
  • 2026-10 · SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices（smolwam）：Cosmos Policy 将机器人状态、两路相机、动作和未来状态编码为九个 latent frame，沿用视频生成接口：33 帧 VAE、T5-XXL、28-block 2B DiT、1764 tokens 和五步去噪。SmolWAM 并非只换一个轻量 action head，而是在保留预训练 trunk、token 原位置与 rectified-flow readout 的同时，逐项恢复接口改变造成的分布偏移。
  • 2026-10 · CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models（cots）：连续 reasoning 的 soft token 可能偏离离散轨迹。CoTS 用 top-2 概率竞争分配 soft 混合强度，保留 sampled token 至少半数权重，并在结束推理后锁定纯离散输出。主源为 §3.1-3.3 的公式 1-6；实验配置和消融见 §4。
  • 2026-10 · Few-Step Generation via Data-Space Iteration（data-space-iteration）：常规 few-step flow generator 需要预设时间离散化，每步在加噪/去噪轨迹上前进。Data-Space Iteration 改为固定同一份噪声，用共享网络反复改进数据预测；每步 index 只表示 refinement，不是 flow time。训练沿用 distribution matching distillation：真实冻结 teacher 与逐步拟合生成分布的 fake 给出方向，前缀 rollout 无梯度，仅当前 refinement 更新 generator。正文方法与附录代码。
  • 2026-10 · LeWAM: End-to-End World and Action Modeling with JEPAs（lewam）：传统 JEPA 学习“给定动作会到什么状态”，之后另训逆动力学或在线搜索动作。两阶段会使控制监督无法塑造视觉表征，宽高斯动作搜索也较昂贵。
  • 2026-10 · MetaEncoder: Exploring the Limit of Bi-Encoders for Multimodal System One Decision Making with Natural Language Interface（metaencoder）：将Muse-Glimmer30B变为共享双塔，请求和候选均可含自然语言及图像/视频；保留因果注意力，取归一化末token向量。候选独立编码可缓存；闭集允许将选项加入请求，训练时部分dropout选项，防止仅依赖文字匹配。原文§3 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-10 · Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization（adamw4bit）：AdamW 的量化误差会进入后续矩递推。ZIP-SR 在预条件器空间随机舍入第二矩；ZE-EDEN 排除零码点并校准块尺度。两者使用 NF4 第一矩，训练末尾 10% 对 LM head 第一矩随机舍入。原文
  • 2026-10 · Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts（elastic-expert-routing）：固定 Top-k 会让排序边界外的专家长期缺少训练曝光。该方法训练时为每个 token、每层独立抽取邻近的专家预算，在不改变期望预算的情况下，让边界附近专家参与真实稀疏计算。部署时恢复固定 k。
  • 2026-10 · SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference（sparse-decoding）：固定文本的 teacher-forcing 激活不等于模型自回归生成时的激活。该方法让稠密模型先从任务问题生成回答，只保存逐 token 解码激活、排除 prefill，再用这些统计量执行剪枝。校准协议与剪枝后端分离：原文主要使用 SparseGPT，也报告 Wanda 消融。
  • 2026-10 · Specialized Decision Models vs. General-Purpose LLMs: Benchmarking Jev Across Knowledge, Reasoning, and Multilingual Tasks（jev-capability）：论文用有限候选选择评估 Jev 的知识、推理和多语言能力。每题只提交问题与候选，运行一次；数学任务表现弱于知识任务。原文中的供应商分数与作者实测并非统一提示协议，本地实现因此分别记录，不混成可比排名。本文是评测研究，不提供新架构或训练目标。
  • 2026-10 · VFold: Symmetry-Aware Cross-Layer Value Cache Compression（vfold）：相邻层的 Value 不一定在同一坐标系。VFold 用满秩 CCA 对齐和 Hungarian 头匹配，离线把变换折进 Value/输出投影；当前 token 先以完整 Value 参与注意力，随后才与相邻层平均共享。Key 不合并，首尾重要 token 独立保存。
  • 2026-10 · Video Encoders Built on Image Representations（video-encoder-selection）：逐帧图像编码保留可寻址的单帧证据，却产生很长的视觉序列。论文先逐帧冻结编码，再结合问题相关性、帧内多样性和跨帧对应，在固定预算内选择原始 token；可选 learned refiner 在选择完成后读取额外邻帧上下文，只更新已保留的锚点，不增加输出长度。
  • 2026-10 · AF-Muon: An AdamW-Free Muon Optimizer for Tied-Embedding Models（af-muon）：矩阵继续用 Muon 谱范数方向，稀疏输入查表与稠密输出分类器共享的词表采用 support-aware 有限帽 LMO，一维参数用 RMS 更新。
  • 2026-10 · IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs（irekogpt）：保留 SliceGPT 投影矩阵而非直接丢弃，使同一 checkpoint 暴露嵌套宽度；再以多压缩率校准和 ridge 修正下游线性层。
  • 2026-10 · LLM2Jev: LLMs Are Already Jev-Style Decision Models -- When and How to Fine-Tune Them（llm2jev）：直接从括号数字选项的 next-token 概率形成有限类别分布；微调时使用 listwise 决策损失，并以 KL 锚定基础模型辅助输出。
  • 2026-10 · MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs（mwop）：在同一注意力头内分别剪 V2V/T2V/T2T 路径，并为视觉、文本执行选择不同 FFN 通道；注意力剪枝后重新估计 FFN 重要性。
  • 2026-10 · Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation（omni-embed-mini）：冻结文本骨干，把每个媒体样本的稠密级联描述经同一文本骨干得到 teacher target，再训练轻量投影器和分阶段 LoRA 对齐六种模态。
  • 2026-10 · Role-aware Heuristic Episodic Attention for Conversational LLMs（rea）：把全局指令放入持久前缀，把多轮交互放入 episodic memory；检索时按角色决定保留原文、压缩表示或省略。
  • 2026-10 · TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fine-Tuning（taco-optimizer）：每个二维权重列只保留绝对值最大的梯度分量及符号，形成 column-wise one-sparse steepest direction；低精度列状态替代逐参数 dense optimizer state。
  • 2026-10 · TESS: Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)（tess）：先分别训练仅看训练集的模型和加入验证集指导的模型，以两者逐样本损失差构造价值伪标签；再用 pointwise value matching 训练数据 selector。避免直接选择目标的病态优化，并让小规模教师产生的选样规则迁移到更大的未见数据池。
  • 2026-10 · VETO: Video Efficient Token Optimization for Vision Language Models（veto）：先在帧内合并语义近邻 token，再对压缩后的 frame representation 做跨帧去冗余；空间先行显著降低全局时间匹配成本。
  • 2026-09 · HAWK: Rethinking Multimodal Drafting for Speculative Decoding（hawk）：从 target 多层隐藏状态学习混合，给浅层 drafter 提供压缩视觉表示，并用 drafter 自己提议后的 shifted trajectory 训练。
  • 2026-09 · Chinese-Jev: Bringing System One Model to Chinese-Language Tasks（chinese-jev）：Chinese-Jev 面向分类、路由、候选选择等封闭输出任务，用轻量 encoder 读取中文上下文和候选项，以各候选 marker 的隐藏状态直接评分。异构标注统一成候选概率分布，先做 1000 万条通用预训练，再按医疗、法律、金融分别微调。
  • 2026-09 · Cross-Entropy Guided Routing in Mixture-of-Experts Large Language Models（ce-guided-moe）：在原生 MoE affinity 旁增加逐 expert token-error head，并用预测误差的 started-log 对路由 logit 做衰减；高预测错误的 expert 在 Top-K 前被降权，同时误差头由真实 next-token CE 监督。
  • 2026-09 · LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization（leapquant）：逐 token 量化递归状态会不断重新舍入。LeapQuant 在一个窗口内保留低比特基态，并以高精度缓冲本窗口更新，窗口末才量化一次；同时把最大 outlier 分解成少量高精度 compensator tokens，对剩余状态平滑后再量化。
  • 2026-09 · On Trajectory-Aware Training for Masked Diffusion Language Models（pumba）：训练时沿模型自己的 progressive-unmasking 轨迹连续展开多个 denoising step，把隐藏 carry 传给下一步，并在固定窗口内通过时间反向传播，使前一步学会产生对后续有用的 carry。
  • 2026-09 · Pretraining Latent Information Feedback Transformers with Teacher Supervision（lift-feedback）：普通 Transformer 的深层信息只能通过下一个离散 token 回到浅层。LIFT 把 teacher 的下一 token top-k 分布预计算成连续状态；训练时 token 与 teacher state 并行输入，同时预测下一 token 和下一 state；推理时改用模型自己的 state。核心目标是 token CE 加 teacher top-k 分布的前向 KL。
  • 2026-09 · SPLASH: Switching Parallel Layouts of Attention with Seamless Handoff for LLM Serving（splash）：统一描述 attention weight 与 KV cache 的所有权，引入权重分片、请求独占 KV 的 DOP；调度器把布局切换成本按剩余步数摊销，在 TP、DP、CP、DOP 间在线切换。
  • 2026-09 · STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization（stepquant）：Delta-rule 线性注意力的固定大小状态会被每个并发请求长期持有，统一低比特量化又会让误差随更新累积。STEPQuant 同时建模状态记忆的剩余寿命和不同 key row 对输出的影响：在固定平均 bit 预算下给重要块更高精度，再用 key-row / value-column 两组 scale 拟合状态分布。
  • 2026-09 · Time-Anchored Diffusion Language Models: Latent-Space Caching for Fast Generation（tadm）：将昂贵 anchor network 的潜表示跨多个反向扩散步缓存，只周期性刷新；小型 fusion module 根据当前状态门控修正陈旧 anchor，再交给轻量 denoiser。
  • 2026-09 · Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling（triadic-linear-attention）：普通线性注意力写入 \(k\otimes v\) 的二维状态；Triadic 再加入第二 key，写入 \(k\otimes k'\otimes v\)，读取时用 \(q,q'\) 收缩两个 key 轴。第二 key 维度为 \(E\) 时，状态容量乘以 \(E\)，只新增两组 projection；\(E=1\) 严格退化为普通线性注意力。
  • 2026-09 · V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents（vjepa-policy）：冻结 V-JEPA 2.1 视觉编码器，在预测视觉潜空间中联合训练 instruction-conditioned future-latent predictor 和 flow-matching action expert；动作生成读取 predictor 的未来信息上下文。
  • 2026-09 · Fractional State Space Transition for Long Sequence Modeling（frac-ssm）：以对数间隔的有限指数模态逼近分数阶动力学的幂律记忆，在有界递归状态下兼顾长尾记忆和并行训练。
  • 2026-09 · MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution（ms-gla）：单一时间分辨率的线性注意力容易形成表征瓶颈。MS-GLA 把 head budget 分配给多个尺度：先做无重叠 masked average pooling，再分别执行 GLA，最后以因果 hold 方式恢复到 token 分辨率，并由输入相关 softmax 路由融合。
  • 2026-09 · Telescopic Language Models（telescopic-lm）：每步随机抽一个网络深度前缀做 next-token 监督，同时保留全深度 anchor，使同一 checkpoint 的每个深度都成为可用语言模型。
  • 2026-09 · Words Speak Louder Than Order: A Behavioral Evaluation of Gemma 4（gemma-priority-protocol）：论文把双文档冲突中的词偏好、来源措辞和呈现顺序分别测量。方法与资源已核：四路交叉、十种提示条件、跨条件共同保留集，以及未筛选敏感性分析。研究范围是单模型、短上下文、英文单词选择；不是新的训练算法，也不是神经回路证据。
  • 2026-09 · dQwen3.5: Adapting Hybrid Language Models into Bidirectional Diffusion Language Models（dqwen35）：把 Qwen3.5 的注意力/RNN 混合骨干改成双向状态传播，再以掩码去噪目标训练为 diffusion language model。
  • 2026-09 · On-Demand Attention: Efficient Long-Context Decoding with Learned Recall（oda）：默认只读局部 KV，由轻量 recall head 在全局注意力发生前预测其收益；仅高收益 token 触发全局读取，完整 KV 仍保留。
  • 2026-09 · ASPIRE: Asynchronous Batch Self-Speculative Decoding（aspire）：每个请求依据在线接受率与当前 batch 成本独立选择 draft 长度，并周期性用全注意力 refresh layer 校正自推测状态。
  • 2026-09 · ECHO: Early-layer Collaborative Hierarchical Orchestration with Bonus Logits in Speculative Decoding（echo）：用早层高频探索与末层低频权威校验组成双循环；两侧 bonus logits 协同补树，并保留精确拒绝采样校正。
  • 2026-09 · How Calibration Content Shapes Attention-Based Reranking（interpolated-null-calibration）：固定v1 Section3 Eq4–7：ΔN=s(empty,I)−s(empty,empty)，Sλ=s(q,I)−[λs(empty,I)+(1−λ)s(empty,empty)]；λ1标准ICR、λ0bare-null。调用方真实三pass提分数并保证doc identity对齐；λ只能validation选。论文oracle λ对全数据查询调参，不能当独立test结果。
  • 2026-09 · LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers（loopspec）：利用循环深度的中间预测做自推测，并以流水线残差提案隐藏验证等待。
  • 2026-09 · OPEN-1B: A Fully Auditable Training Run（open-1b-audit）：固定 kernel reduction、数据批次与集体通信顺序，并用逐步状态哈希支持异构硬件单步重放审计。
  • 2026-09 · Persistent Recurrent Memory Between Transformer Layers Improves Language Model Generalization（persistent-recurrent-memory）：在 Transformer 上下半层之间插入 observe–GRU update–gated influence 的持久状态通路。
  • 2026-09 · AgentKV: Phase-Aware KV Eviction for Agentic LLMs（agentkv）：按 Agent 阶段保留代表性 query buffer，以跨阶段查询相关性决定 KV 淘汰。
  • 2026-09 · Register Tokens for Bounded-State Reasoning in Diffusion Language Models（register-tokens-dllm）：清除上一段文本后仅携带固定数量的连续 register hidden states，让扩散语言模型跨 chunk 推理。
  • 2026-09 · SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking（sas-attention）：硬 Top-K 只能改变被选中的索引，语言模型损失无法沿离散索引直接训练 selector。SAS 不再蒸馏 dense attention：selector 先给历史块连续打分，训练时保留 Top-K 块的连续 gate，并把 log(gate) 加到注意力 logits 内。
  • 2026-09 · Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding（frames-on-demand）：视频只做一次 caption memory；visual-need router 判断文本证据不足时，才在固定预算内读取相关帧。
  • 2026-09 · Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data（repeat-aware-moe）：研究重复数据下 MoE 比 Dense 更早过拟合的问题，并用更强 masking/dropout 抑制 expert 记忆化。
  • 2026-09 · Musec: MomentUm SpEctral Clipping for Stable Muon-type Training（musec）：对 Muon momentum 的奇异值做平滑谱裁剪，避免硬截断不连续，同时限制不稳定大方向。
  • 2026-09 · OmniKVQuant: KV Cache Quantization for Omni-LLMs（omnikvquant）：按短时间窗确定 key 量化范围，并按模态分别旋转 value，处理 temporal drift 与异构几何。
  • 2026-09 · SenseNova-U1.5: Towards Native Unified Visual Intelligence（sensenova-u1-5）：用空间 patch reconstruction 摆脱 tokenizer/VAE，并以多专家 OPD 统一视觉理解与生成后训练。
  • 2026-09 · SWRouter: Similarity-Contractive Window Routing for Multi-Turn Large Language Model Conversations（swrouter）：按相邻语义相似度收缩多轮窗口，再用对比路由器选模型，并分开评测上下文构造和路由正确性。
  • 2026-09 · BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference（beaconkv）：长推理中会出现重新关注早期计划的 Thought Revisiting Token，只用最近 query 预测未来注意力会丢失这些远程依赖。BeaconKV 对历史 query 聚类并维护少量代表 query，用它们为 KV 重要性投票，在固定缓存预算中兼顾近期上下文和远程重访。
  • 2026-09 · KVMem: Virtualizing Million-Token Agent Workspaces on a Consumer GPU（kvmem）：长寿命 Agent 的历史会同时超过显存和模型原生窗口；摘要压缩会丢证据，文本检索又要重复 prefill。KVMEM 把已计算 KV 分页放到 GPU、主存和 NVMe，用模型自身的注意力空间索引挑选相关 block，再物化为不超过原生窗口的执行视图。
  • 2026-09 · Lngram v2: Latent N-Gram Memory with Interpretable Discrete Representations（lngram-v2）：Lngram v2 把 backbone hidden state 投影成多路二进制地址，以最近 1/2-gram 的离散组合 O(1) 查 memory table；多个 route token 经 GQA 读回主干。硬地址保证表示可解释，反事实邻接地址提供训练梯度，零 Sink 允许模型拒绝无用记忆。
  • 2026-09 · Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning（random-attention）：传统 KV 淘汰先计算 token 重要性，Random Attention 则始终保护 prompt，仅在已生成 token 中逐 head 独立随机保留固定预算；它省掉评分 pass，也避免所有 head 被同一排序规则约束。
  • 2026-08 · CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes（criticl）：弱模型错误不是随机噪声，而会聚成可跨模型尺度迁移的失败模式。CritICL 离线归纳 CritBank；static 使用全局高频失败模式，dynamic 根据当前输入检索相关 critique，再让强模型只生成一次答案。
  • 2026-08 · PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference（pace-vlm）：VLM 的视觉 token 一方面在 prefill 阶段带来大量计算，另一方面在抽取阶段仍会保留大量与问题无关的内容。PACE 将两个阶段拆开处理：APC 用浅层 ViT preview 同时估计全局语义密度和局部细节，按图像难度自适应缩放；DDAE 再融合 LLM 与视觉编码器的注意力，以置信度决定两种证据各占多少权重，而不是固定只信一种注意力图。
  • 2026-08 · TwinKV: A Composable Repair Pass for KV Cache Eviction via Pairwise Key Redundancy（twinkv）：现有 KV eviction 常按 token 重要性选择缓存，但可能同时保留多个几乎重复的 key，并删掉没有替代者的 orphan。TwinKV 不替代 StreamingLLM、H2O 等基础策略，而是一个可组合 repair pass：在完全不增加 KV budget 的前提下，找出“被删且没有相似保留项”的 orphan，与“已保留但有高度相似 twin”的 donor 成对交换。
  • 2026-08 · MLLMCLIP: Feature-Level Distillation of MLLM for Robust Vision-Language Representations（mllmclip）：MLLM 的丰富视觉语义难以直接迁移到轻量 CLIP。论文从 teacher 各层按 attention 自适应选 token，以 CKA 对齐 student 图像/文本特征，保留部署时的双塔效率。
  • 2026-08 · VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning（vbvr-pro）：通用 VLM judge 容易被流畅输出误导，难以逐实例核对时空状态。VBVR-Pro 为每种任务定义可执行 scorer，把中间状态、约束和最终状态都变成可验证奖励，并据此训练多模态生成模型。
  • 2026-08 · WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report（wemm-embedding）：不同检索任务通常维护独立的文本、图像、视频或文档 encoder。WeMM 把任意交错多模态输入映射到同一空间：第一阶段用数亿 pair 做大规模 alignment；第二阶段加入精选 relevance、细粒度监督和跨尺度知识迁移，并用 Matryoshka 表征支持按成本选择输出维度。
  • 2026-08 · RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models（rare）：Dense LLM 的 activation steering 直接用于 MoE 时会改变 router logits，token 被送往不同专家后，原估计的行为方向失效。RARE 将任意 steering direction 投影到 router 的零空间，并在后续保护层再次移除传播产生的 router-visible 分量，在保留原专家路径的同时改变行为表征。
  • 2026-08 · Fast A/B/n Testing: Exact Multi-Policy Comparison via Tree-Coupled Feedback Sharing（tcab）：用最大耦合和最小生成树共享相同决策的反馈，同时保持每个自适应策略的边际轨迹分布不变。
  • 2026-08 · Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction（gas）：常规 MLLM 只用文本 next-token loss，视觉结构只能被语言间接监督；统一理解/生成模型又会把生成参数和开销留到部署阶段。GAS 把生成改成纯训练期辅助任务：理解分支与生成分支共享较低层视觉路径，上层 Transformer 参数解耦；生成分支在与 LLM 输入相同的连续视觉空间自回归预测目标图像 embedding。
  • 2026-08 · Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension（olmpool-long-context）：以受控 7B 模型池隔离 normalization、GQA、预训练长度和滑窗注意力对长上下文扩展的复合影响。
  • 2026-08 · DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference（distillcache）：把 KV 淘汰视为序列决策，以逐步 KL 奖励训练轻量策略保留未来预测分布。
  • 2026-08 · Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry（autonomy-heads）：直接从冻结 QK 投影的谱有效秩区分 retrieval 与 streaming heads，无需校准数据或运行时门控。
  • 2026-08 · BaKron: Efficient Quantization with Kronecker-Factored Hessians（bakron）：主题：二阶量化。 GPTQ 通常只利用输入侧曲率；双侧 Kronecker Hessian 更丰富但直接向量化求解昂贵。
  • 2026-08 · Detecting Safety Training Modification in Language Models via Activation Analysis（activation-model-scanner）：通过三个安全相关概念的对照输入，寻找中层激活的类别分离与方向；第一层检查分离程度，第二层与同架构基线比较方向和漂移。该结构信号存在明确盲区，不能替代行为安全评测。核心见§IV，代码约定核对固定上游 extractor.py。
  • 2026-08 · Hierarchical Latent Prediction for Language Models（hilp）：主题：分层 latent 预训练。 NextLat 的逐步 latent rollout 会累积误差。
  • 2026-08 · MACRO: Markov Chain Routing of Transformer Layers（macro）：主题：动态层路由。 固定顺序执行所有 Transformer 层并非总是最优。
  • 2026-08 · DBLast: Dependent Block Drafting for Stochastic Speculative Decoding（dblast）：主题：推测解码。 并行 block drafter 常把位置条件独立化，在高熵采样时难以匹配联合分布。
  • 2026-08 · QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding（qevict）：主题：长上下文 KV cache。 二元保留/删除无法应对注意力漂移：今天不重要的窗口可能稍后重新活跃。
  • 2026-08 · Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes（physics-mm-pretraining）：用受控实验刻画模态知识流、协同/竞争、早期统一和共享 attention+norm/模态专属 FFN 配方。
  • 2026-08 · TaskPress: Query-Agnostic KV Cache Compression via Task-Guided Pruning（taskpress）：固定v2 Section3 Eqs1–3：sum over guide→odd-K零padding平均池化；γ=max|v|/(2^(b−1)−1)，scores=keyimportance×γ，各head同budget独立topk。输入显式是task-to-context sliced attention，不看真实下游query；真实K/V按时间排序gather，guideKV不保留，原position不能重编号。K/GQA聚合由调用方显式给出，tie按低index为本地约定。
  • 2026-08 · DART: Decoded Attention over Recurrent States for Efficient Long-Context Sequence Modeling（dart）：保留 Mamba-2 chunk state contributions，解码 token-conditioned K/V 并执行 state-memory attention。
  • 2026-08 · Learning What to Remember: Test-Time Training via Context Distillation（ttcd）：长窗口教师以隐藏状态差异监督短窗口学生的 fast weights，使有限记忆优先保留未来有用信息。
  • 2026-08 · Role-Decoupled Attention Residuals（rd-attnres）：Block AttnRes 让注意力层从全部历史 residual sources 动态读取，但 Q、K、V 共用一条深度路由。论文指出 QK 负责匹配、V 负责承载内容，两者偏好的深度未必相同；RD-AttnRes 在不改变 residual sources 和 attention 主体的情况下，只为 V 增加一个 model-width 路由向量。
  • 2026-07 · TransMem: Transforming Hidden States into Memory for Large Language Models（transmem）：将冻结骨干的稀疏历史 hidden states 变换成可复用参数记忆，并用 evidence-conditioned self-distillation 学门控。
  • 2026-07 · ReToken: One Token to Improve Vision–Language Models for Visual Retrieval（retoken）：常规 VLM 检索需要先用外部 retriever 找图，再把入选图重新编码，无法直接复用预填充的视觉 KV cache。ReToken 在输入中增加一个可学习 token，让它在最后一层 value projection 空间与每张图的平均 value 向量打分；只训练该 token 和一张投影矩阵，以 class-balanced BCE 监督相关/无关图，VLM 默认冻结。
  • 2026-07 · WIDE: Boosting Adaptive LLM Inference via Token-level Dynamic Width Pruning（wide）：静态剪枝无法按 token 难度分配算力，动态深度又过于粗粒度。WIDE 对每个 token 分别路由 attention head group 和 FFN channel group，并将 mask reorder、block skip 与设备内跳过联合设计。
  • 2026-07 · Penelope: Localized Latent Recurrence for Efficient Structured Reasoning（penelope）：只在一个 decoder 边界执行共享权重的 latent recurrence，用门控状态反复精炼表示，避免整条 decoder 重跑。
  • 2026-07 · DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data（data-orchestra）：固定 corpus-level 清洗会过度处理本来干净的文本，也会对不同噪声使用同一操作。DataOrchestra 为每个 1024-token chunk 生成计划：先选 Drop、Untouch 或 Clean；Clean 时再按 NP（Noise Pruning）→ SR（Surface Rectification）→ PA（Pedagogical Augmentation）选择阶段，并为 rewrite 生成该 chunk 专属 instruction。
  • 2026-07 · Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs（adadsf）：固定比例的 Mixture-of-Depths 会给每一层相同 token budget，但不同层对表示的改写强度并不相同。AdaDSF 先在 dense teacher 上测量各层输入/输出 cosine similarity，再把更多计算分给变化更大的层；每层 MLP router 只把 Top-K token 送入原 Transformer block，其他 token 走 residual bypass。
  • 2026-07 · Anti-Periodic Positional Encoding: Möbius Boundary Conditions Make In-Context Retrieval Reliable（mobius-rope）：标准 RoPE 的随机种子会显著影响长距离 needle retrieval。论文为部分 attention heads 使用反周期频率梯度，使跨完整训练窗口的旋转恒为 \(-I\)；其余 heads 保留标准 RoPE，以维持语言建模能力。
  • 2026-07 · Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks（hope-hilbert）：单看输入权重大小，可能把“函数完全相同、只是参数重新缩放”的神经元排出不同重要性。HOPE把一个神经元写成激活函数与输出向量的秩1张量：它在所有输入上的作用方向，比参数坐标本身更接近需要保留的功能。
  • 2026-07 · Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory（naju）：Mamba 从连续时间系统离散化得到转移，单一耦合门也容易形成“强保留就难写入”的约束。Naju 直接参数化离散 pole，将 retain gate 和 write gate 分开，并保留 token-dependent \(B/C\) 方向、短程因果卷积、直接 feedthrough 与输出调制。
  • 2026-07 · Parameter-free Adaptive Sparse Attention via Compression-Based Content Selection（gzip-sparse-attention）：固定 BigBird/Longformer mask 不理解内容，learned mask 又需要额外参数、梯度估计或专用 kernel。论文把字节序列切成固定 block，用 gzip 压缩率作为无需训练的信息密度信号：高于样本均值的 literal blocks 互相建立长程连接，所有 block 保留局部窗口，不设置固定 global token。
  • 2026-07 · Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context（windowed-mtp）：内置 MTP/NEXTN draft 通常每提出一个 token 都读取完整 KV cache；在百万 token 上，即使 target 已使用 GDN/Mamba 等便宜 verifier，draft 的全量 KV read 仍会成为瓶颈。Windowed-MTP 只改变 draft：保留最前面的 attention sink 与最近 \(W\) 个 token，同时 target 继续读取完整上下文并验证所有候选。
  • 2026-07 · GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries（gaugequant）：LLM 内部通道存在保持函数不变的 gauge 对称性，但不同等价基的量化误差差异很大。GaugeQuant 在训练中在线学习量化友好正交基，以 LogSumExp 压制 activation outliers，不需要额外 calibration corpus。
  • 2026-07 · Convolution for Large Language Models（conv-llm）：自注意力擅长全局依赖，却没有显式的短程归纳偏置。论文固定 Qwen3 主干，系统比较 17 个卷积插入位置，最终选择在 Q/K/V 线性投影后、attention 聚合前加入 kernel=3 的逐通道一维卷积；残差旁路保留原投影，不加归一化或激活，额外参数低于 0.01%。
  • 2026-07 · C²KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference（c2kv）：以 compression tokens 和结构化 attention 学习位置无关、可拼接的压缩 KV manifold，并联合训练压缩与复用。
  • 2026-07 · PPL-Factory: Task-Aware and Budget-Aware Data Selection from Language Modeling to Reasoning（ppl-factory）：固定的“选最难/最容易”规则会随任务和数据预算失效。PPL-Factory 先用冻结基础模型计算任务相关 NLL：语言建模按 packed block，推理 SFT 只看 reasoning/answer response；再按预算切换策略，高预算偏 easy，较低预算选 middle，极低预算从 middle pool 随机抽样以保覆盖。
  • 2026-07 · OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research（open-language-model）：许多预训练框架把模型结构、训练循环和分布式运行强耦合，难以做透明消融。OLM 让组件保持普通 PyTorch module，用 Block、Residual、Repeat、Parallel 描述布线，同一模型可从 notebook 迁移到 CPU、单 GPU 和单机多 GPU。
  • 2026-07 · Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers（looped-latent-attention）：Looped Transformer 重复使用同一组权重，但不同 loop 的 KV cache 仍重复占内存。LLA 学习跨 loop 共享的低秩 K/V latent，服务时按 loop 重建专用 K/V，从 recurrence 冗余中换取近无损压缩。
  • 2026-06 · Cross-Lingual Exploration for Parametric Knowledge（cross-lingual-exploration）：Sec.3.1–4.4与Appendix C/E：完整提示保持原问题语言，majority/minority-aware实际使用语言模型提示聚合而非简单字符串计数，语义正确性和跨语言一致性也由Gemini判定。把counter或字符串翻译器当主模型会破坏核心；本轮不造heuristic组件。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-06 · MiniMax Sparse Attention（minimax-sparse-attention）：长上下文 dense attention 的二次复杂度成为主要瓶颈。MSA 为每个 GQA 组增加轻量 index branch，先选择少数历史 block，主分支再对命中 token 做精确 attention；训练和推理使用同一路径。
  • 2026-06 · Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories（sleep-lti）：上下文结束会丢失短期知识，直接更新基础权重又可能覆盖旧知识。Sleep在活跃学习之外增加离线巩固：多频率记忆模块间先计算未来基础更新但不应用，再扩展低秩专家、用更新前教师巩固到拟更新学生，最后应用更新并清理发送层专家。
  • 2026-05 · XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks（xlgobench）：固定v1 Section2+AppendixC：SLT财富/系数整数−9..9并jumbled chain；DSA状态/动作数相同；PrDSA15动作、传播完整状态概率、top8集合顺序无关；GraphSP唯一最短路（本地rho0 backbone+bypass固定例）；T-RankHamiltonian DAG+transitive edges、nodes:edges1:3。callback只收task/problem白名单深拷贝，score完整JSON，无LLMjudge。
  • 2026-05 · Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory（memory-grafting）：Engram 的大容量条件记忆需要随主模型从零训练。Memory Grafting 先统计高频 2/3/4-gram，用已经预训练的 grafting model 离线编码每个短语最后 token 的中间 hidden state并冻结；recipient 在线只做期望 \(O(1)\) 的最长后缀精确查询。
  • 2026-05 · Customizing an LLM for Enterprise Software Engineering（gemini-for-google）：从企业开发历史中提取高价值代码与交互信号，经过去重、质量过滤和污染控制形成中训练数据；用通用数据回放抑制灾难性遗忘，再做面向内部工具的后训练和部署评测。
  • 2026-04 · Optimized Deferral for Imbalanced Settings（mild）：少数覆盖的专用专家容易被多数专家淹没。论文通过对不同专家设置不同margin约束来平衡学习。保留训练奖励而非以argmin成本生成单一硬标签；这是v1 §5.3 mild目标、§4.2 margin建议的低成本实现。
  • 2026-04 · ProEval: Proactive Failure Discovery and Efficient Performance Estimation for Generative AI Evaluation（proeval）：昂贵模型或评审器不适合每次全量评分。ProEval复用历史模型之间逐题表现的相关性，形成目标模型的概率评分替身；目标分数只在对应题被选中后传入更新。主源：v1 §2.1–2.4 Eq2、5、7、10、12。
  • 2026-04 · FUSE: Ensembling Verifiers with Zero Labeled Data（fuse-verifiers）：多个验证器并不独立，直接平均可能让相关错误相互放大。FUSE 只读取候选分数矩阵，通过二、三阶矩估计查询条件下的验证器质量，选择能缓解相关性的分数变换，再构造正确后验并优化集成器；真实正确标签只用于独立评估。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-03 · Switch Attention: Towards Dynamic and Fine-grained Hybrid Transformers（switch-attention）：静态 hybrid attention 对所有 token 使用固定模式。Switch Attention 学习细粒度 router，只让需要全局信息的 token 走 full attention。
  • 2026-03 · Efficient, Property-Aligned Fan-Out Retrieval via RL-Compiled Diffusion（r4t）：先以集合级复合奖励产生对齐目标，再把目标编译到单次扩散式 fan-out 检索器。
  • 2026-03 · Theoretical Perspectives on Data Quality and Synergistic Effects in Pre- and Post-Training Reasoning Models（data-quality-lsa）：以 in-context 线性回归的权重预测分析预训练与后训练数据协方差。SFT 使用教师中间状态，OS 仅监督最终预测；原文明确 OS 是 outcome-supervised regression，不是包含采样、优势估计和 policy gradient 的完整 RL。§3、§4 给出线性注意力结构及闭式解。
  • 2026-02 · A Theoretical Framework for Modular Learning of Robust Generative Models（modular-robust-generative）：以冻结生成专家为基础，优化面对最差数据域的输入相关 gate。核心不是专家均值：逐输入 softmax 不保证整个生成分布积分为一，必须额外约束全局质量。另将非因果教师采样轨迹蒸馏到只读前缀的因果 router。§5.2、§6、§7.3 给出实施过程。
  • 2026-01 · ECO: Quantized Training without Full-Precision Master Weights（eco-optimizer）：低精度训练通常仍保留高精度 master weights 累积微小更新。ECO 直接在量化权重上更新，将本次重量化误差注入已有动量，避免再保存主权重或持久误差缓冲；Adam 必须使用逐元素有效步长，不能把 SGDM 的标量系数照搬过去。 成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
  • 2026-01 · Mobility-Embedded POIs: Learning What A Place Is and How It Is Used from Human Movement（me-pois）：原方法用访问序列编码器连接短期轨迹与长期地点原型，并把高频地点的时段分布跨空间尺度传给稀疏地点；文本语义作为另一条对齐监督。冻结预训练表征后，再训练地图属性探针。主要机制与公式见原文 §3.2–3.6。
  • 2026-01 · Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models（engram）：MoE 只增加条件计算，模型仍需用计算层反复重建静态局部模式。Engram 把规范化 n-gram 哈希到大 embedding table，进行确定性的 \(O(1)\) lookup，并在早期层门控注入，让 attention/FFN 留给组合推理。

2025

  • 2025-12 · mHC: Manifold-Constrained Hyper-Connections（mhc）：Hyper-Connections 把单一 residual stream 扩为多个流并动态混合，但任意残差矩阵会破坏 identity mapping，深层组合可能放大信号。mHC 将 \(H^{res}\) 投影到 Birkhoff polytope（非负、行列和均为 1），同时约束 \(H^{pre}\)、\(H^{post}\) 非负；这样既保留跨流信息交换，又让每层残差映射非扩张。
  • 2025-10 · Detecting Post-generation Edits to Watermarked LLM Outputs via Combinatorial Watermarking（combinatorial-watermark）：固定v1 Section3 Eqs2–5：调用方提供真实secret分区与base logits；bias δ到当前pattern tag后softmax。Iw(t)对所有cyclic phases检查，global mean；local在完整interior t=w−1..T−w平均w个covering windows。全局>=threshold、局部<threshold，阈值需在calibration控制TypeI。binary周期整周期删除可以不可检测，不能承诺完美定位。
  • 2025-08 · GLiClass: Generalist Lightweight Model for Sequence Classification Tasks（gliclass）：GLiClass 把文本和运行时给定的候选标签放进同一个分类接口，避免生成式 LLM 的解析不稳定，也避免 cross-encoder 对每个文本—标签对逐次推理。本仓库保留“候选内容参与打分”和“一次归一化得到全候选分布”这两个定义性机制。
  • 2025-07 · Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders（mechanistic-etm）：固定v3 Section4.2.2 Eqs9–13：δ~N(0,I)、θ=softmaxδ、βk=sigmoid(W_in vk+b)，W_in为冻结SAE ENCODER，不是decoder；每个feature计数~Binomial(Ntokens,[θβ]i)。variational q拓扑与MC noise显式外传，优化NLL+analytic Gaussian KL。Eqs16–19仅steering才用独立SAE DECODER列方向加权单位化，再移除已有parallel分量、注入指定strength。以不同encoder/decoder的负控防隐式绑权。
  • 2025-05 · Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free（gated-attention）：softmax attention 的 value aggregation 到 output projection 之间基本是线性映射。论文系统比较 30 种门控变体，发现最简单稳定的方案是在每个 attention head 的 SDPA 输出后施加 query-dependent sigmoid gate：既增加非线性，也能稀疏抑制无用 head 输出。
  • 2025-04 · SmolVLM: Redefining small and efficient multimodal models（smolvlm）：SmolVLM 重新分配小模型视觉/语言侧算力，以 pixel shuffle 将相邻空间 token 搬到 channel 维，再用 MLP 映射到 LM 空间；同时研究长上下文、图像切片、学习位置 token 和数据配比， 使 256M/500M/2.2B 模型在低显存下保持图像与视频能力。
  • 2025-02 · Muon is Scalable for LLM Training（muon）：AdamW 把矩阵参数当作独立标量更新，Muon 则把隐藏层梯度视为矩阵，通过 momentum 与 Newton–Schulz 近似极分解得到正交化更新方向。论文为大规模训练补上 weight decay 和按参数形状缩放；非隐藏矩阵参数继续使用 AdamW。
  • 2025-02 · SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features（siglip2）：SigLIP 2 在 SigLIP 的 pairwise sigmoid loss 上组合 captioning pretraining、global-local self-distillation、masked prediction、在线数据筛选和 NaFlex 动态分辨率，改善语义、定位、 dense feature 与多语言公平性。
  • 2025-02 · MoBA: Mixture of Block Attention for Long-Context LLMs（moba）：把序列切成 block，以可微 router 为每个 query 选择少量相关块，同时保留当前因果块。
  • 2025-02 · Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention（native-sparse-attention）：全注意力的计算和 KV 读取随上下文长度平方增长。NSA 不是在训练后裁剪 attention，而是从预训练开始并行学习三条路径：压缩历史块负责全局轮廓，query 相关的 block selection 恢复重要细节，滑窗保留近期精确信息；三路输出再由可学习门控融合。

2024

2023

2022

2021