跳转至

Read this page in English

基础模型论文与资料索引

本页由统一论文规格生成的 docs/research-manifest.json 构建；元数据维护入口是 打包的 paper.yaml 和按领域保存的 catalog 规格，不直接编辑生成产物。 背景、架构、公式、原文效果和本地实验请进入独立详情页。

论文实现与研究资料

方向 方法 机构与日期 原作者代码 本地入口
推理与系统效率 XLA from the Trenches: Correctness on TPU Workloads at Scale Google，2026-10-31 原作者入口；原文明确macro-graph isolator已上游到OpenXLA，公开HLO isolation文档及evaluator；完整内部agent harness、TPU工具层、生产图集与微融合硬件调试路径未公开，不等于本文整套作者实现已开源 计划键 xla-trenches：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
多模态基础模型 GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport St Thomas’ College of Engineering and Technology，2026-10-30 未发现官方代码 gavagai：仅低成本组件，完整实验不复现
预训练与数据 ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning Shanghai Jiao Tong University，2026-10-30 未发现官方代码 proland：仅低成本组件，完整实验不复现
推理与系统效率 Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels Independent Researcher，2026-10-27 未发现官方代码 fold-bias：仅低成本组件，完整实验不复现
JEPA与世界模型 GUI-JEPA: Candidate-Conditioned JEPA Latents as a Fast Action Policy for Mobile GUI Agents Shanghai Jiao Tong University / Nanyang Technological University，2026-10-27 原作者入口；原作者仓库可访问但固定commit仅README占位；方法源码尚未发布，不能称已开源可执行GUI-JEPA gui-jepa：仅低成本组件，完整实验不复现
注意力与长上下文 Multi-State Linear Attention with Generalized Second-Order Routing Princeton University，2026-10-27 未发现官方代码 merlin：仅低成本组件，完整实验不复现
注意力与长上下文 Select-TTT: Query-Conditioned Selective Fast Weight Updates for In-Place Test-Time Training University of Science and Technology of China，2026-10-27 未发现官方代码 select-ttt：仅低成本组件，完整实验不复现
JEPA与世界模型 SWIM: Learning What Matters from Behaviors for JEPA World Models Boston University / Unity Technologies，2026-10-27 未发现官方代码 swim：仅低成本组件，完整实验不复现
推理与系统效率 ResCom: Activation Residual Compensation for Large Language Model Quantization Institute of Automation, Chinese Academy of Sciences，2026-10-25 未发现官方代码 rescom：仅低成本组件，完整实验不复现
JEPA与世界模型 DT-JEPA: Learning to Predict Future Representations for Decision-Making Southeast University，2026-10-23 未发现官方代码 dt-jepa：仅低成本组件，完整实验不复现
System One / JEV EditJev: System One Routing for Image Editing Models Peking University，2026-10-23 未发现官方代码 editjev：仅低成本组件，完整实验不复现
System One / JEV PathJev: Decision-Native Vision–Language Modelling for Histopathology University of Naples Federico II，2026-10-23 原作者入口；作者方法仓库公开，固定commit目录包含src/inference/analysis/configs/tests及结果；公开模型https://huggingface.co/Cristiandieti/PathJev-P；本轮只核资源，不下载模型/病理数据 计划键 pathjev：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
世界模型 Inside-JEPA: From Prediction to Relational Grounding in Latent World Models Australian Institute for Machine Learning, Adelaide University，2026-10-22 未发现官方代码 inside-jepa：仅低成本组件，完整实验不复现
System One / JEV Jev-DLC: Decision-Level Continual Learning from Typed Feedback The Hong Kong University of Science and Technology (Guangzhou)，2026-10-22 未发现官方代码 jev-dlc：仅低成本组件，完整实验不复现
推理与系统效率 LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning Microsoft，2026-10-22 未发现官方代码 计划键 lazyflash：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
高效注意力 OpenAttention: One Percent Is Enough with Tail Proxies Sogang University，2026-10-22 原作者入口；已公开Apache-2.0源码；核对固定commit 6e43d4fc8c0e95b26d17d198a4545c627b2d6931；本地独立实现单头张量参考，不移植Triton内核或宣称端到端加速 openattention：仅低成本组件，完整实验不复现
序列压缩 Rethinking Sequence Compression with Test-time Regression The Chinese University of Hong Kong，2026-10-22 原作者入口；官方公开源码，固定commit 29f643f1348a4b3893f4740433b1fc8b8c39b2e7；未找到顶层或TTR核心文件的明确授权声明，仅第三方子项目带各自许可证；本地独立按论文公式重写，不复制上游核心代码 ttr-compressor：仅低成本组件，完整实验不复现
策略蒸馏理论 Reverse-KL Policy Distillation: Statistical Guarantees and Limits University of Virginia，2026-10-22 未发现官方代码 rkl-policy-distillation：仅低成本组件，完整实验不复现
视觉表征与世界模型 ALPS: Visual State Encoders for World Models University of California, Santa Cruz，2026-10-21 原作者入口；作者官方Apache-2.0代码及checkpoint已发布；本地固定30ab44b9fcdf3253fc67f5a53e31ea5141eb45c1，不自动下载权重或执行上游脚本 alps：仅低成本组件，完整实验不复现
可解释性 Building Auditable AI Text Detectors with Sparse Autoencoders University of Pennsylvania，2026-10-21 原作者入口；作者官方Apache-2.0源码；建库时间2026-10-24T13:32:05Z，不能把Oct22历史Public Release提交时间当作公开首发时间；固定SHA的Oct24更改仅更新引用。独立实现小规模机制，不加载作者模型。 detector-scope：仅低成本组件，完整实验不复现
MoE路由 MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs Korea University，2026-10-21 原作者入口；作者官方仓库存在且含Apache-2.0 LICENSE，但固定commit 197959dbae2adfab7ec233f584ce951b827e04cc仅README/LICENSE，未发布实现；本地按论文公式独立实现 moezip：仅低成本组件，完整实验不复现
模型压缩与量化 Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories University of Michigan, Ann Arbor，2026-10-21 未发现官方代码 计划键 right-on-q：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
System One / JEV When Multiple Choices Are Correct: Asymmetric Probability Allocation in Jev and Other Decision Models Independent Researcher，2026-10-21 原作者入口；MIT作者代码已发布；arxiv-v1固定7b161f96cd0ff1842845fc66f981d1471cc18151；未公开模型响应 jev-multicorrect：仅低成本组件，完整实验不复现
JEPA与世界模型 LocaLeJEPA: Maximum Entropy Representations under Geometric Priors University of Pennsylvania，2026-10-20 原作者入口；已公开MIT代码；本地独立实现核对固定commit 771361c18d37e65df3dc188761ffb26751ce4e37，论文结果以arXiv v1表格为准，不混用README旧数值 locale-jepa：仅低成本组件，完整实验不复现
注意力与长上下文 RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies MIT CSAIL，2026-10-20 未发现官方代码 race-rope-compression：仅低成本组件，完整实验不复现
注意力与长上下文 Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity Rice University，2026-10-20 原作者入口；论文声明上述作者仓库开源；2026-10-21访问返回404，未取得可核验代码或revision。本地独立依据固定arXiv v1 Algorithm 1实现，不声称复现作者CUDA内核。 stratified-sparse-attention：仅低成本组件，完整实验不复现
多语言与分词 DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia Google Research，2026-10-19 原作者入口；官方代码及数据已公开；固定revision 7c3abc06824c8cb634930ab6049176da30cfa0e7，评分代码Apache-2.0，数据保留上游复合许可。论文翻译MetricX-24未在公开evaluate.py实现；本地只提供明确命名的release chrF，绝不混用 deepsea：仅低成本组件，完整实验不复现
推理与系统效率 FLINT: Fixed-budget Late Interaction University of Illinois Urbana-Champaign，2026-10-19 原作者入口；原作者已发布MIT源码与模型集合；本地核对固定commit 3b3f3e37d34e32ca5c92cc5b66e3f778ae4210ec，不下载模型权重 flint：仅低成本组件，完整实验不复现
注意力与长上下文 Kronecker Delta Rule for Long Context Linear Attention Johannes Kepler University Linz，2026-10-19 未发现官方代码 kronlstm：仅低成本组件，完整实验不复现
预训练与数据 T-MUON: Tensorizing Muon via t-SVD for Large Language Model Pre-training University of California, Santa Barbara，2026-10-18 未发现官方代码 t-muon：仅低成本组件，完整实验不复现
网络架构 Muse Glimmer 30B: An On-Device Agentic Model Meta Superintelligence Labs，2026-10-17 原作者入口；官方已发布Apache-2.0权重、配置、tokenizer与chat template；发布物不等同完整预训练/OPD数据和训练源码，本轮未核到完整训练代码 计划键 muse-glimmer-30b：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
预训练与数据 BMuon: Budgeting Muon's Spectral Geometry for Structured Compressibility Inria，2026-10-16 原作者入口；作者官方仓库存在，但本轮仅有README，明确Implementation and reproduction scripts will be released soon；尚未发布可运行实现，未核到代码许可证 bmuon：仅低成本组件，完整实验不复现
System One / JEV Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking Câmara dos Deputados，2026-10-16 未发现官方代码 jev-portuguese-ir：CPU 评测接口，不执行模型
多模态基础模型 Persistent Planar Memory for Video World Models Tsinghua University，2026-10-16 未发现官方代码 计划键 ppmem：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
推理与系统效率 Sink-Sparse Hybrid Attention for Efficient Inference in T2I/T2V Diffusion Transformers Xi'an Jiaotong University，2026-10-16 未发现官方代码 sink-sparse：仅低成本组件，完整实验不复现
多模态基础模型 AdaLoop: Thinking with the Vision Encoder Harvard University，2026-10-15 未发现官方代码 adaloop-vision：仅低成本组件，完整实验不复现
预训练与数据 Architecting for Hardware Diversity: Meta's End-to-End Co-Design for High-Performance AI Training on AMD GPUs Meta，2026-10-15 论文称改动已上游至 PyTorch、Triton、ROCm；未找到独立整套复现仓库 计划键 hardware-diversity：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
预训练与数据 BitSparse: Compact Activation Storage for ReLU Feed-Forward Networks University of Cambridge，2026-10-15 原作者入口；公开实现，许可证未确认；本地独立实现，不复制上游代码 bit-sparse：仅低成本组件，完整实验不复现
KV缓存 Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches National University of Defense Technology，2026-10-15 未找到已发布的方法仓库；原文附录A.1称将发布 rope-relay：仅低成本组件，完整实验不复现
网络架构 Designing Transformers for Continuous Diffusion Language Models Dots Studio, Xiaohongshu，2026-10-15 未发现官方代码 langdit：仅低成本组件，完整实验不复现
推理与系统效率 DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction University at Albany, SUNY，2026-10-15 原作者入口；Apache-2.0 drop-kv：仅低成本组件，完整实验不复现
多模态基础模型 EgoP²C: Internalizing Plan-Perceive-Compose for Spatial Reasoning in Egocentric Video Arizona State University，2026-10-15 未发现官方代码 ego-p2c：仅低成本组件，完整实验不复现
推理与系统效率 Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference Seoul National University，2026-10-15 未发现官方代码 fpot：仅低成本组件，完整实验不复现
多模态基础模型 Gen4P: Video Generators are 4D Perceivers Nanyang Technological University，2026-10-15 原作者入口；官方仓库已存在，但本轮检查仅有README与assets，Installation和Usage均为WIP；未发布可运行训练/推理源代码，不能把项目占位等同于实现已开源 计划键 gen4p：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
多模态基础模型 LAMP: Layerwise Adaptive Mixing of Predictors for Training-Free Few-Shot Vision-Language Adaptation Taizhou Institute of Science and Technology, Nanjing University of Science and Technology，2026-10-15 未发现官方代码 lamp：仅低成本组件，完整实验不复现
预训练与数据 LCT: Losslessly Compressed Tensors with GPU friendly execution for Training University of Cambridge，2026-10-15 原作者入口；MIT lct：仅低成本组件，完整实验不复现
JEV与单步决策 MJev-Spatial: System One Spatial Intelligence via Native Attention Matching 未注明（论文未列一作机构；公开发布主体为 MindLab），2026-10-15 原作者入口；原作者实现已发布；另有 mindlab-research/MJev-Spatial-4B 公开 checkpoint，本轮不下载 mjev-spatial：仅低成本组件，完整实验不复现
字节级模型 Patch where the text is new: a compression view of where byte-level models should spend compute Independent Researcher, Chile，2026-10-15 原作者入口；MIT novelty-patching：仅低成本组件，完整实验不复现
推理与系统效率 Prism-1: Position- and Rival-Independent Scoring for System One Models Nanyang Technological University，2026-10-15 未发现官方代码 prism-1：仅低成本组件，完整实验不复现
网络架构 Rethinking Routing Exploration in Modern Mixture-of-Experts ETH Zurich，2026-10-15 原作者入口；MIT mirror-moe：仅低成本组件，完整实验不复现
多模态基础模型 Retrofitting Recurrent Vision-Language Models from Pretrained Backbones University of Tübingen，2026-10-15 未发现官方代码 rr-vlm：仅低成本组件，完整实验不复现
推理与系统效率 RoleQ: Role-Aligned Scales for Converting Language Models to Ternary Harvard University，2026-10-15 未找到作者发布的方法实现或可核验许可证；按原文公式独立实现 roleq：仅低成本组件，完整实验不复现
推理与系统效率 SoftCache: Adaptive Step Size Caching for Diffusion Transformers Tel Aviv University，2026-10-15 未发现官方代码 softcache：仅低成本组件，完整实验不复现
预训练与数据 When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark 论文未列一作机构，2026-10-15 未发现官方代码 muon-paired-budget：CPU 评测接口，不执行模型
推理与系统效率 When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill Multiverse Computing，2026-10-15 原作者入口；相关实现以作者提交的LMCache上游PR公开；不将PR公开等同于全部已合入或完整集群复现实验可用 计划键 remote-kv-tiers：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
预训练与数据 Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning European Molecular Biology Laboratory (EMBL)，2026-10-14 未发现官方代码 oob-regularization：仅低成本组件，完整实验不复现
JEPA与世界模型 EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos Mohamed bin Zayed University of Artificial Intelligence，2026-10-14 未发现官方代码 计划键 egojepa：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
多模态基础模型 ESC: Escaping 2D Diffusion Ambiguity with Geometric Constraints for Consistent Novel View Synthesis FAIR at Meta / Mila - Québec AI Institute / Université de Montréal，2026-10-14 未发现官方代码 计划键 esc：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
预训练与数据 Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon Nanjing University / Alibaba Token Hub，2026-10-14 未发现官方代码 smrc-pmrc：仅低成本组件，完整实验不复现
多模态基础模型 One-Step Prediction Fidelity Is a Poor Proxy for Planning Performance in JEPA World Models 论文未列机构，2026-10-14 未发现官方代码 jepa-prediction-planning：CPU 评测接口，不执行模型
网络架构 Open-world AI: a Tale of Three Requirements FAIR, Meta，2026-10-14 原作者入口；官方仓库已发布 Memory Mosaics+ / two-stage 配置与代码；研究注明作者以个人身份完成 memory-mosaics-plus：仅低成本组件，完整实验不复现
推理与系统效率 PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference Seoul National University，2026-10-14 未发现官方代码 pn-mix：仅低成本组件，完整实验不复现
System One / JEV Selective Reasoning for Typed Decision Models: When to Start, Read, and Stop University of Electronic Science and Technology of China，2026-10-14 已开源 selective-reasoning：CPU 评测接口，不执行模型
JEPA与世界模型 Time-JEPA: Grounding Video World Models with Physical Time Series Harbin Institute of Technology，2026-10-14 原作者入口；作者官方仓库已公开，包含src/app/configs/tests和评测脚本；MIT及Apache-2.0许可证文件并存，本轮未下载或执行其完整视频训练 time-jepa：仅低成本组件，完整实验不复现
System One / JEV The Company a Question Keeps: Auditing Open Jev-Style Models for Retrieval Tsinghua University，2026-10-10 未找到本论文 artifact 的公开下载地址（2026-10-14 核验） jev-request-audit
System One / JEV Does System One Transfer? Calibrated Typed-Decision Models, Label Budgets, and Translation for Indonesian Regional Languages Universitas Budi Luhur，2026-10-09 已开源 jev-regional-transfer
推理与系统效率 DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs d-Matrix，2026-10-09 已开源 dualquant
多模态基础模型 EV-JEPA: Elastic V-JEPA for Any Device and Cross-Device Inference Meta Reality Labs Research，2026-10-09 未发现官方代码 计划键 ev-jepa：成本过高，暂不复现；待验收，未注册可执行入口。
网络架构 Multi-Stream Attention Residuals Shanghai Jiao Tong University，2026-10-09 未发现官方代码 msar
注意力与长上下文 Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels The Chinese University of Hong Kong, Shenzhen，2026-10-09 已开源 oal
网络架构 On the Design Space of Continuous Diffusion Language Models University of Oxford / Apple（在 Apple 期间完成），2026-10-09 未发现官方代码 doublecat-semicat
注意力与长上下文 Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers The Hong Kong Polytechnic University，2026-10-09 未发现官方代码 orthros
推理与系统效率 ReplaySSM: Cache SSM Inputs, Not State Princeton University，2026-10-09 已开源 replayssm
多模态基础模型 SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices ML Collective，2026-10-09 已开源 smolwam
连续推理 CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models Xiaomi AI Lab，2026-10-08 原作者入口；未识别明确许可证；公式独立实现，未vendor cots：仅低成本组件，完整实验不复现
生成模型 Few-Step Generation via Data-Space Iteration ByteDance Seed，2026-10-08 已开源 data-space-iteration
多模态基础模型 LeWAM: End-to-End World and Action Modeling with JEPAs UC San Diego，2026-10-08 已开源 lewam
多模态基础模型 MetaEncoder: Exploring the Limit of Bi-Encoders for Multimodal System One Decision Making with Natural Language Interface Meta AI，2026-10-08 原作者入口；官方Apache-2.0评测代码和facebook/meta-encoder权重已发布；不等于已公开完整训练数据与训练源码 计划键 metaencoder：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
训练优化与稳定性 Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization University of California, Berkeley / Nubank，2026-10-08 已开源 adamw4bit
稀疏专家与路由 Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts Shanghai AI Laboratory / Shanghai Jiao Tong University，2026-10-08 未找到作者公开代码 elastic-expert-routing
推理与系统效率 SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference Westlake University，2026-10-08 尚未发布；项目页 Code (soon): https://wang-qitong.github.io/SparseDecoding/ sparse-decoding
System One / JEV Specialized Decision Models vs. General-Purpose LLMs: Benchmarking Jev Across Knowledge, Reasoning, and Multilingual Tasks Dalian Maritime University，2026-10-08 未找到原作者公开代码（2026-10-10 核验） jev-capability
推理与系统效率 VFold: Symmetry-Aware Cross-Layer Value Cache Compression Johns Hopkins University，2026-10-08 已开源 vfold
视频理解 Video Encoders Built on Image Representations Stanford University，2026-10-05 未发现官方代码 video-encoder-selection：仅低成本组件，完整实验不复现
优化器 AF-Muon: An AdamW-Free Muon Optimizer for Tied-Embedding Models 原文首页未列第一作者机构，2026-10-01 未发现官方代码 af-muon
结构剪枝 IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs University of Modena and Reggio Emilia，2026-10-01 已开源 irekogpt
Jev LLM2Jev: LLMs Are Already Jev-Style Decision Models -- When and How to Fine-Tune Them Microsoft（按作者邮箱），2026-10-01 未发现官方代码 llm2jev
多模态大模型 MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs 原文首页未列第一作者机构，2026-10-01 未发现官方代码 mwop
多模态嵌入 Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation 原文首页未列第一作者机构，2026-10-01 未发现官方代码 omni-embed-mini
长上下文 Role-aware Heuristic Episodic Attention for Conversational LLMs 原文首页未列第一作者机构，2026-10-01 未发现官方代码 rea
优化器 TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fine-Tuning University of Central Florida，2026-10-01 已开源 taco-optimizer
预训练与数据 TESS: Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic) Nanyang Technological University，2026-10-01 未发现官方代码 tess
视频 VLM VETO: Video Efficient Token Optimization for Vision Language Models National Taiwan University，2026-10-01 未发现官方代码 veto
多模态推理 HAWK: Rethinking Multimodal Drafting for Speculative Decoding 原文首页未列第一作者机构，2026-09-30 未发现官方代码 hawk
System One / JEV Chinese-Jev: Bringing System One Model to Chinese-Language Tasks Fudan University，2026-09-29 已开源 chinese-jev
MoE Cross-Entropy Guided Routing in Mixture-of-Experts Large Language Models Bar-Ilan University，2026-09-29 未发现官方代码 ce-guided-moe
推理与系统效率 LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization UC Berkeley，2026-09-29 未发现官方代码 leapquant
扩散语言模型 On Trajectory-Aware Training for Masked Diffusion Language Models Apple，2026-09-29 未发现官方代码 pumba
网络架构 Pretraining Latent Information Feedback Transformers with Teacher Supervision Tel Aviv University，2026-09-29 已开源 lift-feedback
推理系统 SPLASH: Switching Parallel Layouts of Attention with Seamless Handoff for LLM Serving Institute of Computing Technology, Chinese Academy of Sciences，2026-09-29 已开源 splash
推理与系统效率 STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization Zhejiang University，2026-09-29 已开源 stepquant
扩散语言模型 Time-Anchored Diffusion Language Models: Latent-Space Caching for Fast Generation The University of Texas at Austin，2026-09-29 未发现官方代码 tadm
网络架构 Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling MIT / MIT-IBM Watson AI Lab，2026-09-29 已开源 triadic-linear-attention
世界动作模型 V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents Tsinghua University，2026-09-29 已开源 vjepa-policy
状态空间模型 Fractional State Space Transition for Long Sequence Modeling Huawei Noah's Ark Lab, Montreal Research Center，2026-09-28 已开源 frac-ssm
网络架构 MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution International Institute of Information Technology Hyderabad，2026-09-28 已开源 ms-gla
网络架构 Telescopic Language Models University of Cambridge，2026-09-28 未发现官方代码 telescopic-lm
公开评测协议 Words Speak Louder Than Order: A Behavioral Evaluation of Gemma 4 Google，2026-09-25 原作者入口；作者官方代码与AD-series原始观测已公开；本地仅复算固定FINAL.json，不使用不可聚合pilot或执行J-Lens、patching、模型推理 gemma-priority-protocol：仅低成本组件，完整实验不复现
扩散语言模型 dQwen3.5: Adapting Hybrid Language Models into Bidirectional Diffusion Language Models University of Texas at Austin，2026-09-17 未发现官方代码 dqwen35
注意力与长上下文 On-Demand Attention: Efficient Long-Context Decoding with Learned Recall Southern University of Science and Technology，2026-09-17 未发现官方代码 oda
推测解码 ASPIRE: Asynchronous Batch Self-Speculative Decoding University of Southern California，2026-09-16 未发现官方代码 aspire
推测解码 ECHO: Early-layer Collaborative Hierarchical Orchestration with Bonus Logits in Speculative Decoding Wuhan University，2026-09-15 已开源 echo
基础模型检索与排序 How Calibration Content Shapes Attention-Based Reranking UC San Diego，2026-09-15 未发现官方代码 interpolated-null-calibration：仅低成本组件，完整实验不复现
推测解码 LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers Seoul National University / KAIST，2026-09-15 未发现官方代码 loopspec
可复现训练 OPEN-1B: A Fully Auditable Training Run Gensyn，2026-09-15 已开源 open-1b-audit
网络架构 Persistent Recurrent Memory Between Transformer Layers Improves Language Model Generalization FITec Labs / Ericsson São Paulo，2026-09-15 未发现官方代码 persistent-recurrent-memory
Agent 推理 AgentKV: Phase-Aware KV Eviction for Agentic LLMs University of Cambridge，2026-09-14 已开源 agentkv
扩散语言模型 Register Tokens for Bounded-State Reasoning in Diffusion Language Models University of Wisconsin–Madison，2026-09-14 未发现官方代码 register-tokens-dllm
注意力与长上下文 SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking Tencent HY LLM Frontier / HKUST (Guangzhou) / HKUST，2026-09-11 已开源 sas-attention
长视频理解 Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding Queen Mary University of London，2026-09-10 未发现官方代码 frames-on-demand
MoE Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data Stanford University，2026-09-10 未发现官方代码 repeat-aware-moe
优化器 Musec: MomentUm SpEctral Clipping for Stable Muon-type Training National University of Singapore，2026-09-10 未发现官方代码 musec
多模态推理 OmniKVQuant: KV Cache Quantization for Omni-LLMs KAIST，2026-09-10 已开源 omnikvquant
统一多模态 SenseNova-U1.5: Towards Native Unified Visual Intelligence SenseTime Research，2026-09-10 已开源 sensenova-u1-5
模型路由 SWRouter: Similarity-Contractive Window Routing for Multi-Turn Large Language Model Conversations Shanghai Jiao Tong University，2026-09-10 未发现官方代码 swrouter
推理与系统效率 BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference Hanyang University，2026-09-04 未发现官方代码 beaconkv
推理与系统效率 KVMem: Virtualizing Million-Token Agent Workspaces on a Consumer GPU Shanghai University of Finance and Economics，2026-09-04 已开源 kvmem
网络架构 Lngram v2: Latent N-Gram Memory with Interpretable Discrete Representations Beijing University of Posts and Telecommunications / Kuaishou Technology，2026-09-03 未发现官方代码 lngram-v2
推理与系统效率 Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning Salesforce AI Research / University of Illinois Urbana-Champaign，2026-09-03 已开源 random-attention
弱模型失败模式 ICL CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes The Ohio State University，2026-08-27 未发现官方代码 criticl
多模态基础模型 PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference Sun Yat-sen University，2026-08-27 已开源 pace-vlm
注意力与长上下文 TwinKV: A Composable Repair Pass for KV Cache Eviction via Pairwise Key Redundancy The Hong Kong University of Science and Technology (Guangzhou)，2026-08-27 未发现官方代码 twinkv
多模态基础模型 MLLMCLIP: Feature-Level Distillation of MLLM for Robust Vision-Language Representations KAIST / Sony AI，2026-08-26 未发现官方代码 mllmclip
多模态基础模型 VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning Nanyang Technological University / VBVR Community，2026-08-26 已开源 vbvr-pro
多模态基础模型 WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report WeChat Vision, Tencent，2026-08-25 已开源 wemm-embedding
网络架构 RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models Huazhong University of Science and Technology，2026-08-21 未发现官方代码 rare
预训练与数据 Fast A/B/n Testing: Exact Multi-Policy Comparison via Tree-Coupled Feedback Sharing New York University，2026-08-13 未发现官方代码 tcab
多模态基础模型 Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction ByteDance，2026-08-12 未发现官方代码 gas
注意力与长上下文 Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension Ai2，2026-08-10 已开源 olmpool-long-context
推理与系统效率 DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference Oklahoma State University，2026-08-09 未发现官方代码 distillcache
注意力与长上下文 Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry Institute of Computing Technology, Chinese Academy of Sciences，2026-08-07 未发现官方代码 autonomy-heads
推理与系统效率 BaKron: Efficient Quantization with Kronecker-Factored Hessians University of California, San Diego，2026-08-06 未发现官方代码 bakron
评测与可靠性 Detecting Safety Training Modification in Language Models via Activation Analysis Google Cloud，2026-08-06 原作者入口；原作者已开源；本轮固定7ae56d3c94d49ca023eb23ef79a241b72b89b35d activation-model-scanner：仅低成本组件，完整实验不复现
预训练与数据 Hierarchical Latent Prediction for Language Models University of Texas at Austin，2026-08-06 未发现官方代码 hilp
网络架构 MACRO: Markov Chain Routing of Transformer Layers Heinrich Heine University Düsseldorf，2026-08-06 已开源 macro
推理与系统效率 DBLast: Dependent Block Drafting for Stochastic Speculative Decoding Huawei Technologies Canada，2026-08-05 未发现官方代码 dblast
推理与系统效率 QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding Indian Institute of Technology Roorkee，2026-08-05 未发现官方代码 qevict
多模态基础模型 Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes Meta，2026-08-05 未发现官方代码 physics-mm-pretraining
推理与系统效率 TaskPress: Query-Agnostic KV Cache Compression via Task-Guided Pruning Google，2026-08-04 未发现官方代码 taskpress：仅低成本组件，完整实验不复现
网络架构 DART: Decoded Attention over Recurrent States for Efficient Long-Context Sequence Modeling Zhejiang University，2026-08-03 未发现官方代码 dart
注意力与长上下文 Learning What to Remember: Test-Time Training via Context Distillation Princeton University，2026-08-03 已开源 ttcd
网络架构 Role-Decoupled Attention Residuals Kehan Wang（论文未列机构），2026-08-03 未发现官方代码 rd-attnres
网络架构 TransMem: Transforming Hidden States into Memory for Large Language Models Authors did not disclose affiliation，2026-07-31 未发现官方代码 transmem
多模态基础模型 ReToken: One Token to Improve Vision–Language Models for Visual Retrieval UIUC / Microsoft Research / Google DeepMind，2026-07-30 已开源 retoken
推理与系统效率 WIDE: Boosting Adaptive LLM Inference via Token-level Dynamic Width Pruning EIT-NLP / LMU Munich，2026-07-30 已开源 wide
网络架构 Penelope: Localized Latent Recurrence for Efficient Structured Reasoning Academic author team，2026-07-28 未发现官方代码 penelope
预训练与数据 DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data Fudan University / Shanghai Jiao Tong University / SII-GAIR，2026-07-27 已开源 data-orchestra
推理与系统效率 Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs Huawei ACS Lab / Southern University of Science and Technology，2026-07-23 未发现官方代码 adadsf
注意力与长上下文 Anti-Periodic Positional Encoding: Möbius Boundary Conditions Make In-Context Retrieval Reliable Independent researcher，2026-07-23 未发现官方代码 mobius-rope
推理与系统效率 Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks Google DeepMind，2026-07-23 原作者入口；Google DeepMind于2026-10-27新公开官方实现，固定f3c4b251d0c9dae05fb165b9bc645a5a52955e62；本地据论文独立实现子组件，不复制上游库 hope-hilbert：仅低成本组件，完整实验不复现
网络架构 Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory Independent researchers，2026-07-23 未发现官方代码 naju
注意力与长上下文 Parameter-free Adaptive Sparse Attention via Compression-Based Content Selection Pennsylvania State University，2026-07-23 未发现官方代码 gzip-sparse-attention
推理与系统效率 Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context NVIDIA，2026-07-23 已开源 windowed-mtp
推理与系统效率 GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries University of Cambridge，2026-07-22 已开源 gaugequant
网络架构 Convolution for Large Language Models Huawei / Peking University / Tsinghua University，2026-07-20 未发现官方代码 conv-llm
推理与系统效率 C²KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference Shanghai Jiao Tong University，2026-07-20 已开源 c2kv
预训练与数据 PPL-Factory: Task-Aware and Budget-Aware Data Selection from Language Modeling to Reasoning McGill University，2026-07-20 未发现官方代码 ppl-factory
预训练与数据 OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research Indian Institute of Technology Madras，2026-07-18 已开源 open-language-model
注意力与长上下文 Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers University of Maryland / Meta AI，2026-07-16 未发现官方代码 looped-latent-attention
多语言推理与评估 Cross-Lingual Exploration for Parametric Knowledge The Hebrew University of Jerusalem，2026-06-23 未发现官方代码 计划键 cross-lingual-exploration：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
注意力与长上下文 MiniMax Sparse Attention MiniMax，2026-06-11 已开源 minimax-sparse-attention
持续学习 Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories Google Research，2026-06-02 未发现官方代码 sleep-lti：仅低成本组件，完整实验不复现
跨语言评测 XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks Google DeepMind，2026-05-29 原作者入口；作者补充材料v1公开：Zenodo20423110，文件MD5=1fd5dd56c216a407dd5a13f08b0f1065；无Git SHA，不伪造。只核正文与公开元数据，独立实现结构化scorer，不复制官方多语模板 xlgobench：仅低成本组件，完整实验不复现
网络架构 Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory Tsinghua University / Microsoft Research Asia，2026-05-20 未发现官方代码 memory-grafting
企业 LLM Customizing an LLM for Enterprise Software Engineering Google，2026-05-15 未发现官方代码 gemini-for-google
模型路由 Optimized Deferral for Imbalanced Settings Google Research，2026-04-30 未发现官方代码 mild：仅低成本组件，完整实验不复现
模型评测 ProEval: Proactive Failure Discovery and Efficient Performance Estimation for Generative AI Evaluation Google DeepMind，2026-04-25 原作者入口；作者原文明确链接公开仓库；本地未执行上游训练 proeval：仅低成本组件，完整实验不复现
推理与系统效率 FUSE: Ensembling Verifiers with Zero Labeled Data Stanford University，2026-04-20 未发现官方代码 计划键 fuse-verifiers：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
注意力与长上下文 Switch Attention: Towards Dynamic and Fine-grained Hybrid Transformers Peking University / Huawei Technologies，2026-03-27 未发现官方代码 switch-attention
生成式检索 Efficient, Property-Aligned Fan-Out Retrieval via RL-Compiled Diffusion University of Illinois Urbana-Champaign / Google Research，2026-03-06 未发现官方代码 r4t
预训练与数据 Theoretical Perspectives on Data Quality and Synergistic Effects in Pre- and Post-Training Reasoning Models University of Southern California / Google Research，2026-03-01 未发现官方代码 data-quality-lsa：仅低成本组件，完整实验不复现
网络架构 A Theoretical Framework for Modular Learning of Robust Generative Models Google Research，2026-02-19 未发现官方代码 modular-robust-generative：仅低成本组件，完整实验不复现
预训练与数据 ECO: Quantized Training without Full-Precision Master Weights Google Research / ISTA，2026-01-29 未发现官方代码 计划键 eco-optimizer：成本过高，不复现（审查 DONE）；仅研究资料，无可执行入口。
预训练与数据 Mobility-Embedded POIs: Learning What A Place Is and How It Is Used from Human Movement University of Southern California，2026-01-29 未发现官方代码 me-pois：仅低成本组件，完整实验不复现
网络架构 Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models DeepSeek，2026-01-12 已开源 engram
网络架构 mHC: Manifold-Constrained Hyper-Connections DeepSeek-AI，2025-12-31 未发现官方代码 mhc
安全与可验证性 Detecting Post-generation Edits to Watermarked LLM Outputs via Combinatorial Watermarking University of Minnesota，2025-10-02 未发现官方代码 combinatorial-watermark：仅低成本组件，完整实验不复现
动态候选分类 GLiClass: Generalist Lightweight Model for Sequence Classification Tasks Knowledgator，2025-08-11 已开源 gliclass
可解释性 Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders Columbia University，2025-07-31 原作者入口；作者方法代码公开，固定commit核验MIT；本地独立按固定v3公式实现mETM/steering子组件，不复制上游代码 mechanistic-etm：仅低成本组件，完整实验不复现
注意力与长上下文 Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free Qwen / Alibaba，2025-05-10 已开源 gated-attention
多模态基础模型 SmolVLM: Redefining small and efficient multimodal models Hugging Face，2025-04-07 已开源 smolvlm
预训练与数据 Muon is Scalable for LLM Training Moonshot AI / UCLA，2025-02-24 已开源 muon
多模态基础模型 SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features Google DeepMind，2025-02-20 已开源 siglip2
注意力与长上下文 MoBA: Mixture of Block Attention for Long-Context LLMs Moonshot AI，2025-02-18 已开源 moba
注意力与长上下文 Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention DeepSeek，2025-02-16 未发现官方代码 native-sparse-attention
网络架构 Byte Latent Transformer: Patches Scale Better Than Tokens Meta FAIR，2024-12-13 已开源 blt
网络架构 Hymba: A Hybrid-head Architecture for Small Language Models NVIDIA，2024-11-20 已开源 hymba
预训练与数据 Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance University of Cambridge / Shanghai AI Laboratory，2024-03-25 已开源 data-mixing-laws
推理与系统效率 Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads Together AI / Princeton University / University of Illinois Urbana-Champaign，2024-01-19 已开源 medusa
网络架构 Mamba: Linear-Time Sequence Modeling with Selective State Spaces Carnegie Mellon University / Princeton University，2023-12-01 已开源 mamba
推理与系统效率 AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration MIT / NVIDIA / Harvard / SJTU，2023-06-01 已开源 awq
注意力与长上下文 GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints Google Research，2023-05-22 未发现官方代码 gqa
预训练与数据 DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining Stanford University / Google Research，2023-05-17 已开源 doremi
多模态基础模型 Visual Instruction Tuning University of Wisconsin-Madison / Microsoft Research / Columbia University，2023-04-17 已开源 llava
多模态基础模型 BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models Salesforce Research，2023-01-30 已开源 blip2
推理与系统效率 Fast Inference from Transformers via Speculative Decoding Google Research，2022-11-30 已开源 speculative-decoding
注意力与长上下文 Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation University of Washington / Meta AI，2021-08-27 已开源 alibi
注意力与长上下文 RoFormer: Enhanced Transformer with Rotary Position Embedding Zhuiyi Technology，2021-04-20 已开源 rope
多模态基础模型 Learning Transferable Visual Models From Natural Language Supervision OpenAI，2021-02-26 已开源 clip
网络架构 Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity Google Brain，2021-01-11 已开源 switch-transformer

分类浏览：