基础模型¶
理解模型怎样读取上下文、分配计算和训练预算，以及压缩、生成与能力评测的取舍。
选择一个子主题，从具体论文问题开始。新论文和新增问题会继续加入对应问题库。
长上下文：注意力、递归状态与记忆
上下文变长时，模型保留的是可寻址的历史 token，还是压缩后的递归状态？
按需计算：专家、弹性深宽与查表记忆
同一参数预算下，每个 token 应该激活哪些参数、运行多少步？
训练预算：数据配比、目标与优化器
有限训练预算应该先改数据、更新方向，还是模型规模？
推理压缩：权重、KV 缓存与服务带宽
显存或时延不够时，真正占资源的是模型权重、历史状态，还是服务搬运？
生成路径：草稿验证、并行去噪与少步迭代
如何减少逐 token 串行生成的等待，同时说清输出分布是否改变？
能力证据：评测采样、读出与可靠性
怎样确认高分来自目标能力，而非语言、输入顺序、读出方式或统计偏差？