跳转至

Read this page in English

开发与研究证据约定

返回项目首页 · 文档站

代码结构

src/auto_research/
├── cli.py                         # run / reproduce / publish 命令入口
├── runner.py                      # research stages 编排
├── research_loop/                 # 迭代控制、指标缓存、事件日志
├── evolution/                     # 推荐与 micro-LLM 多代模型进化
├── post_training/                 # OPD、RL、偏好与过程奖励
├── agent_research/                # Agent 记忆、规划与工具评测
├── datasets.py                    # 公开数据下载和缓存
├── papers.py                      # arXiv 检索
└── reproductions/
    ├── base.py                    # adapter 稳定接口
    ├── registry.py                # 自动发现 */adapter.py
    ├── reporting.py               # 隔离的 JSON/Markdown 产物
    ├── rec_utils.py               # 序列推荐共享数据切分与指标
    ├── llm_rec_data.py            # LLM+推荐共享 CTR 文本数据与 AUC
    ├── sequence_training.py       # 序列模型共享的 all-position 训练与全库评估
    └── <paper>/
        ├── adapter.py             # 论文元数据与注册
        ├── model.py               # 论文特有模型或算法
        ├── experiment.py          # baseline、调参、评估
        └── report.py              # 论文专用 Markdown 报告

docs/reproductions/<arxiv-id>-<adapter>/README.md
docs/reproductions/catalog/          # 按公司 / 主题 / 年月的稳定导航
tests/reproductions/

新增论文不需要修改 CLI：registry 会自动发现带有 adapter.py 的论文目录。详细约定见架构与扩展指南。

使用编码助手参与开发时，项目约束由根目录 AGENTS.md 维护；任务写法、完成证据和验证范围见 GPT-6 Astra 协作指南。

新论文的学习内容

每篇论文都要补齐基础理解、核心机制、方法对比、实现细节四层问答，再归入一个学习子主题。 同时小幅更新该 topic 的专题精读卡片：把新机制放进已有对照， 按需要调整分析或跨论文问答，并追加日期、涉及论文与“改变了什么/为什么原有区分仍成立”。 已有问答 ID 和更新历史保持稳定；逐篇问答与专题精读都不能只复制摘要。

人工精读源在 docs/learning/deep-dives/*.json。reviewed_papers 必须与 topic 成员一致， updates 要覆盖新增身份，最新日期与 updated 一致；每条更新以 source_revisions 记录涉及 README 的 SHA256。旧论文机制或实现边界变更后，也需复核卡片并追加更新。生成器只渲染已写好的内容， 不会自动替作者做语义比较。缺少归类、卡片或更新说明时，文档发布检查会失败。

python scripts/generate_learning_cards.py --require-questions --require-deep-dives
python scripts/generate_learning_cards.py --check --require-questions --require-deep-dives

本轮参考了 automated-w2s-research 的 idea 隔离、统一配置、迭代研究和结果缓存设计，但没有合并其 Claude/Flask/RunPod/VERL 重型运行栈。逐项取舍见架构采用记录。

提交 GitHub PR

brew install gh
gh auth login

auto-research publish runs/<timestamp>/report.md \
  --title "research: evaluate retrieval loss"

发布命令要求工作区没有无关修改；必要时从 main/master 创建 agent/... 分支，只暂存指定报告，提交、推送并创建 draft PR。增加 --ready 可创建非草稿 PR。

实验解释边界

  • 论文新旧以 arXiv submittedDate 为准，并记录实际检索日期。
  • 替换私有数据、缩小模型和省略生产基础设施是允许的规模折算；替换论文核心网络、训练目标或推理路径则必须降级为“概念验证（非论文复现）”。
  • reproduction_fidelity 随每次 JSON/Markdown 产物写出；默认 --paper all 不运行概念验证。
  • 论文披露的线上 A/B 与本机离线指标始终分开记录。
  • 正向、负向和跨 seed 不稳定结果都会保留，参数只能根据 validation 选择。

测试

python -m pytest

当前测试覆盖 adapter 自动发现、核心论文机制、运行产物隔离和通用 research loop。