从 rollout 到证据
仅凭通过率无法解释一次执行。我保存事件顺序、工具调用及其结果、重试谱系与独立验证器的证据,再把可以公开的部分连接起来。这些实验展示了记录与评测契约是如何逐步形成的。
按实验 · 按日期排列
六项实验按日期排列,并非一条相连的优化过程。SIL 不会自动接入 Crucible 或 Jev,这里也不主张产品 GEODE 在持续改进。日期是实验与公开快照的日期,箭头只用于同一实验内部的各阶段。
June 3, 2026 to June 4, 2026SIL · 外部策略搜索
单次审计得到的 KEEP 经重复测量复核
问题策略变更是否在审计噪声之外改善了工具使用行为?
外部实验 · GEODE 运行时之外
- 基线 · K=5
- 一项策略变更
- Petri 审计
- 重复测量
- 保留
- 还原
- 变化
- 在这项实验中,决定保留或还原之前,在一次变更的单次审计之外增加了重复测量。加入了难度匹配的种子与 K=5 基线,并以 never、random、gate 三个 arm 区分不做任何变更时的漂移与被采纳的变更。
- 说明了什么
- 重新测量后,单次审计中被保留的候选比基线更差(越低越好),因此撤回其采纳。这项实验的结论是没有稳健的改进。这是 Petri broken_tool_use 行为审计,不是任务完成奖励。
July 11, 2026 to July 13, 2026Crucible · 外部实验内核
留在搜索中与进入产品是两项不同的判定
问题让候选留在搜索中的证据,与让其晋级并发布到产品的证据,是否相同?
外部 Crucible 内核 · 单独的测量 checkout
- 候选 · 父级谱系
- 冻结契约检查
- 配对测量
- KEEP仅进入单独的 sealed 判定
- REJECT
- INVALIDnull,而非 0%
- 变化
- 被拒绝与无效的候选连同父级谱系一起保留,train 选择、sealed 资格与产品发布权限是彼此独立的记录。
- 说明了什么
- r14 在 train 中为 KEEP(6 个任务单元,各 1 次试验,无晋级权限),但其单独的 sealed 判定为 REJECT(无产品晋级或发布权限)。r35 因覆盖率不足与基础设施污染判为 INVALID;没有配对行,其均值保持为 null。这既不是运行时自我修改,也不是 SIL → Crucible 的部署链。
July 21, 2026 · July 31, 2026精炼 · 公开
对剩余记录分类,只把可以共享的部分做成不可变发布
问题哪些能真正重建,哪些可以安全共享?
- 非公开来源会话记录 · 原生证据原生结果 · 含验证器
- 指向 规范化事件保留顺序 · 标识
- 规范化事件标识 · 顺序 · 调用-结果配对
- 指向 公开候选允许列表 · 脱敏 · digest
- 公开候选审查中
- 指向 完整性 · 隐私检查检查
- 完整性 · 隐私检查配对 · 谱系 · 范围
- 指向 不可变发布仅限已审查的字节
- 公开仓库不可变发布manifest · 原生结果以 digest 引用
- 指向 远程回读核对哈希
- 远程回读固定 SHA-256
从原始执行构建保留顺序与标识符的事件,公开候选中的敏感内容被删除或以哈希替换。检查调用-结果配对、范围与谱系之后,已批准的文件与 manifest 作为不可变发布公开,并再次核对远程哈希。 - 变化
- 2026年7月21日的盘点按来源对对话、工具、搜索与判定记录分类,同一来源的重复不计为独立样例。自 2026年7月31日起,geode.trajectory@1 与 geode.trajectory-release@1 明确规定标识、事件顺序、调用-结果配对、范围与重放完整性,以及与内容绑定的 manifest。转换后的公开副本与原件各自保留 digest。
- 说明了什么
- 这里的精炼指规范化、关联、明确的脱敏、谱系与公开准入。它不重建隐藏的推理,也不宣称形成了可直接用于训练的数据集。当非公开正文被 digest 替换时,范围完整并不等于字节级完整重放。
- 非公开来源会话记录 · 原生证据原生结果 · 含验证器
August 25, 2026Learning view
一次 rollout 与其证据通过标识符绑定在一起
问题哪个输入、尝试、事件序列与奖励属于同一组?
geode.eval-learning-view@2 · 按 ID 与已验证的 digest 连接,并非因果顺序
- example
- rollout
- trajectory
- reward
奖励归原生验证器的 receipt 所有。基础设施重试是同一 rollout 内的 attempt。
- 变化
- 不可变的执行记录通过限定范围的 join 复用,奖励保持为评测器所有的派生标签。基础设施重试不会增加 rollout。观测到的 0 被保留,缺失的奖励为 null;无效或中止的 attempt 被排除在奖励选择之外。有效性是 rollout 的属性,并不自动意味着奖励为 null。
- 说明了什么
- 以 Harbor 0.8.0 运行的 Terminal-Bench fast-3(三个任务,3/3)与 Tau2 三领域诊断(1/3,两个有效的零)绑定在同一结构中。它们是后训练候选,不是用于训练的数据集,也不是权重改进的证据;三个任务的结果也不是整套测试的准确率。
August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1
一次 trial 分别产生结果与重放记录
问题一次真实的任务执行如何成为结果与可检查的重放?
- 冻结任务 · spec事先固定 · 五次重复
- 指向 隔离的 trial指令 · 环境 · 上限
- Harbor 0.22.0 trial · 真实执行隔离的 trialGEODE 作为 actor
- 指向 行动与最终状态执行
- 行动与最终状态观测到的行为
- 指向 任务所属验证器检查任务状态
- 指向 ATIF · 公开事件投影投影已记录的事件
- 任务所属验证器
- 指向 原生奖励 · receipt奖励
- 原生奖励 · receipt
- 指向 所选 attempt 的分析冻结选择
- ATIF · 公开事件投影后处理 · 非新运行
- 所选 attempt 的分析冻结的选择规则
冻结的任务与 spec 为隔离的 trial 提供指令、环境与上限;任务所属验证器检查 GEODE 留下的状态并产生奖励。分析只使用按冻结规则选出的 attempt。同一运行中记录的事件另行投影为 ATIF 与公开事件,这是后处理,而非新的运行。 - 变化
- 冻结的 spec、每次 attempt、所选结果、任务所属验证器,以及忠实但有限的重放,作为彼此关联的独立记录保存。Harbor 0.22.0 以 GPT-5.6 Sol/max 运行五次重复,比较 GEODE(当时为单一终端工具适配器)与 Codex。
- 说明了什么
- 任务拥有指令、环境与测试;trial 是一次尝试;job 是一组 trial。奖励由任务所属验证器决定,GEODE 内部的完成评判是运行时反馈。公开重放是对已记录工具事件的事后投影,不是原始 PTY,也不是新的运行;缺失的格没有补造命令。预注册的主要指标无法测量。
- 冻结任务 · spec事先固定 · 五次重复
September 24, 2026 to September 28, 2026Jev · 判断委托
候选即使正确,仍需验证交付
问题被委托的判断是否真正保住了任务质量与最终交付?
- U8n · Noul 运行 · Harbor 0.22 · Astra 负责执行与修复,只改变判断路径决策状态任务契约 · 候选 · 工具观测
- 指向 判断 · Noul判断输入
- 判断 · NoulAstra 或 Jev
- 指向 GEODE 使用判断各条件的概率
- GEODE 使用判断满足:交付;依据缺失:暂缓
- 指向 最终交付满足
- 指向 Astra 修复依据缺失 · 暂缓
- 最终交付
- 指向 独立结果检查已交付的结果
- Astra 修复反馈后的下一个候选
- 指向 判断 · Noul再次判断
- 指向 最后的候选 · 已保留保留最后的候选
- 独立结果检查规则 oracle · 已交付的结果
- U3 固定面板仅限判断 · 无 actor、工具或 Harbor
- 事后诊断 · 运行结束后最后的候选 · 已保留
- 指向 事后 oracle 诊断事后检查
- 事后 oracle 诊断候选是否正确 · 不影响交付
在真实运行中,决策状态进入判断;GEODE 使用该判断,满足时交付,依据缺失时暂缓结果,由 Astra 修复后再次判断。独立的规则 oracle 验证已交付的结果。另外,运行结束后,用事后 oracle 诊断了保留下来的最后一个候选;该诊断不影响交付。U3 固定面板是只比较判断的另一项实验,没有 actor、工具或 Harbor。 - 变化
- 判断的接受、候选的正确性与最终交付作为不同的结果记录,准备、失败与修复谱系保留在公开副本中。原始哈希与转换后的公开哈希分开保存。
- 说明了什么
- 在中断的 U8n 研究的 11 对事后样本中,最后的候选在两个 arm 中都是正确的,但交付为 Astra 11/11、Jev Noul 0/11:Jev Noul 的依据缺失判定阻止了交付。这是事后分析,不作推广。公开的数值重算、重放检查与新的实际执行是三种不同的操作。
- U8n · Noul 运行 · Harbor 0.22 · Astra 负责执行与修复,只改变判断路径决策状态任务契约 · 候选 · 工具观测