被審查退回的實作，重新計算的研究數據
兩起審查將實作退回的案例，以及一起在保留原始結果的同時重新計算研究數據的案例。各角色只寫該案例記錄中可見的內容。
June 13, 2026
通過正常路徑的實作，在錯誤路徑上兩次被審查退回
人Author
行動遙測缺漏 · 將 silent fallback 列為檢查對象
- 交接必須可見的失敗→ typed activity row · 標記 fallback (Claude Fable 5)
程式開發代理Claude Fable 5
行動typed activity row · 標記 fallback
- 交接→ commit 64bd223 (公開提交)
- 交接diff · 失敗路徑→ BLOCKER：generic fallback 以 details=data 儲存原始內容 (Codex)
產出物公開提交
產出物commit 64bd223
審查 · 驗證Codex
觀測 · 審查意見BLOCKER：generic fallback 以 details=data 儲存原始內容
- 退回把正常路徑的保護延伸到例外路徑→ fallback 時同樣移除敏感欄位 (Claude Fable 5)
程式開發代理Claude Fable 5
行動fallback 時同樣移除敏感欄位
- 交接→ c808e78 · K4 重現檢查 (公開提交)
- 交接修正再次審查→ BLOCKER #2：ValidationError 文字再次暴露值 (Codex)
產出物公開提交
產出物c808e78 · K4 重現檢查
審查 · 驗證Codex
觀測 · 審查意見BLOCKER #2：ValidationError 文字再次暴露值
- 退回不含原始值的錯誤原因→ 只保留錯誤類型 · 欄位路徑，刪除 args_preview (Claude Fable 5)
程式開發代理Claude Fable 5
行動只保留錯誤類型 · 欄位路徑，刪除 args_preview
- 交接→ 8dcb386 · K5 重現檢查 (公開提交)
產出物公開提交
產出物8dcb386 · K5 重現檢查
- 不是有記錄的執行已檢查的範圍→ 當時的完整 CI 與最終審查 PASS 未重新查閱 (公開提交)
產出物公開提交
規範 · 未確認當時的完整 CI 與最終審查 PASS 未重新查閱
- 背景
- 這次變更把觀測事件改為 typed activity row，並讓 fallback 不再靜默發生。Codex 審查留下兩個 BLOCKER，每次修正都附帶一項檢查，重現審查發現的繞過路徑。
- 結果
- K4 以錯誤型別實際觸發 fallback，檢查沒有原始欄位殘留；K5 檢查錯誤描述只含欄位名稱與錯誤類型，不含任何輸入值。這些檢查重現的是審查發現的繞過路徑，而不是照抄實作中的常數。
- 限制
- 未開啟原始的 MCP 審查對話；審查角色依據提交與當時撰寫的 CHANGELOG 確認。本案例並不保證 GEODE 的任何日誌都不會保留敏感資料。
依據與尚存的限制
- 三個提交都署名 Claude Fable 5，c808e78 與 8dcb386 分別記錄了 Codex 的 BLOCKER 與 BLOCKER #2。
- 目前（2026年10月）的貢獻者規範，沒有被追溯為本案例的指示。
May 26, 2026
一個原本要刪除分數的變更，被收窄為限制分數用途的檢查
程式開發代理實作
觀測 · 審查意見需求：不把這個值當作 fitness 軸
- 交接最初的假設→ 初稿：在 baseline writer 中刪除該值 (實作)
開發對象產品內的使用端
觀測 · 審查意見首次生成時，scenario_realism 的唯一來源是 baseline
- 交接追蹤實際使用端→ 審查意見：會破壞初始 critic 輸入 (Codex)
程式開發代理實作
行動初稿：在 baseline writer 中刪除該值
- 交接變更經審查→ 審查意見：會破壞初始 critic 輸入 (Codex)
審查 · 驗證Codex
觀測 · 審查意見審查意見：會破壞初始 critic 輸入
- 退回保留既有輸入契約→ 撤回 writer 變更 · 保留資料 (實作)
程式開發代理實作
行動撤回 writer 變更 · 保留資料
- 交接完成標準轉移→ 4 條不變式：只從 fitness 面中排除 (公開提交 · PR)
產出物公開提交 · PR
產出物4 條不變式：只從 fitness 面中排除
- 交接最終 diff→ 0792e81 → PR #1690 已合併 (公開提交 · PR)
產出物公開提交 · PR
產出物0792e81 → PR #1690 已合併
- 背景
- 這次變更旨在讓 scenario_realism 不在外部 Scaffold Search 中充當 fitness 軸。審查追蹤到這個值的第一個讀取端後，變更沒有擴大，反而縮小了。
- 結果
- baseline 的值維持不變；四項檢查確保這個維度不出現在外部搜尋的 AXIS_TIERS、DIM_WEIGHTS 與 tier 清單中。
- 限制
- 未查看被撤回的 writer 變更背後的工作階段；依據提交與當時撰寫的測試說明確認。這些檢查不能作為搜尋效能或 SIL 改善的證據。
依據與尚存的限制
- critic 與 evolver 是開發中產品內部的資料使用端，而不是用來開發它的程式開發代理或 Codex 審查者。
- PR #1690 的標題仍寫著「filter」；實際變更以最終 diff 與提交為準。
September 27, 2026 to September 28, 2026
修正邊界值錯誤後，先重現原始結果，再重新計算
工作階段分析實作方
觀測 · 審查意見恰好位於容許誤差邊界的值被拒絕
- 交接受理檢查的錯誤，而非模型能力問題→ 以十進位比較 · 容許誤差不變 (分析實作方)
工作階段分析實作方
行動以十進位比較 · 容許誤差不變
- 交接→ 4be7a17 · 邊界內 · 外檢查 (產出物)
產出物產出物
產出物4be7a17 · 邊界內 · 外檢查
人Author
行動委託：僅離線更正全部已儲存的 U4 · X2
- 交接允許的範圍→ contract.json：固定輸入 · 規則，不呼叫模型 (產出物)
產出物產出物
產出物contract.json：固定輸入 · 規則，不呼叫模型
- 交接固定條件→ 先重現既有結果 · 分母 · CI (分析實作方)
工作階段分析實作方
行動先重現既有結果 · 分母 · CI
- 交接確認重現之後→ 以相同輸入另行計算更正版 (分析實作方)
工作階段分析實作方
行動以相同輸入另行計算更正版
- 交接→ receipt：保留 24 份原件 · 模型呼叫 0 (產出物)
- 交接cell 向量，而非摘要→ 由 cell 向量重算 winner · CI · 比對雜湊 (獨立驗證方)
產出物產出物
產出物receipt：保留 24 份原件 · 模型呼叫 0
審查 · 驗證獨立驗證方
行動由 cell 向量重算 winner · CI · 比對雜湊
- 交接→ independent-review：判定成立，寫明限制 (產出物)
產出物產出物
產出物independent-review：判定成立，寫明限制
- 背景
- 在 Jev 研究工具中，恰好落在容許誤差邊界上的 typed 數值回答會被拒絕。修正後，在不新增模型執行的情況下重新計算了全部已儲存結果，並將計算方與驗證方分開。
- 結果
- 校正後判定不變（U4 not-supported，X2 mixed）。修正數值錯誤與支持研究假說，兩者分開看待。
- 限制
- 這是事後校正，不是新的模型實驗。沒有原始回應的 640 個 Astra listwise cell 保留已儲存的 winner，獨立審查也未重新解析非公開的回應本文。
依據與尚存的限制
- 分數容許誤差 0.03 與分布總和容許誤差 0.025 未作更動。校正後的數值為 U4 58/80 → 59/80、X2 194/240 → 196/240。
- 公開的校正記錄未載明撰寫端或驗證端的模型，4be7a17 也沒有 Claude 或 Codex 的署名，因此兩欄都不標註模型名稱。