レビューが差し戻した実装、再計算した研究の数値
レビューが実装を差し戻した2件と、元の結果を残したまま研究の数値を再計算した1件です。各役割は、その事例の記録に残っているものだけを記しています。
June 13, 2026
正常経路を通過した実装を、レビューがエラー経路で2度差し戻しました
人Author
行動テレメトリの欠落 · silent fallbackを確認対象に
- 引き継ぎ見えるべき失敗→ typed activity row · fallbackを明示 (Claude Fable 5)
コーディングエージェントClaude Fable 5
行動typed activity row · fallbackを明示
- 引き継ぎ→ commit 64bd223 (公開コミット)
- 引き継ぎdiff · 失敗経路→ BLOCKER: generic fallbackがdetails=dataで生データを保存 (Codex)
成果物公開コミット
成果物commit 64bd223
レビュー · 検証Codex
観測 · 指摘BLOCKER: generic fallbackがdetails=dataで生データを保存
- 差し戻し正常経路の保護を例外経路にも→ fallback時も機密フィールドを除去 (Claude Fable 5)
コーディングエージェントClaude Fable 5
行動fallback時も機密フィールドを除去
- 引き継ぎ→ c808e78 · K4再現検査 (公開コミット)
- 引き継ぎ修正を再レビュー→ BLOCKER #2: ValidationErrorの文字列で値が再露出 (Codex)
成果物公開コミット
成果物c808e78 · K4再現検査
レビュー · 検証Codex
観測 · 指摘BLOCKER #2: ValidationErrorの文字列で値が再露出
- 差し戻し生の値を含まないエラー理由→ エラー種別 · フィールド位置だけを残し、args_previewを削除 (Claude Fable 5)
コーディングエージェントClaude Fable 5
行動エラー種別 · フィールド位置だけを残し、args_previewを削除
- 引き継ぎ→ 8dcb386 · K5再現検査 (公開コミット)
成果物公開コミット
成果物8dcb386 · K5再現検査
- 記録された実行ではない確認した範囲→ 当時のCI全体と最終レビューのPASSは再確認せず (公開コミット)
成果物公開コミット
指針 · 未確認当時のCI全体と最終レビューのPASSは再確認せず
- 背景
- 観測イベントをtyped activity rowに変え、fallbackを黙って起こさないようにする変更でした。CodexのレビューはBLOCKERを2つ残し、どちらの修正にも、見つかった迂回経路を再現する検査が添えられました。
- 結果
- K4は誤った型でfallbackを実際に起こし、生のフィールドが残らないことを確かめます。K5はエラーの説明にフィールド名とエラー種別だけがあり、入力値がないことを確かめます。これらは実装の定数を写した検査ではなく、レビューが見つけた迂回経路を再現する検査です。
- 限界
- 元のMCPレビューの会話は開いておらず、レビューの役割はコミットと当時のCHANGELOGから確認しました。この事例は、GEODEのどのログにも機密データが残らないことを保証するものではありません。
根拠と残る限界
- 3つのコミットすべてにClaude Fable 5のクレジットがあり、c808e78と8dcb386はそれぞれCodexのBLOCKERとBLOCKER #2を記録しています。
- 現在（2026年10月）のコントリビューター方針は、この事例への指示としてさかのぼって適用していません。
May 26, 2026
スコアを削除しようとした変更を、スコアの使い道を制限する検査に絞りました
コーディングエージェント実装
観測 · 指摘要件: この値をfitnessの軸に使わない
- 引き継ぎ最初の仮説→ 最初の案: baseline writerで値を削除 (実装)
開発対象製品内のコンシューマー
観測 · 指摘初回生成では、scenario_realismの唯一の出所はbaseline
- 引き継ぎ実際のコンシューマーを追跡→ 指摘: 初期のcritic入力を壊す (Codex)
コーディングエージェント実装
行動最初の案: baseline writerで値を削除
- 引き継ぎ変更をレビュー→ 指摘: 初期のcritic入力を壊す (Codex)
レビュー · 検証Codex
観測 · 指摘指摘: 初期のcritic入力を壊す
- 差し戻し既存の入力契約を維持→ writerの変更を撤回 · データは維持 (実装)
コーディングエージェント実装
行動writerの変更を撤回 · データは維持
- 引き継ぎ完了基準を移動→ 不変条件4つ: fitnessのサーフェスにだけ含めない (公開コミット · PR)
成果物公開コミット · PR
成果物不変条件4つ: fitnessのサーフェスにだけ含めない
- 引き継ぎ最終diff→ 0792e81 → PR #1690をマージ (公開コミット · PR)
成果物公開コミット · PR
成果物0792e81 → PR #1690をマージ
- 背景
- 外部Scaffold Searchで、scenario_realismの値がfitnessの軸として使われないようにする変更でした。レビューがこの値を最初に読むコンシューマーを追跡した結果、変更は広げずに縮めました。
- 結果
- baselineの値はそのまま残し、外部探索のAXIS_TIERS、DIM_WEIGHTS、tierリストにこの次元が入らないことを、4つの検査で固定しました。
- 限界
- 撤回されたwriter変更の元のセッションは見ておらず、コミットと当時のテスト説明から確認しました。これらの検査は、探索性能やSILの改善の根拠にはなりません。
根拠と残る限界
- criticとevolverは開発対象の製品内にあるデータのコンシューマーであり、開発に使ったコーディングエージェントやCodexのレビュアーではありません。
- PR #1690のタイトルには今も「filter」とありますが、実際の変更は最終diffとコミットです。
September 27, 2026 to September 28, 2026
境界値の誤りを直したあと、まず元の結果を再現し、それから再計算しました
作業セッション分析の実装担当
観測 · 指摘許容範囲の境界ちょうどの値が拒否される
- 引き継ぎモデルの能力ではなく、受け入れ検査の誤り→ 10進数で比較 · 許容誤差は変更なし (分析の実装担当)
作業セッション分析の実装担当
行動10進数で比較 · 許容誤差は変更なし
- 引き継ぎ→ 4be7a17 · 境界の内側 · 外側の検査 (成果物)
成果物成果物
成果物4be7a17 · 境界の内側 · 外側の検査
人Author
行動委任: 保存済みのU4 · X2全体のオフライン訂正のみ
- 引き継ぎ許可された範囲→ contract.json: 入力 · 規則を固定、モデル呼び出しなし (成果物)
成果物成果物
成果物contract.json: 入力 · 規則を固定、モデル呼び出しなし
- 引き継ぎ固定した条件→ まず既存の結果 · 分母 · CIを再現 (分析の実装担当)
作業セッション分析の実装担当
行動まず既存の結果 · 分母 · CIを再現
- 引き継ぎ再現確認の後→ 同じ入力から訂正版を別に計算 (分析の実装担当)
作業セッション分析の実装担当
行動同じ入力から訂正版を別に計算
- 引き継ぎ→ receipt: 原本24件を保持 · モデル呼び出し0 (成果物)
- 引き継ぎ要約ではなくセルベクトル→ cellベクトルからwinner · CIを再計算 · ハッシュを照合 (独立した検証担当)
成果物成果物
成果物receipt: 原本24件を保持 · モデル呼び出し0
レビュー · 検証独立した検証担当
行動cellベクトルからwinner · CIを再計算 · ハッシュを照合
- 引き継ぎ→ independent-review: 判定は維持、限界を明記 (成果物)
成果物成果物
成果物independent-review: 判定は維持、限界を明記
- 背景
- Jev研究ツールで、許容範囲の境界ちょうどにある型付きの数値回答が拒否されていました。修正後、保存済みの全結果を新たなモデル実行なしで再計算し、計算する側と検証する側を分けました。
- 結果
- 訂正後も判定は変わりませんでした（U4 not-supported、X2 mixed）。数値の誤りを直すことと、研究仮説が支持されることは分けて扱いました。
- 限界
- 事後の訂正であり、新しいモデル実験ではありません。元の応答がないAstra listwiseの640セルは保存済みのwinnerを維持し、独立レビューも非公開の応答本文を再解析していません。
根拠と残る限界
- スコアの許容誤差0.03と分布合計の許容誤差0.025は変更していません。訂正後の数値はU4 58/80 → 59/80、X2 194/240 → 196/240です。
- 公開された訂正記録には作成側・検証側のモデル名がなく、4be7a17にもClaudeやCodexのクレジットがないため、どちらの列にもモデル名を付けていません。