리뷰가 되돌린 구현, 다시 계산한 연구 수치
리뷰가 구현을 되돌려 보낸 두 사건과, 원본을 보존한 채 연구 수치를 다시 계산한 한 사건입니다. 역할은 사건마다 기록에 남은 것만 적었습니다.
June 13, 2026
정상 경로를 통과한 구현을, 리뷰가 오류 경로에서 두 번 되돌려 보냈습니다
사람Author
행동관측 누락 · silent fallback을 확인 대상으로
- 전달볼 수 있어야 할 실패→ typed activity row · fallback 표시 (Claude Fable 5)
코딩 에이전트Claude Fable 5
행동typed activity row · fallback 표시
- 전달→ commit 64bd223 (공개 commit)
- 전달구현 diff · 실패 경로→ BLOCKER: generic fallback이 details=data로 원문 저장 (Codex)
산출물공개 commit
산출물commit 64bd223
리뷰 · 검증Codex
관측 · 지적BLOCKER: generic fallback이 details=data로 원문 저장
- 되돌린 지적정상 경로의 보호를 예외 경로에도→ fallback에도 민감 필드 제거 (Claude Fable 5)
코딩 에이전트Claude Fable 5
행동fallback에도 민감 필드 제거
- 전달→ c808e78 · K4 재현 검사 (공개 commit)
- 전달수정 재리뷰→ BLOCKER #2: ValidationError 문자열로 값 재노출 (Codex)
산출물공개 commit
산출물c808e78 · K4 재현 검사
리뷰 · 검증Codex
관측 · 지적BLOCKER #2: ValidationError 문자열로 값 재노출
- 되돌린 지적원문 값 없는 오류 사유→ 오류 종류 · 필드 위치만 남김, args_preview 제거 (Claude Fable 5)
코딩 에이전트Claude Fable 5
행동오류 종류 · 필드 위치만 남김, args_preview 제거
- 전달→ 8dcb386 · K5 재현 검사 (공개 commit)
산출물공개 commit
산출물8dcb386 · K5 재현 검사
- 기록된 실행 아님확인한 범위→ 당시 전체 CI · 최종 리뷰 PASS는 재조회 안 함 (공개 commit)
산출물공개 commit
지침 · 미확인당시 전체 CI · 최종 리뷰 PASS는 재조회 안 함
- 배경
- 관측 이벤트를 typed activity row로 바꾸고 fallback을 숨기지 않게 하는 변경이었습니다. Codex 리뷰가 BLOCKER를 두 번 남겼고, 두 번 모두 수정과 함께 그 우회 경로를 재현하는 검사가 추가됐습니다.
- 결과
- K4는 잘못된 타입으로 fallback을 실제로 일으켜 원문 필드가 남지 않는지, K5는 오류 설명에 필드명과 오류 종류만 있고 입력 값은 없는지 재현합니다. 구현 상수를 복사한 검사가 아니라, 리뷰가 찾은 우회 경로를 재현하는 검사입니다.
- 한계
- 원본 MCP 리뷰 대화는 열지 않았고, 리뷰 역할은 commit과 CHANGELOG의 동시대 기록으로 확인했습니다. 이 사건이 모든 GEODE 로그가 민감 정보를 남기지 않는다는 보장은 아닙니다.
근거와 남은 한계
- 세 commit 모두에 Claude Fable 5의 기여가 표기되어 있고, c808e78과 8dcb386은 각각 Codex BLOCKER와 BLOCKER #2를 기록합니다.
- 현재(October 2026)의 기여 지침은 이 사건의 사전 지침으로 소급하지 않았습니다.
May 26, 2026
점수를 지우려던 변경을, 점수의 쓰임을 제한하는 검사로 줄였습니다
코딩 에이전트구현
관측 · 지적요구: 이 값을 fitness 축으로 쓰지 않기
- 전달첫 구현 가설→ 첫 안: baseline writer에서 값 제거 (구현)
개발 대상제품 안의 소비자
관측 · 지적첫 생성에서 scenario_realism의 유일한 출처는 baseline
- 전달실제 소비자 추적→ 지적: 초기 critic 입력을 깨뜨림 (Codex)
코딩 에이전트구현
행동첫 안: baseline writer에서 값 제거
- 전달변경 검토→ 지적: 초기 critic 입력을 깨뜨림 (Codex)
리뷰 · 검증Codex
관측 · 지적지적: 초기 critic 입력을 깨뜨림
- 되돌린 지적기존 입력 계약 보존→ writer 변경 철회 · 데이터는 유지 (구현)
코딩 에이전트구현
행동writer 변경 철회 · 데이터는 유지
- 전달완료 기준 이동→ invariant 4개: fitness 표면에만 없음 (공개 commit · PR)
산출물공개 commit · PR
산출물invariant 4개: fitness 표면에만 없음
- 전달최종 diff→ 0792e81 → PR #1690 병합 (공개 commit · PR)
산출물공개 commit · PR
산출물0792e81 → PR #1690 병합
- 배경
- 외부 Scaffold Search에서 scenario_realism 값이 fitness 축으로 쓰이지 않게 하려던 변경입니다. 리뷰가 이 값을 처음 읽는 소비자를 추적하자, 변경을 키우는 대신 줄였습니다.
- 결과
- baseline의 값은 그대로 두고, 외부 탐색의 AXIS_TIERS · DIM_WEIGHTS · tier 목록에 이 차원이 들어가지 않는지를 네 검사로 고정했습니다.
- 한계
- 처음 폐기된 writer 수정의 원본 세션은 보지 않았고, commit과 테스트 설명의 동시대 기록으로 확인했습니다. 이 검사는 탐색 성능이나 SIL 개선의 증거가 아닙니다.
근거와 남은 한계
- critic과 evolver는 개발 대상 제품의 데이터 소비자이며, 개발에 쓴 코딩 에이전트나 Codex 리뷰어가 아닙니다.
- PR #1690의 제목에는 "filter"가 남아 있지만, 최종 diff와 commit이 실제 변경입니다.
September 27, 2026 to September 28, 2026
경계값 오류를 고친 뒤, 원래 결과부터 재현하고 다시 계산했습니다
작업 세션분석 구현 담당
관측 · 지적허용 경계에 정확히 놓인 값이 거절됨
- 전달모델 능력이 아닌 admission 오류→ 십진 표현으로 비교 · 허용오차는 그대로 (분석 구현 담당)
작업 세션분석 구현 담당
행동십진 표현으로 비교 · 허용오차는 그대로
- 전달→ 4be7a17 · 경계 안 · 밖 검사 (산출물)
산출물산출물
산출물4be7a17 · 경계 안 · 밖 검사
사람Author
행동위임: 저장된 U4 · X2 전체의 offline 교정만
- 전달허용 범위→ contract.json: 원본 · 규칙 고정, 모델 호출 제외 (산출물)
산출물산출물
산출물contract.json: 원본 · 규칙 고정, 모델 호출 제외
- 전달고정 조건→ 기존 결과 · 분모 · CI부터 그대로 재현 (분석 구현 담당)
작업 세션분석 구현 담당
행동기존 결과 · 분모 · CI부터 그대로 재현
- 전달재현 확인 뒤→ 같은 입력으로 교정본을 별도 계산 (분석 구현 담당)
작업 세션분석 구현 담당
행동같은 입력으로 교정본을 별도 계산
- 전달→ receipt: 원본 24개 보존 · 모델 호출 0 (산출물)
- 전달요약 대신 cell 벡터→ cell 벡터로 winner · CI 재계산 · hash 대조 (독립 검증 담당)
산출물산출물
산출물receipt: 원본 24개 보존 · 모델 호출 0
리뷰 · 검증독립 검증 담당
행동cell 벡터로 winner · CI 재계산 · hash 대조
- 전달→ independent-review: 판정 유지, 한계 명시 (산출물)
산출물산출물
산출물independent-review: 판정 유지, 한계 명시
- 배경
- Jev 연구 도구의 typed 숫자 응답에서 허용 경계에 정확히 놓인 값이 거절되던 문제입니다. 고친 뒤 저장된 전체 결과를 새 모델 실행 없이 다시 계산했고, 계산한 쪽과 검증한 쪽을 나눴습니다.
- 결과
- 교정 뒤에도 판정은 그대로였습니다(U4 not-supported, X2 mixed). 숫자 오류를 고친 일과 연구 가설이 입증된 일을 나눴습니다.
- 한계
- 사후 교정이며 새 모델 실험이 아닙니다. 원 응답이 없는 Astra listwise 640 cell은 저장된 winner를 유지했고, 독립 검토도 비공개 응답 본문을 다시 파싱하지 않았습니다.
근거와 남은 한계
- score 허용오차 0.03과 분포 합 허용오차 0.025는 바꾸지 않았습니다. 교정 수치는 U4 58/80 → 59/80, X2 194/240 → 196/240입니다.
- 공개 교정 기록에는 작성 · 검증 담당의 모델 이름이 없고, 4be7a17에도 Claude · Codex 표기가 없어 두 열에 모델 이름을 붙이지 않았습니다.