GEODE
Autonomous Agent Harness
Fra observasjon til neste handling.
En lokal harness for autonome agenter, som research, filarbeid og planlagte oppgaver kan overlates til.
Implementeringer sendt tilbake av gjennomgang, forskningstall regnet ut på nytt
To caser der gjennomgangen sendte en implementering tilbake, og ett der forskningstall ble regnet ut på nytt med originalene bevart. Hver rolle er bare det loggen for det aktuelle caset viser.
June 13, 2026
En implementering som besto normalstien, ble sendt tilbake to ganger av gjennomgangen, på feilstiene
PersonAuthor
HandlingManglende telemetri · stille fallback skal kontrolleres
- overleveringFeil som må være synlige→ Typet aktivitetsrad · fallback markert (Claude Fable 5)
KodeagentClaude Fable 5
HandlingTypet aktivitetsrad · fallback markert
- overlevering→ commit 64bd223 (Offentlige commits)
- overleveringDiff · feilstier→ BLOCKER: generisk fallback lagrer rå details=data (Codex)
ArtefakterOffentlige commits
Artefaktcommit 64bd223
Gjennomgang · verifiseringCodex
Observasjon · funnBLOCKER: generisk fallback lagrer rå details=data
- sendt tilbakeNormalstiens beskyttelse også på unntaksstien→ Fjern sensitive felt også ved fallback (Claude Fable 5)
KodeagentClaude Fable 5
HandlingFjern sensitive felt også ved fallback
- overlevering→ c808e78 · K4-reproduksjonskontroll (Offentlige commits)
- overleveringRetting gjennomgått på nytt→ BLOCKER #2: ValidationError-tekst eksponerer verdier igjen (Codex)
ArtefakterOffentlige commits
Artefaktc808e78 · K4-reproduksjonskontroll
Gjennomgang · verifiseringCodex
Observasjon · funnBLOCKER #2: ValidationError-tekst eksponerer verdier igjen
- sendt tilbakeEn feilårsak uten rå verdier→ Behold bare feiltype · feltsti; fjern args_preview (Claude Fable 5)
KodeagentClaude Fable 5
HandlingBehold bare feiltype · feltsti; fjern args_preview
- overlevering→ 8dcb386 · K5-reproduksjonskontroll (Offentlige commits)
ArtefakterOffentlige commits
Artefakt8dcb386 · K5-reproduksjonskontroll
- ikke en registrert utførelseKontrollert omfang→ Full CI og en endelig PASS fra gjennomgangen den gangen er ikke lest på nytt (Offentlige commits)
ArtefakterOffentlige commits
Regel · ubekreftetFull CI og en endelig PASS fra gjennomgangen den gangen er ikke lest på nytt
- Kontekst
- Endringen gjorde observerbarhetshendelser om til typede aktivitetsrader og hindret at fallbacks skjedde stille. Codex-gjennomgangen ga to BLOCKER, og hver retting kom med en kontroll som gjenskaper omgåelsen gjennomgangen fant.
- Resultat
- K4 fremtvinger en reell fallback med feil type og kontrollerer at ingen rå felt overlever; K5 kontrollerer at feilbeskrivelsen bare inneholder feltnavn og feiltyper, aldri inndataverdier. Kontrollene gjenskaper omgåelsene gjennomgangen fant; de kopierer ikke konstanter fra implementeringen.
- Begrensning
- Den opprinnelige MCP-gjennomgangssamtalen ble ikke åpnet; gjennomgangens rolle er fastslått ut fra commitene og CHANGELOG skrevet den gangen. Dette caset garanterer ikke at ingen GEODE-logg noen gang lagrer sensitive data.
Kilder og gjenværende begrensninger
- Alle tre commitene krediterer Claude Fable 5, og c808e78 og 8dcb386 registrerer henholdsvis Codex-BLOCKER og BLOCKER #2.
- De nåværende retningslinjene for bidragsytere (oktober 2026) leses ikke i ettertid som instruks for dette caset.
May 26, 2026
En endring som ville slette en score, ble snevret inn til en kontroll av hvor scoren kan brukes
KodeagentImplementering
Observasjon · funnBehov: ikke bruk denne verdien som fitnessakse
- overleveringFørste hypotese→ Første utkast: fjern verdien i baseline-writeren (Implementering)
Under utviklingKonsumenter i produktet
Observasjon · funnVed første generering er baseline eneste kilde til scenario_realism
- overleveringFaktisk konsument sporet→ Funn: bryter det innledende critic-inputet (Codex)
KodeagentImplementering
HandlingFørste utkast: fjern verdien i baseline-writeren
- overleveringEndring gjennomgått→ Funn: bryter det innledende critic-inputet (Codex)
Gjennomgang · verifiseringCodex
Observasjon · funnFunn: bryter det innledende critic-inputet
- sendt tilbakeBehold den eksisterende inputkontrakten→ Writer-endring trukket tilbake · data beholdt (Implementering)
KodeagentImplementering
HandlingWriter-endring trukket tilbake · data beholdt
- overleveringFerdigkriterium flyttet→ 4 invarianter: bare fraværende i fitnessflater (Offentlig commit · PR)
ArtefakterOffentlig commit · PR
Artefakt4 invarianter: bare fraværende i fitnessflater
- overleveringEndelig diff→ 0792e81 → PR #1690 flettet (Offentlig commit · PR)
ArtefakterOffentlig commit · PR
Artefakt0792e81 → PR #1690 flettet
- Kontekst
- Endringen skulle hindre at scenario_realism fungerte som fitnessakse i den eksterne Scaffold Search. Da gjennomgangen sporet den første leseren av verdien, ble endringen gjort mindre, ikke større.
- Resultat
- Baseline-verdien blir stående; fire kontroller låser fast at denne dimensjonen ikke finnes i det eksterne søkets AXIS_TIERS, DIM_WEIGHTS og tier-lister.
- Begrensning
- Sesjonen bak den tilbaketrukne writer-endringen ble ikke sett; den er fastslått ut fra commiten og testbeskrivelsene fra den gangen. Kontrollene er ikke belegg for søkeytelse eller forbedring av SIL.
Kilder og gjenværende begrensninger
- Critic og evolver er datakonsumenter i produktet som utvikles, ikke kodeagenten eller Codex-revieweren som ble brukt til å bygge det.
- Tittelen på PR #1690 sier fortsatt «filter»; den endelige diffen og commiten er den faktiske endringen.
September 27, 2026 to September 28, 2026
Etter en retting av grenseverdier ble de opprinnelige resultatene først reprodusert og deretter regnet ut på nytt
ArbeidssesjonAnalyseimplementerer
Observasjon · funnVerdier nøyaktig på toleransegrensen avvist
- overleveringEn admission-feil, ikke modellens evne→ Sammenlign som desimaltall · toleranser uendret (Analyseimplementerer)
ArbeidssesjonAnalyseimplementerer
HandlingSammenlign som desimaltall · toleranser uendret
- overlevering→ 4be7a17 · kontroller innenfor / utenfor grensen (Artefakter)
ArtefakterArtefakter
Artefakt4be7a17 · kontroller innenfor / utenfor grensen
PersonAuthor
HandlingDelegert: bare offline-retting av alle lagrede U4 · X2
- overleveringTillatt omfang→ contract.json: input · regler fastlåst, ingen modellkall (Artefakter)
ArtefakterArtefakter
Artefaktcontract.json: input · regler fastlåst, ingen modellkall
- overleveringFaste betingelser→ Reproduser først tidligere resultater · nevnere · CI-er (Analyseimplementerer)
ArbeidssesjonAnalyseimplementerer
HandlingReproduser først tidligere resultater · nevnere · CI-er
- overleveringEtter reproduksjon→ Beregn rettelsen separat fra samme input (Analyseimplementerer)
ArbeidssesjonAnalyseimplementerer
HandlingBeregn rettelsen separat fra samme input
- overlevering→ receipt: 24 originaler bevart · 0 modellkall (Artefakter)
- overleveringCellevektorer, ikke sammendrag→ Regn ut vinnere · CI-er på nytt fra cellevektorer · sammenlign hasher (Uavhengig verifikator)
ArtefakterArtefakter
Artefaktreceipt: 24 originaler bevart · 0 modellkall
Gjennomgang · verifiseringUavhengig verifikator
HandlingRegn ut vinnere · CI-er på nytt fra cellevektorer · sammenlign hasher
- overlevering→ independent-review: dommene står seg, begrensninger angitt (Artefakter)
ArtefakterArtefakter
Artefaktindependent-review: dommene står seg, begrensninger angitt
- Kontekst
- I Jev-forskningsverktøyet ble typede numeriske svar som lå nøyaktig på toleransegrensen, avvist. Etter rettingen ble alle lagrede resultater regnet ut på nytt uten nye modellkjøringer, og den beregnende og den verifiserende siden ble holdt atskilt.
- Resultat
- Dommene sto seg etter rettelsen (U4 not-supported, X2 mixed). Å rette en numerisk feil og å støtte en forskningshypotese ble holdt atskilt.
- Begrensning
- En etterfølgende rettelse, ikke et nytt modelleksperiment. De 640 Astra listwise-cellene uten opprinnelig svar beholder den lagrede vinneren, og den uavhengige gjennomgangen parset heller ikke private svartekster på nytt.
Kilder og gjenværende begrensninger
- Scoretoleransen på 0.03 og toleransen for fordelingssummen på 0.025 ble ikke endret. De rettede tallene er U4 58/80 → 59/80 og X2 194/240 → 196/240.
- Den offentlige rettelsesloggen nevner ingen modell for den skrivende eller den verifiserende siden, og 4be7a17 har ingen kreditering av Claude eller Codex, så ingen av kolonnene får et modellnavn.