GEODE
Autonomous Agent Harness
Från observation till nästa handling.
En lokal harness för autonoma agenter som kan anförtros research, filarbete och schemalagda uppgifter.
Implementationer återsända av granskning, forskningssiffror omräknade
Två fall där granskningen skickade tillbaka en implementation och ett där forskningssiffror räknades om med originalen bevarade. Varje roll är bara det som fallets logg visar.
June 13, 2026
En implementation som klarade normalvägen skickades tillbaka två gånger av granskningen, på felvägarna
PersonAuthor
HandlingSaknad telemetri · tyst fallback ska kontrolleras
- överlämningFel som måste synas→ Typad aktivitetsrad · fallback markerad (Claude Fable 5)
KodagentClaude Fable 5
HandlingTypad aktivitetsrad · fallback markerad
- överlämning→ commit 64bd223 (Offentliga commits)
- överlämningDiff · felvägar→ BLOCKER: generisk fallback sparar rå details=data (Codex)
ArtefakterOffentliga commits
Artefaktcommit 64bd223
Granskning · verifieringCodex
Observation · fyndBLOCKER: generisk fallback sparar rå details=data
- skickad tillbakaNormalvägens skydd även på undantagsvägen→ Ta bort känsliga fält även vid fallback (Claude Fable 5)
KodagentClaude Fable 5
HandlingTa bort känsliga fält även vid fallback
- överlämning→ c808e78 · K4-reproduktionskontroll (Offentliga commits)
- överlämningRättning granskad igen→ BLOCKER #2: ValidationError-text exponerar värden igen (Codex)
ArtefakterOffentliga commits
Artefaktc808e78 · K4-reproduktionskontroll
Granskning · verifieringCodex
Observation · fyndBLOCKER #2: ValidationError-text exponerar värden igen
- skickad tillbakaEn felorsak utan råa värden→ Behåll bara feltyp · fältsökväg; ta bort args_preview (Claude Fable 5)
KodagentClaude Fable 5
HandlingBehåll bara feltyp · fältsökväg; ta bort args_preview
- överlämning→ 8dcb386 · K5-reproduktionskontroll (Offentliga commits)
ArtefakterOffentliga commits
Artefakt8dcb386 · K5-reproduktionskontroll
- inte en registrerad exekveringKontrollerat omfång→ Fullständig CI och ett slutligt PASS i granskningen vid tillfället har inte lästs om (Offentliga commits)
ArtefakterOffentliga commits
Regel · obekräftadFullständig CI och ett slutligt PASS i granskningen vid tillfället har inte lästs om
- Kontext
- Ändringen gjorde observerbarhetshändelser till typade aktivitetsrader och hindrade fallbacks från att ske tyst. Codex-granskningen gav två BLOCKER, och varje rättning kom med en kontroll som återskapar den kringgång som granskningen hittade.
- Resultat
- K4 framtvingar en verklig fallback med fel typ och kontrollerar att inget rått fält finns kvar; K5 kontrollerar att felbeskrivningen bara innehåller fältnamn och feltyper, aldrig indatavärden. Kontrollerna återskapar de kringgångar som granskningen hittade; de kopierar inte implementationens konstanter.
- Begränsning
- Den ursprungliga MCP-granskningskonversationen öppnades inte; granskningens roll fastställs utifrån commits och den CHANGELOG som skrevs vid tillfället. Det här fallet garanterar inte att ingen GEODE-logg någonsin sparar känsliga data.
Källor och återstående begränsningar
- Alla tre commits krediterar Claude Fable 5, och c808e78 och 8dcb386 registrerar Codex BLOCKER respektive BLOCKER #2.
- De nuvarande riktlinjerna för bidragsgivare (oktober 2026) läses inte i efterhand som instruktion för det här fallet.
May 26, 2026
En ändring som skulle radera ett poängvärde snävades in till en kontroll av var poängvärdet får användas
KodagentImplementation
Observation · fyndBehov: använd inte detta värde som fitnessaxel
- överlämningFörsta hypotesen→ Första utkast: ta bort värdet i baseline-writern (Implementation)
Under utvecklingKonsumenter i produkten
Observation · fyndVid första genereringen är baseline enda källan till scenario_realism
- överlämningFaktisk konsument spårad→ Fynd: bryter den inledande critic-indatan (Codex)
KodagentImplementation
HandlingFörsta utkast: ta bort värdet i baseline-writern
- överlämningÄndring granskad→ Fynd: bryter den inledande critic-indatan (Codex)
Granskning · verifieringCodex
Observation · fyndFynd: bryter den inledande critic-indatan
- skickad tillbakaBehåll det befintliga indatakontraktet→ Writer-ändringen tillbakadragen · data behållna (Implementation)
KodagentImplementation
HandlingWriter-ändringen tillbakadragen · data behållna
- överlämningKlarkriterium flyttat→ 4 invarianter: frånvarande endast i fitnessytor (Offentlig commit · PR)
ArtefakterOffentlig commit · PR
Artefakt4 invarianter: frånvarande endast i fitnessytor
- överlämningSlutlig diff→ 0792e81 → PR #1690 sammanfogad (Offentlig commit · PR)
ArtefakterOffentlig commit · PR
Artefakt0792e81 → PR #1690 sammanfogad
- Kontext
- Ändringen skulle hindra scenario_realism från att fungera som fitnessaxel i den externa Scaffold Search. När granskningen spårade den första läsaren av värdet gjordes ändringen mindre, inte större.
- Resultat
- Baseline-värdet ligger kvar; fyra kontroller låser fast att denna dimension saknas i den externa sökningens AXIS_TIERS, DIM_WEIGHTS och tier-listor.
- Begränsning
- Sessionen bakom den tillbakadragna writer-ändringen granskades inte; den fastställs utifrån commiten och testbeskrivningarna från tillfället. Kontrollerna är inget belägg för sökprestanda eller förbättring av SIL.
Källor och återstående begränsningar
- Critic och evolver är datakonsumenter i produkten under utveckling, inte kodagenten eller Codex-granskaren som användes för att bygga den.
- Titeln på PR #1690 säger fortfarande ”filter”; den slutliga diffen och commiten är den faktiska ändringen.
September 27, 2026 to September 28, 2026
Efter en rättning av gränsvärden reproducerades först de ursprungliga resultaten och räknades sedan om
ArbetssessionAnalysimplementerare
Observation · fyndVärden exakt på toleransgränsen avvisade
- överlämningEtt admission-fel, inte modellens förmåga→ Jämför som decimaltal · toleranser oförändrade (Analysimplementerare)
ArbetssessionAnalysimplementerare
HandlingJämför som decimaltal · toleranser oförändrade
- överlämning→ 4be7a17 · kontroller innanför / utanför gränsen (Artefakter)
ArtefakterArtefakter
Artefakt4be7a17 · kontroller innanför / utanför gränsen
PersonAuthor
HandlingDelegerat: endast offline-rättning av alla sparade U4 · X2
- överlämningTillåtet omfång→ contract.json: indata · regler fastlåsta, inga modellanrop (Artefakter)
ArtefakterArtefakter
Artefaktcontract.json: indata · regler fastlåsta, inga modellanrop
- överlämningFasta villkor→ Reproducera först tidigare resultat · nämnare · CI:er (Analysimplementerare)
ArbetssessionAnalysimplementerare
HandlingReproducera först tidigare resultat · nämnare · CI:er
- överlämningEfter reproduktion→ Beräkna rättelsen separat från samma indata (Analysimplementerare)
ArbetssessionAnalysimplementerare
HandlingBeräkna rättelsen separat från samma indata
- överlämning→ receipt: 24 original bevarade · 0 modellanrop (Artefakter)
- överlämningCellvektorer, inte sammanfattningar→ Räkna om vinnare · CI:er från cellvektorer · jämför hashar (Oberoende verifierare)
ArtefakterArtefakter
Artefaktreceipt: 24 original bevarade · 0 modellanrop
Granskning · verifieringOberoende verifierare
HandlingRäkna om vinnare · CI:er från cellvektorer · jämför hashar
- överlämning→ independent-review: domarna står sig, begränsningar angivna (Artefakter)
ArtefakterArtefakter
Artefaktindependent-review: domarna står sig, begränsningar angivna
- Kontext
- I Jevs forskningsverktyg avvisades typade numeriska svar som låg exakt på toleransgränsen. Efter rättningen räknades alla sparade resultat om utan nya modellkörningar, och den beräknande och den verifierande sidan hölls åtskilda.
- Resultat
- Domarna stod sig efter rättelsen (U4 not-supported, X2 mixed). Att rätta ett numeriskt fel och att stödja en forskningshypotes hölls isär.
- Begränsning
- En rättelse i efterhand, inte ett nytt modellexperiment. De 640 Astra listwise-cellerna utan ursprungligt svar behåller sin sparade vinnare, och den oberoende granskningen parsade inte heller om privata svarstexter.
Källor och återstående begränsningar
- Poängtoleransen 0.03 och toleransen för fördelningssumman 0.025 ändrades inte. De rättade siffrorna är U4 58/80 → 59/80 och X2 194/240 → 196/240.
- Den offentliga rättelseloggen namnger ingen modell för den skrivande eller den verifierande sidan, och 4be7a17 har ingen kreditering av Claude eller Codex, så ingen av kolumnerna får ett modellnamn.