GEODE
Autonomous Agent Harness
Od pozorování k další akci.
Lokální harness autonomního agenta, kterému lze svěřit výzkum, práci se soubory a plánované úlohy.
Implementace vrácené revizí, přepočítaná výzkumná čísla
Dva případy, kdy revize vrátila implementaci, a jeden, kdy byla výzkumná čísla přepočítána se zachováním originálů. Každá role zahrnuje jen to, co ukazuje záznam daného případu.
June 13, 2026
Implementaci, která prošla běžnou cestou, revize dvakrát vrátila kvůli chybovým cestám
ČlověkAuthor
AkceChybějící telemetrie · tichý fallback ke kontrole
- předáníSelhání, která musí být vidět→ Typovaný řádek aktivity · označený fallback (Claude Fable 5)
Kódovací agentClaude Fable 5
AkceTypovaný řádek aktivity · označený fallback
- předání→ commit 64bd223 (Veřejné commity)
- předáníDiff · cesty selhání→ BLOCKER: obecný fallback ukládá surové details=data (Codex)
ArtefaktyVeřejné commity
Artefaktcommit 64bd223
Revize · ověřeníCodex
Pozorování · zjištěníBLOCKER: obecný fallback ukládá surové details=data
- vrácenoOchrana běžné cesty i na cestě výjimky→ Odstranit citlivá pole i při fallbacku (Claude Fable 5)
Kódovací agentClaude Fable 5
AkceOdstranit citlivá pole i při fallbacku
- předání→ c808e78 · reprodukční kontrola K4 (Veřejné commity)
- předáníOprava znovu revidována→ BLOCKER #2: text ValidationError znovu odhaluje hodnoty (Codex)
ArtefaktyVeřejné commity
Artefaktc808e78 · reprodukční kontrola K4
Revize · ověřeníCodex
Pozorování · zjištěníBLOCKER #2: text ValidationError znovu odhaluje hodnoty
- vrácenoDůvod chyby bez surových hodnot→ Ponechat jen typ chyby · cestu pole; vypustit args_preview (Claude Fable 5)
Kódovací agentClaude Fable 5
AkcePonechat jen typ chyby · cestu pole; vypustit args_preview
- předání→ 8dcb386 · reprodukční kontrola K5 (Veřejné commity)
ArtefaktyVeřejné commity
Artefakt8dcb386 · reprodukční kontrola K5
- nejde o zaznamenané provedeníOvěřený rozsah→ Úplné CI a tehdejší závěrečný PASS revize znovu nečteny (Veřejné commity)
ArtefaktyVeřejné commity
Pravidlo · neověřenoÚplné CI a tehdejší závěrečný PASS revize znovu nečteny
- Kontext
- Změna převáděla události pozorovatelnosti na typované řádky aktivity a zajistila, aby fallbacky nebyly tiché. Revize Codex zanechala dva BLOCKERy a každou opravu provázela kontrola reprodukující nalezené obejití.
- Výsledek
- K4 vynutí skutečný fallback chybným typem a ověří, že žádné surové pole nepřežije; K5 ověří, že popis chyby obsahuje jen názvy polí a typy chyb, nikdy vstupní hodnoty. Tyto kontroly reprodukují obejití nalezená revizí; nekopírují konstanty implementace.
- Omezení
- Původní konverzace revize přes MCP nebyla otevřena; role revize je doložena commity a tehdejším CHANGELOG. Tento případ nezaručuje, že žádný log GEODE nikdy neuchovává citlivá data.
Zdroje a zbývající omezení
- Všechny tři commity uvádějí Claude Fable 5 a c808e78 a 8dcb386 zaznamenávají BLOCKER a BLOCKER #2 od Codex.
- Současné (October 2026) zásady pro přispěvatele se zpětně nečtou jako pokyn pro tento případ.
May 26, 2026
Změna, která by smazala skóre, byla zúžena na kontrolu toho, kde se skóre smí použít
Kódovací agentImplementace
Pozorování · zjištěníPožadavek: nepoužívat tuto hodnotu jako osu fitness
- předáníPrvní hypotéza→ První návrh: odstranit hodnotu v baseline writeru (Implementace)
Ve vývojiKonzumenti v produktu
Pozorování · zjištěníPři první generaci je baseline jediným zdrojem scenario_realism
- předáníDohledán skutečný konzument→ Zjištění: rozbíjí počáteční vstup critic (Codex)
Kódovací agentImplementace
AkcePrvní návrh: odstranit hodnotu v baseline writeru
- předáníZměna revidována→ Zjištění: rozbíjí počáteční vstup critic (Codex)
Revize · ověřeníCodex
Pozorování · zjištěníZjištění: rozbíjí počáteční vstup critic
- vrácenoZachovat stávající kontrakt vstupu→ Změna writeru stažena · data zachována (Implementace)
Kódovací agentImplementace
AkceZměna writeru stažena · data zachována
- předáníKritérium dokončení posunuto→ 4 invarianty: chybí jen na plochách fitness (Veřejný commit · PR)
ArtefaktyVeřejný commit · PR
Artefakt4 invarianty: chybí jen na plochách fitness
- předáníZávěrečný diff→ 0792e81 → PR #1690 sloučen (Veřejný commit · PR)
ArtefaktyVeřejný commit · PR
Artefakt0792e81 → PR #1690 sloučen
- Kontext
- Změna měla zajistit, aby scenario_realism nesloužil jako osa fitness v externím Scaffold Search. Když revize dohledala prvního čtenáře této hodnoty, změna se zmenšila, ne zvětšila.
- Výsledek
- Hodnota baseline zůstává; čtyři kontroly fixují, že tato dimenze chybí v AXIS_TIERS, DIM_WEIGHTS a seznamech tierů externího hledání.
- Omezení
- Relace, za níž stojí stažená změna writeru, nebyla prohlížena; je doložena commitem a tehdejšími popisy testů. Tyto kontroly nejsou dokladem výkonu hledání ani zlepšení SIL.
Zdroje a zbývající omezení
- Critic a evolver jsou konzumenti dat uvnitř vyvíjeného produktu, nikoli kódovací agent ani revizor Codex použitý k jeho stavbě.
- Název PR #1690 stále uvádí „filter“; skutečnou změnou jsou závěrečný diff a commit.
September 27, 2026 to September 28, 2026
Po opravě hraniční hodnoty byly nejprve reprodukovány původní výsledky a pak přepočítány
Pracovní relaceImplementátor analýzy
Pozorování · zjištěníHodnoty přesně na hranici tolerance odmítnuty
- předáníChyba přijetí, ne schopnosti modelu→ Porovnání jako desetinná čísla · tolerance beze změny (Implementátor analýzy)
Pracovní relaceImplementátor analýzy
AkcePorovnání jako desetinná čísla · tolerance beze změny
- předání→ 4be7a17 · kontroly uvnitř / vně hranice (Artefakty)
ArtefaktyArtefakty
Artefakt4be7a17 · kontroly uvnitř / vně hranice
ČlověkAuthor
AkceDelegováno: pouze offline oprava všech uložených U4 · X2
- předáníPovolený rozsah→ contract.json: vstupy · pravidla fixní, bez volání modelu (Artefakty)
ArtefaktyArtefakty
Artefaktcontract.json: vstupy · pravidla fixní, bez volání modelu
- předáníPevné podmínky→ Nejprve reprodukovat dřívější výsledky · jmenovatele · CI (Implementátor analýzy)
Pracovní relaceImplementátor analýzy
AkceNejprve reprodukovat dřívější výsledky · jmenovatele · CI
- předáníPo reprodukci→ Opravu spočítat samostatně ze stejných vstupů (Implementátor analýzy)
Pracovní relaceImplementátor analýzy
AkceOpravu spočítat samostatně ze stejných vstupů
- předání→ receipt: 24 originálů zachováno · 0 volání modelu (Artefakty)
- předáníVektory buněk, ne souhrny→ Přepočítat vítěze · CI z vektorů buněk · porovnat hashe (Nezávislý verifikátor)
ArtefaktyArtefakty
Artefaktreceipt: 24 originálů zachováno · 0 volání modelu
Revize · ověřeníNezávislý verifikátor
AkcePřepočítat vítěze · CI z vektorů buněk · porovnat hashe
- předání→ independent-review: rozhodnutí platí, limity uvedeny (Artefakty)
ArtefaktyArtefakty
Artefaktindependent-review: rozhodnutí platí, limity uvedeny
- Kontext
- V nástroji pro výzkum Jev byly typované číselné odpovědi ležící přesně na hranici tolerance odmítány. Po opravě byly všechny uložené výsledky přepočítány bez nových běhů modelu a strana počítající a strana ověřující zůstaly oddělené.
- Výsledek
- Rozhodnutí po opravě platila dál (U4 not-supported, X2 mixed). Oprava číselné chyby a podpora výzkumné hypotézy zůstaly oddělené.
- Omezení
- Dodatečná oprava, nikoli nový experiment s modelem. 640 buněk listwise Astra bez původní odpovědi si ponechává uloženého vítěze a ani nezávislá revize znovu neparsovala neveřejná těla odpovědí.
Zdroje a zbývající omezení
- Tolerance skóre 0.03 ani tolerance součtu rozdělení 0.025 se neměnily. Opravené hodnoty jsou U4 58/80 → 59/80 a X2 194/240 → 196/240.
- Veřejný záznam opravy neuvádí model na straně psaní ani ověřování a 4be7a17 nenese označení Claude ani Codex, proto ani jeden sloupec nemá název modelu.