CS
Geodi, oficiální pixelová postava GEODE
Zpět do sálu

GEODE

Autonomous Agent Harness

Od pozorování k další akci.

Lokální harness autonomního agenta, kterému lze svěřit výzkum, práci se soubory a plánované úlohy.

2026.02.21 — present

Návrh, posouzení, ověření: autor · implementace: Claude · revize: Codex

  • CLIZveřejněno · PyPI
  • Server MCPImplementováno

Přijetí kandidáta a oprávnění k vydání jsou samostatná rozhodnutí.

Crucible je experimentální jádro oddělené od hledání politik. Kandidátní commit se validuje vůči povoleným plochám a zmrazenému kontraktu, párové úlohy se agregují v samostatném měřicím checkoutu a výsledkem je KEEP, REJECT nebo INVALID.

Mapa Crucible · nakresleno podle připnutého commitu 9e2c041 a veřejných artefaktů 23e3428
Mapa Crucible v GEODEExperimentální jádro, které drží přijetí kandidáta, zapečetěnou způsobilost a vydání produktu jako samostatná oprávnění. Supervisor převezme od producenta jeden kandidátní commit, zkontroluje ho vůči povolené ploše a zmrazenému evaluátoru a úlohy tau2 spustí v izolovaném měřicím checkoutu. promotion.py agreguje párové výsledky podle předregistrovaných úloh a rodin do KEEP, REJECT nebo INVALID; KEEP posouvá jen head hledání. Zapečetěná evaluace posuzuje train bundle na jednorázovém disjunktním test packu; i ELIGIBLE dosáhne jen na eligible ref, bez oprávnění k vydání.Modely aktéra · uživateler14 · r35: gpt-5.4/highProstředí tau2úlohy · simulovaný uživatelVydání produktu GEODEbez spojení · samostatné oprávněnísearch/producerspříkaz producenta · konfigurovanýreplay producersearch/supervisor.pypropose → preflightevaluate → decide → recordcontract.pypovolená plocha · diff kandidátazmrazený evaluátor · předregistrovanýattempt/feedback.jsonkódy selhání · ID úloh trainmeasurement checkoutizolováno od producentaassays/běh tau2 · receiptverifikátor úlohpromotion.pypárová agregace · úloha · rodinaKEEP · REJECT · INVALIDattestation/bundle.pytrain bundle · přepočítaný KEEPattestation/sealed.pydisjunktní test pack · použit jednouELIGIBLE · release_authority nonerefs/cruciblesearch/* headeligible/*geode-eval-artifactsr14 · train KEEP → sealed REJECTr35 · INVALID · 0 párů · nullevolve/crucibleexterní experimentální jádro · oddělené od SILhledání · rozhodnutí trainattestation · sealed1 žádost o kandidáta · propose → preflight → search/producers12 jeden kandidátní commit · search/producers → propose → preflight23 povolená plocha · kontrola diffu · propose → preflight → povolená plocha · diff kandidáta34izolovaný checkout5běh s pevným kontraktem6dialog aktéra · uživatele7volání modelu8paired evidence9předregistrovaná agregace10KEEP · head se posouvá1paired evidence2předregistrovaná agregace3REJECT · INVALID4kódy selhání · ID úloh1record · ref receipt2 jen train bundle · jednou · train bundle · přepočítaný KEEP → disjunktní test pack · použit jednou23 jen eligible ref · ELIGIBLE · release_authority none → eligible/*31veřejný verdict.json2sealed decision.json

Rozhodnutí train

Jeden kandidát v povolené ploše se změří s pevným kontraktem v izolovaném checkoutu a předregistrovaná pravidla rozhodnou o KEEP, REJECT nebo INVALID.

  1. propose → preflightsearch/supervisor.pyžádost o kandidátasearch/producers

    Supervisor hledání požádá producenta o kandidáta. Kandidát r14 byl dřívější kandidát (r13) znovu aplikovaný producentem replay, nikoli nový kandidát vygenerovaný LLM.

  2. search/producersjeden kandidátní commitpropose → preflightsearch/supervisor.py

    Producent vrátí jediný kandidátní commit v rámci povolených cest.

  3. propose → preflightsearch/supervisor.pypovolená plocha · kontrola diffupovolená plocha · diff kandidátacontract.py

    Diff kandidáta musí zůstat v ploše povolené kontraktem a zmrazený evaluátor se ověřuje. V r14 a r35 byl povoleným cílem jediný soubor, tau2_agent_policy.md; core a implementace Crucible byly zafixovány jako cesta evaluátoru.

  4. evaluate → decide → recordsearch/supervisor.pyizolovaný checkoutizolováno od producentameasurement checkout

    Kandidát se kontroluje v měřicím checkoutu odděleném od producenta.

  5. izolováno od producentameasurement checkoutběh s pevným kontraktemběh tau2 · receiptassays/

    Baseline i kandidát běží se stejným kontraktem, seedem a úlohami.

  6. běh tau2 · receiptassays/dialog aktéra · uživateleProstředí tau2

    Agent GEODE (aktér) mluví v prostředí úloh tau2 se simulovaným uživatelem, kterého vlastní evaluátor.

  7. běh tau2 · receiptassays/volání modeluModely aktéra · uživatele

    V r14 a r35 byli aktér i simulovaný uživatel gpt-5.4/high (předplatné).

  8. verifikátor úlohassays/paired evidencepárová agregace · úloha · rodinapromotion.py

    Výsledky verifikátoru úloh se uchovávají jako páry baseline–kandidát.

  9. zmrazený evaluátor · předregistrovanýcontract.pypředregistrovaná agregacepárová agregace · úloha · rodinapromotion.py

    Párové výsledky se agregují podle úloh a předregistrovaných rodin a podmínky rozpočtu, pokrytí, infrastruktury a bezpečnosti se kontrolují zvlášť.

  10. KEEP · REJECT · INVALIDpromotion.pyKEEP · head se posouvásearch/* headrefs/crucible

    Při KEEP se kandidát stane dalším headem refs/crucible/search/*. promotion_authority rozhodnutí train je none.

Zamítnutí · neplatnost · zpětná vazba

REJECT a INVALID ponechávají head a další kandidát dostane jen kódy selhání a pevná ID úloh train. INVALID není nulové skóre.

  1. verifikátor úlohassays/paired evidencepárová agregace · úloha · rodinapromotion.py

    Výsledky verifikátoru úloh se uchovávají jako páry baseline–kandidát.

  2. zmrazený evaluátor · předregistrovanýcontract.pypředregistrovaná agregacepárová agregace · úloha · rodinapromotion.py

    Párové výsledky se agregují podle úloh a předregistrovaných rodin a podmínky rozpočtu, pokrytí, infrastruktury a bezpečnosti se kontrolují zvlášť.

  3. KEEP · REJECT · INVALIDpromotion.pyREJECT · INVALIDkódy selhání · ID úloh trainattempt/feedback.json

    Při zamítnutí nebo neplatnosti zůstává předchozí head a kandidát i jeho záznamy se uchovávají. Průměr INVALID je null, nikoli nula.

  4. kódy selhání · ID úloh trainattempt/feedback.jsonkódy selhání · ID úlohsearch/producers

    Zpětná vazba pro dalšího kandidáta se omezuje na kódy selhání a pevná ID úloh train; žádné trajektorie ani odpovědi evaluátoru se nepředávají.

Zapečetěná způsobilost · samostatné oprávnění

Train KEEP posouvá jen head hledání. Zapečetěná způsobilost dosáhne jen na eligible ref; vydání a nasazení produktu jsou samostatná oprávnění mimo Crucible.

  1. evaluate → decide → recordsearch/supervisor.pyrecord · ref receipttrain bundle · přepočítaný KEEPattestation/bundle.py

    Train bundle platí jen tehdy, když na sebe navazují kontrakt, doklady baseline a kandidáta, přepočítaný KEEP, původ návrhu, záznam supervisoru a receipt aplikovaného ref. Není to jiný název pro zlepšení.

  2. train bundle · přepočítaný KEEPattestation/bundle.pyjen train bundle · jednoudisjunktní test pack · použit jednouattestation/sealed.py

    Zapečetěná evaluace používá test pack disjunktní s train, jednou, s nulou infrastrukturních opakování.

  3. ELIGIBLE · release_authority noneattestation/sealed.pyjen eligible refeligible/*refs/crucible

    I ELIGIBLE zapisuje jen refs/crucible/eligible/* a release_authority je pevně none.

Veřejné záznamy · r14 · r35

r14: train KEEP, pak zapečetěné REJECT; r35 (July 13, 2026): INVALID kvůli neúplnému pokrytí a kontaminaci infrastruktury (0 párových řádků, průměr null), head beze změny.

  1. KEEP · REJECT · INVALIDpromotion.pyveřejný verdict.jsongeode-eval-artifacts

    Veřejné artefakty jsou normalizované záznamy připnuté v 23e3428. Předregistrovaný hash konfigurace train v r14 se liší od veřejných bajtů konfigurace, takže úplný původní řetězec není znovu certifikován.

  2. attestation/sealed.pysealed decision.jsonr14 · train KEEP → sealed REJECTgeode-eval-artifacts

    r14: KEEP na telecom train, 6 úloh × 1 pokus (6 párových řádků, bez oprávnění k povýšení), pak samostatné zapečetěné rozhodnutí REJECT (bez oprávnění k vydání).

Každé spojení se stejnou váhou. Výběr toku zvýrazní jen jeho cestu s očíslovanými kroky.

  • Plná čára · směr toku požadavků, kandidátů a výsledků
  • Přerušovaná čára · spuštění, rozhodnutí, autorizace, konfigurace
  • Silná černá čára · zvolený tok; čísla udávají pořadí
  • Rámeček · hranice kódu nebo záznamu, cesta v záhlaví
  • Vnitřní štítek · komponenta v této hranici
  • Přerušovaný rámeček · mimo tuto hranici
  • supervisor hledání
  • kontrakt · rozhodnutí · atestace
  • refy · záznamy
  • producenti · provádění

Crucible je jádro oddělené od SIL; obě hledání netvoří jednu pipeline, která by povyšovala kandidáty té druhé. Rámeček vydání produktu nemá žádné příchozí spojení.

Tři oprávnění
Train KEEP posouvá head hledání, zapečetěné ELIGIBLE zaznamenává eligible ref a vydání produktu je samostatné rozhodnutí mimo Crucible. Dřívější rozhodnutí nikdy neuděluje pozdější oprávnění.
Null není nula
r35 plánoval 9 úloh × 3 pokusy (27 řádků na rameno), ale měl 0 srovnatelných párů, takže jeho průměr i zlepšení jsou null. Nejde o 27 neúspěšných úloh ani o úspěšnost 0 %.