NL
Geodi, het officiële pixelpersonage van GEODE
Terug naar de zaal

GEODE

Autonomous Agent Harness

Van observatie naar de volgende actie.

Een lokale harness voor autonome agents, waaraan onderzoek, bestandswerk en geplande taken kunnen worden overgedragen.

2026.02.21 — present

Ontwerp, oordeel, verificatie: Author · implementatie: Claude · review: Codex

  • CLIGepubliceerd · PyPI
  • MCP-serverGeïmplementeerd

Acceptatie van kandidaten en releasebevoegdheid zijn aparte oordelen.

Crucible is een experimentkernel, los van de zoektocht naar policy’s. Een kandidaatcommit wordt gevalideerd tegen de toegestane oppervlakken en een bevroren contract, gepaarde taken worden geaggregeerd in een aparte meetcheckout, en de uitkomst is KEEP, REJECT of INVALID.

Crucible-kaart · getekend naar vastgezette commit 9e2c041 en openbare artefacten 23e3428
GEODE-Crucible-kaartEen experimentkernel die acceptatie van kandidaten, sealed geschiktheid en productrelease als aparte bevoegdheden houdt. De supervisor neemt één kandidaatcommit van een producent, controleert die tegen het toegestane oppervlak en de frozen evaluator, en draait tau2-taken in een geïsoleerde meetcheckout. promotion.py aggregeert gepaarde resultaten per vooraf geregistreerde task en family tot KEEP, REJECT of INVALID; KEEP verplaatst alleen de zoek-head. Sealed evaluatie beoordeelt een train bundle op een disjoint test pack dat één keer wordt gebruikt; zelfs ELIGIBLE komt niet verder dan een eligible ref, zonder releasebevoegdheid.Modellen voor actor · userr14 · r35: gpt-5.4/hightau2-omgevingtaken · gesimuleerde gebruikerGEODE-productreleasegeen verbinding · aparte bevoegdheidsearch/producersproducentcommando · geconfigureerdreplay producersearch/supervisor.pypropose → preflightevaluate → decide → recordcontract.pytoegestaan oppervlak · candidate difffrozen evaluator · vooraf geregistreerdattempt/feedback.jsonfoutcodes · ID’s van train-takenmeasurement checkoutgeïsoleerd van de producentassays/tau2-run · receipttaakverifierpromotion.pyaggregatie paired · task · familyKEEP · REJECT · INVALIDattestation/bundle.pytrain bundle · herberekende KEEPattestation/sealed.pydisjoint test pack · één keer gebruiktELIGIBLE · release_authority nonerefs/cruciblesearch/* headeligible/*geode-eval-artifactsr14 · train KEEP → sealed REJECTr35 · INVALID · 0 paren · nullevolve/crucibleexterne experimentkernel · los van SILsearch · train-oordeelattestation · sealed1 om een kandidaat vragen · propose → preflight → search/producers12 één kandidaatcommit · search/producers → propose → preflight23 toegestaan oppervlak · diff-controle · propose → preflight → toegestaan oppervlak · candidate diff34geïsoleerde checkout5run onder een vast contract6dialoog actor · gebruiker7modelaanroepen8paired evidence9vooraf geregistreerde aggregatie10KEEP · head verschuift1paired evidence2vooraf geregistreerde aggregatie3REJECT · INVALID4foutcodes · taak-ID’s1record · ref receipt2 alleen train bundle · één keer · train bundle · herberekende KEEP → disjoint test pack · één keer gebruikt23 alleen eligible ref · ELIGIBLE · release_authority none → eligible/*31openbare verdict.json2sealed decision.json

Train-oordeel

Eén kandidaat binnen het toegestane oppervlak wordt in een geïsoleerde checkout onder een vast contract gemeten, en vooraf geregistreerde regels beslissen over KEEP, REJECT of INVALID.

  1. propose → preflightsearch/supervisor.pyom een kandidaat vragensearch/producers

    De zoeksupervisor vraagt een producent om een kandidaat. De kandidaat van r14 was een eerdere kandidaat (r13) die de replay producer opnieuw toepaste, geen nieuwe door een LLM gegenereerde.

  2. search/producerséén kandidaatcommitpropose → preflightsearch/supervisor.py

    Een producent levert één kandidaatcommit binnen de toegestane paden.

  3. propose → preflightsearch/supervisor.pytoegestaan oppervlak · diff-controletoegestaan oppervlak · candidate diffcontract.py

    De candidate diff moet binnen het door het contract toegestane oppervlak blijven, en de frozen evaluator wordt geverifieerd. In r14 en r35 was het toegestane doel één bestand, tau2_agent_policy.md; core en de Crucible-implementatie lagen vast als evaluatorpad.

  4. evaluate → decide → recordsearch/supervisor.pygeïsoleerde checkoutgeïsoleerd van de producentmeasurement checkout

    De kandidaat wordt gecontroleerd in een meetcheckout die gescheiden is van de producent.

  5. geïsoleerd van de producentmeasurement checkoutrun onder een vast contracttau2-run · receiptassays/

    Baseline en kandidaat draaien met hetzelfde contract, dezelfde seed en dezelfde taken.

  6. tau2-run · receiptassays/dialoog actor · gebruikertau2-omgeving

    De GEODE-agent (actor) praat in de tau2-taakomgeving met de gesimuleerde gebruiker die van de evaluator is.

  7. tau2-run · receiptassays/modelaanroepenModellen voor actor · user

    In r14 en r35 waren zowel de actor als de gesimuleerde gebruiker gpt-5.4/high (abonnement).

  8. taakverifierassays/paired evidenceaggregatie paired · task · familypromotion.py

    De resultaten van de taakverifier worden bewaard als paren van baseline en kandidaat.

  9. frozen evaluator · vooraf geregistreerdcontract.pyvooraf geregistreerde aggregatieaggregatie paired · task · familypromotion.py

    Gepaarde resultaten worden geaggregeerd per task en vooraf geregistreerde family, waarbij budget, coverage, infrastructuur en veiligheidsvoorwaarden apart worden gecontroleerd.

  10. KEEP · REJECT · INVALIDpromotion.pyKEEP · head verschuiftsearch/* headrefs/crucible

    Bij KEEP wordt de volgende head van refs/crucible/search/* de kandidaat. De promotion_authority van een train-oordeel is none.

Afwijzing · ongeldig · feedback

REJECT en INVALID houden de head, en de volgende kandidaat krijgt alleen foutcodes en vaste ID’s van train-taken. INVALID is geen score van nul.

  1. taakverifierassays/paired evidenceaggregatie paired · task · familypromotion.py

    De resultaten van de taakverifier worden bewaard als paren van baseline en kandidaat.

  2. frozen evaluator · vooraf geregistreerdcontract.pyvooraf geregistreerde aggregatieaggregatie paired · task · familypromotion.py

    Gepaarde resultaten worden geaggregeerd per task en vooraf geregistreerde family, waarbij budget, coverage, infrastructuur en veiligheidsvoorwaarden apart worden gecontroleerd.

  3. KEEP · REJECT · INVALIDpromotion.pyREJECT · INVALIDfoutcodes · ID’s van train-takenattempt/feedback.json

    Bij afwijzing of ongeldigheid blijft de vorige head staan, en de kandidaat en zijn vastleggingen worden bewaard. Het gemiddelde van een INVALID is null, niet nul.

  4. foutcodes · ID’s van train-takenattempt/feedback.jsonfoutcodes · taak-ID’ssearch/producers

    Feedback aan de volgende kandidaat is beperkt tot foutcodes en vaste ID’s van train-taken; trajecten of antwoorden van de evaluator worden niet doorgegeven.

Sealed geschiktheid · aparte bevoegdheid

Een train-KEEP verplaatst alleen de zoek-head. Sealed geschiktheid komt niet verder dan de eligible ref; productrelease en uitrol zijn aparte bevoegdheden buiten Crucible.

  1. evaluate → decide → recordsearch/supervisor.pyrecord · ref receipttrain bundle · herberekende KEEPattestation/bundle.py

    Een train bundle houdt alleen stand als contract, bewijs voor baseline en kandidaat, de herberekende KEEP, de herkomstketen van het voorstel, het supervisorlog en de receipt van de toegepaste ref allemaal op elkaar aansluiten. Het is geen andere naam voor verbetering.

  2. train bundle · herberekende KEEPattestation/bundle.pyalleen train bundle · één keerdisjoint test pack · één keer gebruiktattestation/sealed.py

    Sealed evaluatie gebruikt één keer een test pack dat disjunct is van train, met nul herhalingen voor infrastructuur.

  3. ELIGIBLE · release_authority noneattestation/sealed.pyalleen eligible refeligible/*refs/crucible

    Zelfs ELIGIBLE schrijft alleen refs/crucible/eligible/*, en release_authority ligt vast op none.

Openbare vastleggingen · r14 · r35

r14 was train KEEP en daarna sealed REJECT; r35 (July 13, 2026) was INVALID door onvolledige coverage en vervuiling van de infrastructuur (0 gepaarde rijen, gemiddelde null), met de head ongewijzigd.

  1. KEEP · REJECT · INVALIDpromotion.pyopenbare verdict.jsongeode-eval-artifacts

    De openbare artefacten zijn genormaliseerde vastleggingen, vastgezet op 23e3428. De vooraf geregistreerde hash van de train-configuratie van r14 verschilt van de bytes van de openbare configuratie, dus de volledige oorspronkelijke keten is niet opnieuw gecertificeerd.

  2. attestation/sealed.pysealed decision.jsonr14 · train KEEP → sealed REJECTgeode-eval-artifacts

    r14: KEEP op telecom train, 6 taken × 1 poging (6 gepaarde rijen, geen promotiebevoegdheid), daarna een apart sealed oordeel REJECT (geen releasebevoegdheid).

Alle verbindingen even zwaar. Kies een stroom om alleen het pad daarvan te markeren, met genummerde stappen.

  • Doorgetrokken · de richting waarin verzoeken, kandidaten en resultaten stromen
  • Gestreept · uitvoeren, beslissen, autoriseren, configureren
  • Dikke zwarte lijn · de gekozen stroom; nummers geven de volgorde
  • Vak · een code- of vastleggingsgrens, met het pad in de kop
  • Binnenchip · een component in die grens
  • Gestreept vak · buiten die grens
  • zoeksupervisor
  • contract · oordeel · attestatie
  • refs · vastleggingen
  • producenten · uitvoering

Crucible is een kernel los van SIL; de twee zoektochten vormen geen pijplijn die elkaars kandidaten promoveert. Het vak voor de productrelease heeft geen inkomende verbinding.

Drie bevoegdheden
Een train-KEEP verplaatst de zoek-head, een sealed ELIGIBLE legt een eligible ref vast, en de productrelease is een aparte beslissing buiten Crucible. Een eerder oordeel geeft nooit een latere bevoegdheid.
Null is niet nul
r35 plande 9 taken × 3 pogingen (27 rijen per arm), maar had 0 vergelijkbare paren, dus het gemiddelde en de verbetering zijn null. Het zijn geen 27 mislukte taken en geen slagingspercentage van 0%.