NO
Geodi, GEODEs offisielle pikselfigur
Tilbake til salen

GEODE

Autonomous Agent Harness

Fra observasjon til neste handling.

En lokal harness for autonome agenter, som research, filarbeid og planlagte oppgaver kan overlates til.

2026.02.21 — present

Design, vurdering, verifisering: Author · implementering: Claude · gjennomgang: Codex

  • CLIPublisert · PyPI
  • MCP-serverImplementert

Kandidataksept og release-myndighet er separate vurderinger.

Crucible er en eksperimentkjerne atskilt fra policysøk. En kandidat-commit valideres mot de tillatte flatene og en frosset kontrakt, parede oppgaver aggregeres i en separat måle-checkout, og resultatet er KEEP, REJECT eller INVALID.

Crucible-kart · tegnet ut fra fastlåst commit 9e2c041 og offentlige artefakter 23e3428
Kart over GEODE CrucibleEn eksperimentkjerne som holder kandidataksept, forseglet kvalifisering og produktrelease som separate myndigheter. Supervisoren tar én kandidat-commit fra en produsent, kontrollerer den mot den tillatte flaten og den frosne evaluatoren og kjører tau2-oppgaver i en isolert måle-checkout. promotion.py aggregerer parede resultater per forhåndsregistrert oppgave og familie til KEEP, REJECT eller INVALID; KEEP flytter bare søkets head. Forseglet evaluering vurderer en train-bundle på en disjunkt testpakke som brukes én gang; selv ELIGIBLE når bare en eligible-ref, uten release-myndighet.Modeller: actor · brukerr14 · r35: gpt-5.4/hightau2-miljøoppgaver · simulert brukerGEODE-produktreleaseingen forbindelse · separat myndighetsearch/producersprodusentkommando · konfigurertreplay producersearch/supervisor.pypropose → preflightevaluate → decide → recordcontract.pytillatt flate · kandidat-difffrossen evaluator · forhåndsregistrertattempt/feedback.jsonfeilkoder · ID-er for train-oppgavermeasurement checkoutisolert fra produsentenassays/tau2-kjøring · kvitteringoppgaveverifikatorpromotion.pyparet · aggregat per oppgave · familieKEEP · REJECT · INVALIDattestation/bundle.pytrain-bundle · omregnet KEEPattestation/sealed.pydisjunkt testpakke · brukes én gangELIGIBLE · release_authority nonerefs/cruciblesearch/* headeligible/*geode-eval-artifactsr14 · train KEEP → sealed REJECTr35 · INVALID · 0 par · nullevolve/crucibleekstern eksperimentkjerne · atskilt fra SILsøk · train-domattestation · sealed1 be om en kandidat · propose → preflight → search/producers12 én kandidat-commit · search/producers → propose → preflight23 tillatt flate · diff-kontroll · propose → preflight → tillatt flate · kandidat-diff34isolert checkout5kjøring under fast kontrakt6actor · brukerdialog7modellkall8paired evidence9forhåndsregistrert aggregering10KEEP · head flyttes1paired evidence2forhåndsregistrert aggregering3REJECT · INVALID4feilkoder · oppgave-ID-er1record · ref receipt2 bare train-bundle · én gang · train-bundle · omregnet KEEP → disjunkt testpakke · brukes én gang23 bare eligible-ref · ELIGIBLE · release_authority none → eligible/*31offentlig verdict.json2sealed decision.json

Train-dom

Én kandidat innenfor den tillatte flaten måles under fast kontrakt i en isolert checkout, og forhåndsregistrerte regler avgjør KEEP, REJECT eller INVALID.

  1. propose → preflightsearch/supervisor.pybe om en kandidatsearch/producers

    Søkets supervisor ber en produsent om en kandidat. Kandidaten i r14 var en tidligere kandidat (r13) som replay-produsenten brukte på nytt, ikke en ny LLM-generert.

  2. search/producersén kandidat-commitpropose → preflightsearch/supervisor.py

    En produsent returnerer én kandidat-commit innenfor de tillatte stiene.

  3. propose → preflightsearch/supervisor.pytillatt flate · diff-kontrolltillatt flate · kandidat-diffcontract.py

    Kandidatens diff må holde seg innenfor kontraktens tillatte flate, og den frosne evaluatoren verifiseres. I r14 og r35 var det tillatte målet én fil, tau2_agent_policy.md; core og Crucible-implementeringen var låst som evaluatorsti.

  4. evaluate → decide → recordsearch/supervisor.pyisolert checkoutisolert fra produsentenmeasurement checkout

    Kandidaten kontrolleres i en måle-checkout atskilt fra produsenten.

  5. isolert fra produsentenmeasurement checkoutkjøring under fast kontrakttau2-kjøring · kvitteringassays/

    Baseline og kandidat kjøres med samme kontrakt, seed og oppgaver.

  6. tau2-kjøring · kvitteringassays/actor · brukerdialogtau2-miljø

    GEODE-agenten (actor) snakker med den evaluator-eide simulerte brukeren i tau2-oppgavemiljøet.

  7. tau2-kjøring · kvitteringassays/modellkallModeller: actor · bruker

    I r14 og r35 var både actor og simulert bruker gpt-5.4/high (abonnement).

  8. oppgaveverifikatorassays/paired evidenceparet · aggregat per oppgave · familiepromotion.py

    Resultatene fra oppgaveverifikatoren lagres som par av baseline og kandidat.

  9. frossen evaluator · forhåndsregistrertcontract.pyforhåndsregistrert aggregeringparet · aggregat per oppgave · familiepromotion.py

    Parede resultater aggregeres per oppgave og forhåndsregistrert familie, og betingelser for budsjett, dekning, infrastruktur og sikkerhet kontrolleres separat.

  10. KEEP · REJECT · INVALIDpromotion.pyKEEP · head flyttessearch/* headrefs/crucible

    Ved KEEP blir neste head i refs/crucible/search/* kandidaten. En train-doms promotion_authority er none.

Avvist · ugyldig · tilbakemelding

REJECT og INVALID beholder head, og neste kandidat får bare feilkoder og faste ID-er for train-oppgaver. INVALID er ikke en score på 0.

  1. oppgaveverifikatorassays/paired evidenceparet · aggregat per oppgave · familiepromotion.py

    Resultatene fra oppgaveverifikatoren lagres som par av baseline og kandidat.

  2. frossen evaluator · forhåndsregistrertcontract.pyforhåndsregistrert aggregeringparet · aggregat per oppgave · familiepromotion.py

    Parede resultater aggregeres per oppgave og forhåndsregistrert familie, og betingelser for budsjett, dekning, infrastruktur og sikkerhet kontrolleres separat.

  3. KEEP · REJECT · INVALIDpromotion.pyREJECT · INVALIDfeilkoder · ID-er for train-oppgaverattempt/feedback.json

    Ved avvisning eller ugyldighet blir forrige head stående, og kandidaten og loggene bevares. Et INVALID-gjennomsnitt har verdien null, ikke 0.

  4. feilkoder · ID-er for train-oppgaverattempt/feedback.jsonfeilkoder · oppgave-ID-ersearch/producers

    Tilbakemelding til neste kandidat er begrenset til feilkoder og faste ID-er for train-oppgaver; ingen evaluator-trajektorier eller svar sendes videre.

Forseglet kvalifisering · separat myndighet

Train-KEEP flytter bare søkets head. Forseglet kvalifisering når bare eligible-ref-en; produktrelease og utrulling er separate myndigheter utenfor Crucible.

  1. evaluate → decide → recordsearch/supervisor.pyrecord · ref receipttrain-bundle · omregnet KEEPattestation/bundle.py

    En train-bundle holder bare når kontrakt, belegg for baseline og kandidat, den omregnede KEEP, forslagets avstamning, supervisor-loggen og kvitteringen for den anvendte ref-en alle henger sammen. Den er ikke et annet navn på forbedring.

  2. train-bundle · omregnet KEEPattestation/bundle.pybare train-bundle · én gangdisjunkt testpakke · brukes én gangattestation/sealed.py

    Forseglet evaluering bruker en testpakke som er disjunkt fra train, én gang og uten nye forsøk ved infrastrukturfeil.

  3. ELIGIBLE · release_authority noneattestation/sealed.pybare eligible-refeligible/*refs/crucible

    Selv ELIGIBLE skriver bare refs/crucible/eligible/*, og release_authority er låst til none.

Offentlige logger · r14 · r35

r14 var train-KEEP og deretter forseglet REJECT; r35 (13. juli 2026) var INVALID på grunn av ufullstendig dekning og forurensning fra infrastrukturen (0 parede rader, gjennomsnitt null), med uendret head.

  1. KEEP · REJECT · INVALIDpromotion.pyoffentlig verdict.jsongeode-eval-artifacts

    De offentlige artefaktene er normaliserte logger låst ved 23e3428. Den forhåndsregistrerte train-config-hashen for r14 avviker fra de offentlige config-bytene, så hele den opprinnelige kjeden er ikke sertifisert på nytt.

  2. attestation/sealed.pysealed decision.jsonr14 · train KEEP → sealed REJECTgeode-eval-artifacts

    r14: KEEP på telecom-train, 6 oppgaver × 1 forsøk (6 parede rader, ingen forfremmelsesmyndighet), deretter en separat forseglet dom på REJECT (ingen release-myndighet).

Alle forbindelser med samme tykkelse. Velg en flyt for å fremheve bare dens vei, med nummererte steg.

  • Heltrukket · retningen forespørsler, kandidater og resultater flyter
  • Stiplet · kjøre, avgjøre, autorisere, konfigurere
  • Kraftig svart linje · den valgte flyten; tallene angir rekkefølgen
  • Boks · en kode- eller logggrense, stien i overskriften
  • Indre chip · en komponent innenfor grensen
  • Stiplet boks · utenfor grensen
  • søkets supervisor
  • kontrakt · dom · attestering
  • refs · logger
  • produsenter · utførelse

Crucible er en kjerne atskilt fra SIL; de to søkene er ikke én pipeline som forfremmer hverandres kandidater. Boksen for produktrelease har ingen innkommende forbindelse.

Tre myndigheter
Train-KEEP flytter søkets head, forseglet ELIGIBLE registrerer en eligible-ref, og produktrelease er en separat beslutning utenfor Crucible. En tidligere dom gir aldri en senere myndighet.
Null er ikke 0
r35 planla 9 oppgaver × 3 forsøk (27 rader per arm), men hadde 0 sammenlignbare par, så gjennomsnittet og forbedringen har verdien null. Det er ikke 27 mislykkede oppgaver eller en suksessrate på 0%.