NO
Geodi, GEODEs offisielle pikselfigur
Tilbake til salen

GEODE

Autonomous Agent Harness

Fra observasjon til neste handling.

En lokal harness for autonome agenter, som research, filarbeid og planlagte oppgaver kan overlates til.

2026.02.21 — present

Design, vurdering, verifisering: Author · implementering: Claude · gjennomgang: Codex

  • CLIPublisert · PyPI
  • MCP-serverImplementert

Auditscenarier lages gjennom faser i fast rekkefølge.

Verten eier faserekkefølgen, og rolleagenter i hver fase deler arbeidet. Den resulterende seed-poolen og den valgte vurderingsrubrikken blir input til Petris atferdsaudit.

Seed-kart · tegnet ut fra evals-stiene ved fastlåst commit 9e2c041
Generering av auditscenarier i GEODE og Petri-auditHvordan auditscenarier (seeds) skrives og auditeres. Orkestratoren seed_generation eier faserekkefølgen mens rolleagenter skriver utkast, går gjennom og forbedrer, og resultatet eksporteres som en survivors-katalog og meta-review-filer. En Petri-audit tar et utvalg seeds og tildeler tre separate modellroller: auditor spiller seed-scenariet, target er hele GEODE-scaffoldet, og judge scorer transkripsjonen per dimensjon i en Inspect-logg. SIL-målingen leser det resultatet, og en beholdt måling blir baseline-belegg for neste generering.Auditor-modellspiller seed-scenarietTarget-basismodellmodellen GEODE pakker innJudge-modellscorer hele transkripsjonenInspect .eval-loggarkiv · sammendragSIL-måling · measure.pyleses av kapitlet Policysøkbaseline snapshotdimensjonsgjennomsnitt · belegghandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pyfaserekkefølge · PipelineStatecheckpoint · resumeagents/ · utkastSupervisor · kjørestrategiliterature_review · av som standardGenerator · kandidat-seedsagents/ · gjennomgangProximity · dedupliseringCritic · gjennomgangPilot · valgfri · ikke i smokeRanker · Eloagents/ · forbedringEvolver · forbedringMeta-reviewer · neste priorsrun_dir/survivors/ · .md-kopier av kandidatersurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedsmedfølgende seeds · *.mdpetri/runner.pygeode audit · /audit · verktøykostnadsoverslag · dry-run som standardpetri/geode_target.pyGEODE som target · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLtilstandsfiler utenfor en kjøringevals/seed_generationscenarioskrivingevals/petriauditkjøring1kjør fasene i rekkefølge2baseline-belegg3 forrige meta-review · latest_pointer.json · priors → agents/ · utkast34 kandidat-seeds · agents/ · utkast → agents/ · gjennomgang45survivors · Elo6 neste iterasjon · fra Critic · Meta-reviewer · neste priors → Critic · gjennomgang67 eksporter survivors · agents/ · forbedring → run_dir/78latest-peker1--seed-select2medfølgende seeds3 modellroller · tre plasser · geode audit · /audit · verktøy → Auditor-modell34seed-scenariets dialog5 modellkall · GEODE som target · AgenticLoop → Target-basismodell56transkripsjon7 judge_dimensions · judge_dimensions · YAML → Judge-modell78dimensjonsscorer1dimensjonsscorer2 måling · Inspect .eval-logg → SIL-måling · measure.py23baseline-oppdatering4baseline-belegg

Scenarioskriving

Orkestratoren eier faserekkefølgen, rolleagenter skriver og filtrerer kandidater, og resultatet eksporteres gjennom en filkontrakt.

  1. faserekkefølge · PipelineStateseed_generation/orchestrator.pykjør fasene i rekkefølgeagents/ · utkast

    Orkestratoren eier faserekkefølgen og sammenslåingen av tilstand; rolleagenten i hver fase gjør arbeidet. Innenfor en fase kan arbeidet fordeles via SubAgentManager, og underagenter går ikke rekursivt videre (dybde 1).

  2. dimensjonsgjennomsnitt · beleggbaseline snapshotbaseline-beleggagents/ · utkast

    Generator, Critic og Evolver leser den valgte baselinens gjennomsnitt, standardfeil og belegg per dimensjon. Første generering har ingen baseline og bruker standardpromptene.

  3. latest_pointer.json · priorshandoff pointerforrige meta-reviewagents/ · utkast

    Meta-reviewen fra forrige kjøring etterlater priors for neste generasjon og underbelyste dimensjoner som denne genereringen tar hensyn til.

  4. agents/ · utkastkandidat-seedsagents/ · gjennomgang

    Kandidatene fra Generator går i tur og orden gjennom Proximity-deduplisering, Critic-gjennomgang, Pilot (valgfri; hoppes over i smoke-kjøringer) og Rankers Elo-rangering.

  5. agents/ · gjennomgangsurvivors · Eloagents/ · forbedring

    Evolver forbedrer de høyest rangerte kandidatene, og Meta-reviewer oppsummerer kjøringen til priors for neste generasjon.

  6. Meta-reviewer · neste priorsagents/ · forbedringneste iterasjon · fra CriticCritic · gjennomgangagents/ · gjennomgang

    Med max_iterations satt går de forbedrede kandidatene etter Meta-reviewer igjen gjennom Critic → Pilot → Ranker → Evolver → Meta-reviewer. Supervisor, Generator og Proximity kjøres ikke på nytt; standarden er null iterasjoner.

  7. agents/ · forbedringeksporter survivorsrun_dir/

    Teksten til de overlevende kandidatene kopieres som filer til survivors/, Elo- og pilot-score går til survivors.json, og meta-review og tilstand skrives separat.

  8. meta_review.json · state.jsonrun_dir/latest-pekerlatest_pointer.json · priorshandoff pointer

    Én latest_pointer.json registrerer hvor seed_pool og meta_review for denne kjøringen ligger. Resultatene per kjøring er kanoniske; pekeren er en best-effort-hjelp for neste kjøring, og en mislykket skriving logges bare. Ikke alle kjøringer har begge feltene.

Auditkjøring

Auditor spiller seeden (en scenarioinstruks), target er GEODE-scaffoldet, og judge scorer transkripsjonen. De tre rollene er separate modellplasser.

  1. survivors/ · .md-kopier av kandidaterrun_dir/--seed-selectgeode audit · /audit · verktøypetri/runner.py

    En audit tar et utvalg seeds (en survivors-katalog, medfølgende seeds, ID-er eller tagger) og sender det til Inspects oppgave inspect_petri/audit. Seed-genereringen starter ikke selv en audit.

  2. medfølgende seeds · *.mdpetri/seedsmedfølgende seedsgeode audit · /audit · verktøypetri/runner.py

    Repositoryets medfølgende seeds kan velges som de er.

  3. geode audit · /audit · verktøypetri/runner.pymodellroller · tre plasserAuditor-modell

    Auditor-, target- og judge-modeller angis hver for seg. Standarden er en dry run; reelle kall skjer først når et kostnadsoverslag er bekreftet. Når alle tre rollene deler leverandør, legges det til en markering for skjevhet fra samme leverandør.

  4. Auditor-modellseed-scenariets dialogGEODE som target · AgenticLooppetri/geode_target.py

    En seed er en scenarioinstruks til auditor. Auditor leder samtalen og kan bare lage verktøy og verktøyresultater når target_tools er slått på.

  5. GEODE som target · AgenticLooppetri/geode_target.pymodellkallTarget-basismodell

    Hele GEODEs AgenticLoop (verktøy, hooks, minne) pakkes inn som ett modell-API, så det auditerte target er GEODE-scaffoldet, ikke basismodellen alene.

  6. GEODE som target · AgenticLooppetri/geode_target.pytranskripsjonJudge-modell

    Judge leser den fullstendige transkripsjonen for hver prøve én gang og scorer den per dimensjon.

  7. judge_dimensions · YAMLpetri/judge_dimsjudge_dimensionsJudge-modell

    Den valgte YAML-filen med judge-dimensjoner fastsetter scoringsdimensjonene. Dette er en atferdsaudit, en annen måling enn oppgavefullføring.

  8. Judge-modelldimensjonsscorerInspect .eval-logg

    Inspect .eval-loggen og et sammendrag arkiveres. En arkiveringsfeil noteres og blokkerer ikke auditresultatet.

Måling → neste generering

SIL bruker auditscorer til dommen sin, og en beholdt måling blir baseline-belegg for neste seed-generering. Det betyr ikke at koblingen kjørte automatisk i alle kampanjer.

  1. Judge-modelldimensjonsscorerInspect .eval-logg

    Inspect .eval-loggen og et sammendrag arkiveres. En arkiveringsfeil noteres og blokkerer ikke auditresultatet.

  2. Inspect .eval-loggmålingSIL-måling · measure.py

    SILs measure.py kjører auditens underprosess og beregner fitness ut fra resultatet.

  3. SIL-måling · measure.pybaseline-oppdateringdimensjonsgjennomsnitt · beleggbaseline snapshot

    SILs ledger skriver en beholdt måling som baseline. Seed-genereringen leser det belegget når en baseline velges (automatisk eller eksplisitt).

  4. dimensjonsgjennomsnitt · beleggbaseline snapshotbaseline-beleggagents/ · utkast

    Generator, Critic og Evolver leser den valgte baselinens gjennomsnitt, standardfeil og belegg per dimensjon. Første generering har ingen baseline og bruker standardpromptene.

Alle forbindelser med samme tykkelse. Velg en flyt for å fremheve bare dens vei, med nummererte steg.

  • Heltrukket · retningen forespørsler, kandidater og resultater flyter
  • Stiplet · kjøre, avgjøre, autorisere, konfigurere
  • Lang strek-prikk · logger og observasjon, atskilt fra dommen
  • Kraftig svart linje · den valgte flyten; tallene angir rekkefølgen
  • Boks · en kode- eller logggrense, stien i overskriften
  • Indre chip · en komponent innenfor grensen
  • Stiplet boks · utenfor grensen
  • orkestrator · auditinngang
  • audit-target · scoringsdimensjoner
  • resultater · tilstandsfiler
  • rolleagenter · medfølgende seeds

Orkestratoren fastsetter rekkefølgen for første gjennomløp og for gjentakelser. Konfigurasjon, registrerte roller og gjenopptakspunktet kan hoppe over enkelte faser, og ikke alle kampanjer kjørte alle faser. Plasseringen av tilstandsfilene avhenger av miljøet, så ingen stier vises.

Tre roller
En seed er en scenarioinstruks, skrevet av en person eller generert; auditor er modellen som spiller den, target er det auditerte GEODE-scaffoldet, og judge er modellen som scorer transkripsjonen. Scorer og logger er resultater fra judge.
Hva som måles
En Petri-audit scorer atferdsdimensjoner. Den er ikke en fullføringsrate for oppgaver eller en garanti for produktkvalitet.