NL
Geodi, het officiële pixelpersonage van GEODE
Terug naar de zaal

GEODE

Autonomous Agent Harness

Van observatie naar de volgende actie.

Een lokale harness voor autonome agents, waaraan onderzoek, bestandswerk en geplande taken kunnen worden overgedragen.

2026.02.21 — present

Ontwerp, oordeel, verificatie: Author · implementatie: Claude · review: Codex

  • CLIGepubliceerd · PyPI
  • MCP-serverGeïmplementeerd

Auditscenario’s ontstaan in fasen met een vaste volgorde.

De host bezit de fasevolgorde, en in elke fase verdelen rolagents het werk. De resulterende seedpool en de gekozen rubric worden invoer voor de Petri-gedragsaudit.

Seedkaart · getekend naar de evals-paden in vastgezette commit 9e2c041
GEODE: generatie van auditscenario’s en Petri-auditHoe auditscenario’s (seeds) worden geschreven en geaudit. De orchestrator seed_generation bezit de fasevolgorde, terwijl rolagents ontwerpen, reviewen en verbeteren; het resultaat wordt geëxporteerd als een survivors-map en meta-reviewbestanden. Een Petri-audit neemt een seedselectie en wijst drie aparte modelrollen toe: de auditor speelt het seedscenario, het target is de hele GEODE-scaffold en de judge scoort het transcript per dimensie in een Inspect-log. De SIL-meting leest dat resultaat, en een behouden meting wordt baselinebewijs voor de volgende generatie.Auditormodelspeelt het seedscenarioTarget-basismodelhet model dat GEODE omhultJudgemodelscoort het hele transcriptInspect-.eval-logarchief · samenvattingSIL-meting · measure.pygelezen door het hoofdstuk ‘Zoektocht naar policy’s’baseline snapshotdimensiegemiddelden · bewijshandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pyfasevolgorde · PipelineStatecheckpoint · resumeagents/ · ontwerpSupervisor · runstrategieliterature_review · standaard uitGenerator · kandidaat-seedsagents/ · reviewProximity · deduplicatieCritic · reviewPilot · optioneel · niet in smokeRanker · Eloagents/ · verbeteringEvolver · verbeteringMeta-reviewer · volgende priorsrun_dir/survivors/ · .md-kopieën van kandidatensurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedsmeegeleverde seeds · *.mdpetri/runner.pygeode audit · /audit · toolkostenraming · standaard dry-runpetri/geode_target.pyGEODE als target · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLtoestandsbestanden buiten een runevals/seed_generationscenario’s schrijvenevals/petriauditrun1fasen op volgorde uitvoeren2baselinebewijs3 vorige meta-review · latest_pointer.json · priors → agents/ · ontwerp34 kandidaat-seeds · agents/ · ontwerp → agents/ · review45survivors · Elo6 volgende iteratie · vanaf Critic · Meta-reviewer · volgende priors → Critic · review67 survivors exporteren · agents/ · verbetering → run_dir/78latest-pointer1--seed-select2meegeleverde seeds3 modelrollen · drie plaatsen · geode audit · /audit · tool → Auditormodel34seedscenariodialoog5 modelaanroepen · GEODE als target · AgenticLoop → Target-basismodel56transcript7 judge_dimensions · judge_dimensions · YAML → Judgemodel78dimensiescores1dimensiescores2 meting · Inspect-.eval-log → SIL-meting · measure.py23baseline-update4baselinebewijs

Scenario’s schrijven

De orchestrator bezit de fasevolgorde, rolagents ontwerpen en filteren kandidaten, en het resultaat wordt via een bestandscontract geëxporteerd.

  1. fasevolgorde · PipelineStateseed_generation/orchestrator.pyfasen op volgorde uitvoerenagents/ · ontwerp

    De orchestrator bezit de fasevolgorde en het samenvoegen van de toestand; de rolagent van elke fase doet het werk. Binnen een fase kan het werk via SubAgentManager worden uitgewaaierd, en subagents gaan niet dieper (depth 1).

  2. dimensiegemiddelden · bewijsbaseline snapshotbaselinebewijsagents/ · ontwerp

    Generator, Critic en Evolver lezen per dimensie de gemiddelden, standaardfouten en het bewijs van de gekozen baseline. De eerste generatie heeft geen baseline en gebruikt de standaardprompts.

  3. latest_pointer.json · priorshandoff pointervorige meta-reviewagents/ · ontwerp

    De meta-review van de vorige run laat priors voor de volgende generatie en onderbelichte dimensies achter, die deze generatie meeneemt.

  4. agents/ · ontwerpkandidaat-seedsagents/ · review

    Kandidaten van Generator doorlopen achtereenvolgens deduplicatie door Proximity, review door Critic, Pilot (optioneel; overgeslagen in smoke-runs) en de Elo-rangschikking van Ranker.

  5. agents/ · reviewsurvivors · Eloagents/ · verbetering

    Evolver verbetert de hoogst gerangschikte kandidaten, en Meta-reviewer vat de run samen in priors voor de volgende generatie.

  6. Meta-reviewer · volgende priorsagents/ · verbeteringvolgende iteratie · vanaf CriticCritic · reviewagents/ · review

    Met max_iterations ingesteld doorlopen de verbeterde kandidaten na Meta-reviewer opnieuw Critic → Pilot → Ranker → Evolver → Meta-reviewer. Supervisor, Generator en Proximity draaien niet opnieuw; standaard zijn er nul iteraties.

  7. agents/ · verbeteringsurvivors exporterenrun_dir/

    De teksten van overgebleven kandidaten worden als bestanden naar survivors/ gekopieerd, Elo- en pilotscores gaan naar survivors.json, en de meta-review en de toestand worden apart geschreven.

  8. meta_review.json · state.jsonrun_dir/latest-pointerlatest_pointer.json · priorshandoff pointer

    Eén latest_pointer.json legt vast waar de seed_pool en meta_review van deze run staan. De uitvoer per run is leidend; de pointer is een best-effort hulpmiddel voor de volgende run, en een mislukte schrijfactie wordt alleen gelogd. Niet elke run heeft beide velden.

Auditrun

De auditor speelt de seed (een scenario-instructie), het target is de GEODE-scaffold en de judge scoort het transcript. De drie rollen zijn aparte modelplaatsen.

  1. survivors/ · .md-kopieën van kandidatenrun_dir/--seed-selectgeode audit · /audit · toolpetri/runner.py

    Een audit neemt een seedselectie (een survivors-map, meegeleverde seeds, ID’s of tags) en geeft die door aan de Inspect-taak inspect_petri/audit. Seedgeneratie start zelf geen audit.

  2. meegeleverde seeds · *.mdpetri/seedsmeegeleverde seedsgeode audit · /audit · toolpetri/runner.py

    De seeds die met de repository worden meegeleverd, kunnen ongewijzigd worden gekozen.

  3. geode audit · /audit · toolpetri/runner.pymodelrollen · drie plaatsenAuditormodel

    Auditor-, target- en judgemodel worden apart ingesteld. Standaard is een dry-run; echte aanroepen gebeuren pas nadat een kostenraming is bevestigd. Delen alle drie de rollen een provider, dan wordt een markering voor same-provider-bias toegevoegd.

  4. AuditormodelseedscenariodialoogGEODE als target · AgenticLooppetri/geode_target.py

    Een seed is een scenario-instructie voor de auditor. De auditor leidt het gesprek en kan alleen tools en toolresultaten aanmaken als target_tools is ingeschakeld.

  5. GEODE als target · AgenticLooppetri/geode_target.pymodelaanroepenTarget-basismodel

    De hele AgenticLoop van GEODE (tools, hooks, geheugen) wordt verpakt als één model-API, dus het target van de audit is de GEODE-scaffold, niet het basismodel alleen.

  6. GEODE als target · AgenticLooppetri/geode_target.pytranscriptJudgemodel

    De judge leest het volledige transcript van elke sample één keer en scoort het per dimensie.

  7. judge_dimensions · YAMLpetri/judge_dimsjudge_dimensionsJudgemodel

    De gekozen YAML met judgedimensies bepaalt de scoringsdimensies. Dit is een gedragsaudit, een andere meting dan taakvoltooiing.

  8. JudgemodeldimensiescoresInspect-.eval-log

    Het Inspect-.eval-log en een samenvatting worden gearchiveerd. Een mislukte archivering wordt genoteerd en blokkeert het auditresultaat niet.

Meting → volgende generatie

SIL gebruikt auditscores voor zijn oordeel, en een behouden meting wordt baselinebewijs voor de volgende seedgeneratie. Dat betekent niet dat deze koppeling in elke campagne automatisch draaide.

  1. JudgemodeldimensiescoresInspect-.eval-log

    Het Inspect-.eval-log en een samenvatting worden gearchiveerd. Een mislukte archivering wordt genoteerd en blokkeert het auditresultaat niet.

  2. Inspect-.eval-logmetingSIL-meting · measure.py

    measure.py van SIL voert het auditsubproces uit en berekent op basis van het resultaat de fitness.

  3. SIL-meting · measure.pybaseline-updatedimensiegemiddelden · bewijsbaseline snapshot

    De ledger van SIL schrijft een behouden meting weg als baseline. Seedgeneratie leest dat bewijs wanneer een baseline is gekozen (automatisch of expliciet).

  4. dimensiegemiddelden · bewijsbaseline snapshotbaselinebewijsagents/ · ontwerp

    Generator, Critic en Evolver lezen per dimensie de gemiddelden, standaardfouten en het bewijs van de gekozen baseline. De eerste generatie heeft geen baseline en gebruikt de standaardprompts.

Alle verbindingen even zwaar. Kies een stroom om alleen het pad daarvan te markeren, met genummerde stappen.

  • Doorgetrokken · de richting waarin verzoeken, kandidaten en resultaten stromen
  • Gestreept · uitvoeren, beslissen, autoriseren, configureren
  • Lange streep-punt · vastleggingen en observatie, los van het oordeel
  • Dikke zwarte lijn · de gekozen stroom; nummers geven de volgorde
  • Vak · een code- of vastleggingsgrens, met het pad in de kop
  • Binnenchip · een component in die grens
  • Gestreept vak · buiten die grens
  • orchestrator · auditingang
  • audittarget · scoringsdimensies
  • uitvoer · toestandsbestanden
  • rolagents · meegeleverde seeds

De orchestrator legt de volgorde van de eerste doorloop en van de herhaling vast. Configuratie, geregistreerde rollen en het hervattingspunt kunnen sommige fasen overslaan, en niet elke campagne doorliep elke fase. De locaties van toestandsbestanden hangen af van de omgeving, dus er worden geen paden getoond.

Drie rollen
Een seed is een scenario-instructie, geschreven door een mens of gegenereerd; de auditor is het model dat die speelt, het target is de GEODE-scaffold die wordt geaudit en de judge is het model dat het transcript scoort. Scores en logs zijn uitvoer van de judge.
Wat wordt gemeten
Een Petri-audit scoort gedragsdimensies. Het is geen percentage voltooide taken en geen garantie voor productkwaliteit.