CS
Geodi, oficiální pixelová postava GEODE
Zpět do sálu

GEODE

Autonomous Agent Harness

Od pozorování k další akci.

Lokální harness autonomního agenta, kterému lze svěřit výzkum, práci se soubory a plánované úlohy.

2026.02.21 — present

Návrh, posouzení, ověření: autor · implementace: Claude · revize: Codex

  • CLIZveřejněno · PyPI
  • Server MCPImplementováno

Auditní scénáře vznikají ve fázích s pevným pořadím.

Pořadí fází patří hostiteli a agenti v rolích si v každé fázi dělí práci. Výsledný fond seedů a zvolená rubrika se stávají vstupem behaviorálního auditu Petri.

Mapa seedů · nakresleno podle cest evals v připnutém commitu 9e2c041
Generování auditních scénářů GEODE a audit PetriJak se auditní scénáře (seedy) píší a auditují. Orchestrátor seed_generation řídí pořadí fází, agenti v rolích navrhují, revidují a vylepšují a výsledek se exportuje jako adresář survivors a soubory meta-review. Audit Petri přijme výběr seedů a přidělí tři samostatné role modelů: auditor hraje scénář seedu, cílem je celé lešení GEODE a soudce hodnotí přepis podle dimenzí do logu Inspect. Měření SIL tento výsledek čte a ponechané měření se stává dokladem baseline pro další generaci.Model auditorahraje scénář seeduZákladní model cílemodel, který GEODE obalujeModel soudcehodnotí celý přepisLog Inspect .evalarchiv · souhrnMěření SIL · measure.pyčte ho kapitola o hledání politikbaseline snapshotprůměry dimenzí · dokladyhandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pypořadí fází · PipelineStatecheckpoint · resumeagents/ · návrhSupervisor · strategie běhuliterature_review · ve výchozím stavu vypnutoGenerator · kandidátní seedyagents/ · revizeProximity · deduplikaceCritic · revizePilot · volitelný · mimo smokeRanker · Eloagents/ · vylepšeníEvolver · vylepšeníMeta-reviewer · další priorsrun_dir/survivors/ · kopie kandidátů .mdsurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedspřibalené seedy · *.mdpetri/runner.pygeode audit · /audit · nástrojodhad nákladů · ve výchozím stavu dry-runpetri/geode_target.pyGEODE jako cíl · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLstavové soubory mimo běhevals/seed_generationtvorba scénářůevals/petriběh auditu1spouštění fází v pořadí2doklady baseline3 předchozí meta-review · latest_pointer.json · priors → agents/ · návrh34 kandidátní seedy · agents/ · návrh → agents/ · revize45survivors · Elo6 další iterace · od Critic · Meta-reviewer · další priors → Critic · revize67 exportovat survivors · agents/ · vylepšení → run_dir/78ukazatel latest1--seed-select2přibalené seedy3 role modelů · tři místa · geode audit · /audit · nástroj → Model auditora34dialog scénáře seedu5 volání modelu · GEODE jako cíl · AgenticLoop → Základní model cíle56přepis7 judge_dimensions · judge_dimensions · YAML → Model soudce78skóre dimenzí1skóre dimenzí2 měření · Log Inspect .eval → Měření SIL · measure.py23aktualizace baseline4doklady baseline

Tvorba scénářů

Orchestrátor řídí pořadí fází, agenti v rolích navrhují a filtrují kandidáty a výsledek se exportuje přes souborový kontrakt.

  1. pořadí fází · PipelineStateseed_generation/orchestrator.pyspouštění fází v pořadíagents/ · návrh

    Orchestrátor řídí pořadí fází a slučování stavu; práci odvádí agent v roli dané fáze. V rámci fáze se práce může větvit přes SubAgentManager a subagenti se nevnořují dál (hloubka 1).

  2. průměry dimenzí · dokladybaseline snapshotdoklady baselineagents/ · návrh

    Generator, Critic a Evolver čtou průměry, směrodatné chyby a doklady zvoleného baseline pro jednotlivé dimenze. První generace baseline nemá a používá výchozí prompty.

  3. latest_pointer.json · priorshandoff pointerpředchozí meta-reviewagents/ · návrh

    Meta-review předchozího běhu zanechá priors pro další generaci a málo pokryté dimenze, které tato generace zohlední.

  4. agents/ · návrhkandidátní seedyagents/ · revize

    Kandidáti z Generator postupně procházejí deduplikací Proximity, revizí Critic, Pilotem (volitelný; v bězích smoke se přeskakuje) a žebříčkem Elo v Ranker.

  5. agents/ · revizesurvivors · Eloagents/ · vylepšení

    Evolver vylepšuje nejvýše umístěné kandidáty a Meta-reviewer shrne běh do priors pro další generaci.

  6. Meta-reviewer · další priorsagents/ · vylepšenídalší iterace · od CriticCritic · revizeagents/ · revize

    Při nastaveném max_iterations projdou vylepšení kandidáti po Meta-reviewer znovu cestou Critic → Pilot → Ranker → Evolver → Meta-reviewer. Supervisor, Generator a Proximity se znovu nespouštějí; výchozí počet iterací je nula.

  7. agents/ · vylepšeníexportovat survivorsrun_dir/

    Těla přeživších kandidátů se kopírují jako soubory do survivors/, skóre Elo a pilotu jdou do survivors.json a meta-review a stav se zapisují zvlášť.

  8. meta_review.json · state.jsonrun_dir/ukazatel latestlatest_pointer.json · priorshandoff pointer

    Jeden soubor latest_pointer.json zaznamenává, kde jsou seed_pool a meta_review tohoto běhu. Závazné jsou výstupy jednotlivých běhů; ukazatel je pomůcka typu best-effort pro další běh a neúspěšný zápis se jen zaloguje. Ne každý běh má obě pole.

Běh auditu

Auditor hraje seed (pokyn ke scénáři), cílem je lešení GEODE a soudce hodnotí přepis. Tři role jsou samostatná místa pro modely.

  1. survivors/ · kopie kandidátů .mdrun_dir/--seed-selectgeode audit · /audit · nástrojpetri/runner.py

    Audit přijme výběr seedů (adresář survivors, přibalené seedy, ID nebo tagy) a předá ho úloze inspect_petri/audit v Inspect. Generování seedů samo audit nespouští.

  2. přibalené seedy · *.mdpetri/seedspřibalené seedygeode audit · /audit · nástrojpetri/runner.py

    Seedy přibalené v repozitáři lze vybrat tak, jak jsou.

  3. geode audit · /audit · nástrojpetri/runner.pyrole modelů · tři místaModel auditora

    Modely auditora, cíle a soudce se nastavují samostatně. Ve výchozím stavu jde o suchý běh; skutečná volání proběhnou až po potvrzení odhadu nákladů. Když všechny tři role sdílejí poskytovatele, připojí se značka zkreslení stejného poskytovatele.

  4. Model auditoradialog scénáře seeduGEODE jako cíl · AgenticLooppetri/geode_target.py

    Seed je pokyn ke scénáři pro auditora. Auditor vede konverzaci a nástroje a výsledky nástrojů může vytvářet jen při zapnutém target_tools.

  5. GEODE jako cíl · AgenticLooppetri/geode_target.pyvolání modeluZákladní model cíle

    Celá smyčka AgenticLoop GEODE (nástroje, hooky, paměť) je obalena jako jedno API modelu, takže auditovaným cílem je lešení GEODE, nikoli samotný základní model.

  6. GEODE jako cíl · AgenticLooppetri/geode_target.pypřepisModel soudce

    Soudce jednou přečte úplný přepis každého vzorku a ohodnotí ho podle dimenzí.

  7. judge_dimensions · YAMLpetri/judge_dimsjudge_dimensionsModel soudce

    Zvolený YAML s dimenzemi soudce určuje dimenze hodnocení. Jde o behaviorální audit, jiné měření než dokončení úlohy.

  8. Model soudceskóre dimenzíLog Inspect .eval

    Log Inspect .eval a souhrn se archivují. Neúspěšná archivace se poznamená a výsledek auditu neblokuje.

Měření → další generace

SIL používá skóre auditu pro své rozhodnutí a ponechané měření se stává dokladem baseline pro další generování seedů. Neznamená to, že toto propojení běželo automaticky v každé kampani.

  1. Model soudceskóre dimenzíLog Inspect .eval

    Log Inspect .eval a souhrn se archivují. Neúspěšná archivace se poznamená a výsledek auditu neblokuje.

  2. Log Inspect .evalměřeníMěření SIL · measure.py

    measure.py v SIL spouští podproces auditu a z jeho výsledku počítá fitness.

  3. Měření SIL · measure.pyaktualizace baselineprůměry dimenzí · dokladybaseline snapshot

    Ledger SIL zapisuje ponechané měření jako baseline. Generování seedů tyto doklady čte, když je baseline zvolen (automaticky nebo explicitně).

  4. průměry dimenzí · dokladybaseline snapshotdoklady baselineagents/ · návrh

    Generator, Critic a Evolver čtou průměry, směrodatné chyby a doklady zvoleného baseline pro jednotlivé dimenze. První generace baseline nemá a používá výchozí prompty.

Každé spojení se stejnou váhou. Výběr toku zvýrazní jen jeho cestu s očíslovanými kroky.

  • Plná čára · směr toku požadavků, kandidátů a výsledků
  • Přerušovaná čára · spuštění, rozhodnutí, autorizace, konfigurace
  • Dlouhá čerchovaná · záznamy a pozorování, oddělené od rozhodnutí
  • Silná černá čára · zvolený tok; čísla udávají pořadí
  • Rámeček · hranice kódu nebo záznamu, cesta v záhlaví
  • Vnitřní štítek · komponenta v této hranici
  • Přerušovaný rámeček · mimo tuto hranici
  • orchestrátor · vstup auditu
  • cíl auditu · dimenze hodnocení
  • výstupy · stavové soubory
  • agenti v rolích · přibalené seedy

Orchestrátor určuje pořadí prvního průchodu a pořadí opakování. Konfigurace, registrované role a bod navázání mohou některé fáze přeskočit a ne každá kampaň prošla všemi fázemi. Umístění stavových souborů závisí na prostředí, proto cesty nejsou uvedeny.

Tři role
Seed je pokyn ke scénáři, napsaný člověkem nebo vygenerovaný; auditor je model, který ho hraje, cíl je auditované lešení GEODE a soudce je model, který hodnotí přepis. Skóre a logy jsou výstupem soudce.
Co se měří
Audit Petri hodnotí behaviorální dimenze. Není mírou dokončení úloh ani zárukou kvality produktu.