SK
Geodi, oficiálna pixelová postava GEODE
Späť do sály

GEODE

Autonomous Agent Harness

Od pozorovania k ďalšej akcii.

Lokálny harness autonómneho agenta, ktorému sa dá zveriť výskum, práca so súbormi a plánované úlohy.

2026.02.21 — present

Návrh, posúdenie, overenie: autor · implementácia: Claude · revízia: Codex

  • CLIZverejnené · PyPI
  • Server MCPImplementované

Auditné scenáre vznikajú vo fázach s pevným poradím.

Poradie fáz patrí hostiteľovi a agenti v rolách si v každej fáze delia prácu. Výsledný fond seedov a zvolená rubrika sa stávajú vstupom behaviorálneho auditu Petri.

Mapa seedov · nakreslené podľa ciest evals v pripnutom commite 9e2c041
Generovanie auditných scenárov GEODE a audit PetriAko sa auditné scenáre (seedy) píšu a auditujú. Orchestrátor seed_generation riadi poradie fáz, agenti v rolách navrhujú, revidujú a vylepšujú a výsledok sa exportuje ako adresár survivors a súbory meta-review. Audit Petri prijme výber seedov a pridelí tri samostatné roly modelov: audítor hrá scenár seedu, cieľom je celé lešenie GEODE a sudca hodnotí prepis podľa dimenzií do logu Inspect. Meranie SIL tento výsledok číta a ponechané meranie sa stáva dokladom baseline pre ďalšiu generáciu.Model audítorahrá scenár seeduZákladný model cieľamodel, ktorý GEODE obaľujeModel sudcuhodnotí celý prepisLog Inspect .evalarchív · súhrnMeranie SIL · measure.pyčíta ho kapitola o hľadaní politíkbaseline snapshotpriemery dimenzií · dokladyhandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pyporadie fáz · PipelineStatecheckpoint · resumeagents/ · návrhSupervisor · stratégia behuliterature_review · predvolene vypnutéGenerator · kandidátske seedyagents/ · revíziaProximity · deduplikáciaCritic · revíziaPilot · voliteľný · mimo smokeRanker · Eloagents/ · vylepšenieEvolver · vylepšenieMeta-reviewer · ďalšie priorsrun_dir/survivors/ · kópie kandidátov .mdsurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedspribalené seedy · *.mdpetri/runner.pygeode audit · /audit · nástrojodhad nákladov · predvolene dry-runpetri/geode_target.pyGEODE ako cieľ · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLstavové súbory mimo behuevals/seed_generationtvorba scenárovevals/petribeh auditu1spúšťanie fáz v poradí2doklady baseline3 predchádzajúce meta-review · latest_pointer.json · priors → agents/ · návrh34 kandidátske seedy · agents/ · návrh → agents/ · revízia45survivors · Elo6 ďalšia iterácia · od Critic · Meta-reviewer · ďalšie priors → Critic · revízia67 exportovať survivors · agents/ · vylepšenie → run_dir/78ukazovateľ latest1--seed-select2pribalené seedy3 roly modelov · tri miesta · geode audit · /audit · nástroj → Model audítora34dialóg scenára seedu5 volania modelu · GEODE ako cieľ · AgenticLoop → Základný model cieľa56prepis7 judge_dimensions · judge_dimensions · YAML → Model sudcu78skóre dimenzií1skóre dimenzií2 meranie · Log Inspect .eval → Meranie SIL · measure.py23aktualizácia baseline4doklady baseline

Tvorba scenárov

Orchestrátor riadi poradie fáz, agenti v rolách navrhujú a filtrujú kandidátov a výsledok sa exportuje cez súborový kontrakt.

  1. poradie fáz · PipelineStateseed_generation/orchestrator.pyspúšťanie fáz v poradíagents/ · návrh

    Orchestrátor riadi poradie fáz a zlučovanie stavu; prácu odvádza agent v role danej fázy. V rámci fázy sa práca môže vetviť cez SubAgentManager a subagenti sa ďalej nevnárajú (hĺbka 1).

  2. priemery dimenzií · dokladybaseline snapshotdoklady baselineagents/ · návrh

    Generator, Critic a Evolver čítajú priemery, smerodajné chyby a doklady zvoleného baseline pre jednotlivé dimenzie. Prvá generácia baseline nemá a používa predvolené prompty.

  3. latest_pointer.json · priorshandoff pointerpredchádzajúce meta-reviewagents/ · návrh

    Meta-review predchádzajúceho behu zanechá priors pre ďalšiu generáciu a málo pokryté dimenzie, ktoré táto generácia zohľadní.

  4. agents/ · návrhkandidátske seedyagents/ · revízia

    Kandidáti z Generator postupne prechádzajú deduplikáciou Proximity, revíziou Critic, Pilotom (voliteľný; v behoch smoke sa preskakuje) a rebríčkom Elo v Ranker.

  5. agents/ · revíziasurvivors · Eloagents/ · vylepšenie

    Evolver vylepšuje najvyššie umiestnených kandidátov a Meta-reviewer zhrnie beh do priors pre ďalšiu generáciu.

  6. Meta-reviewer · ďalšie priorsagents/ · vylepšenieďalšia iterácia · od CriticCritic · revíziaagents/ · revízia

    Pri nastavenom max_iterations prejdú vylepšení kandidáti po Meta-reviewer znova cestou Critic → Pilot → Ranker → Evolver → Meta-reviewer. Supervisor, Generator a Proximity sa znova nespúšťajú; predvolený počet iterácií je nula.

  7. agents/ · vylepšenieexportovať survivorsrun_dir/

    Telá preživších kandidátov sa kopírujú ako súbory do survivors/, skóre Elo a pilotu idú do survivors.json a meta-review a stav sa zapisujú osobitne.

  8. meta_review.json · state.jsonrun_dir/ukazovateľ latestlatest_pointer.json · priorshandoff pointer

    Jeden súbor latest_pointer.json zaznamenáva, kde sú seed_pool a meta_review tohto behu. Záväzné sú výstupy jednotlivých behov; ukazovateľ je pomôcka typu best-effort pre ďalší beh a neúspešný zápis sa len zaloguje. Nie každý beh má obe polia.

Beh auditu

Audítor hrá seed (pokyn ku scenáru), cieľom je lešenie GEODE a sudca hodnotí prepis. Tri roly sú samostatné miesta pre modely.

  1. survivors/ · kópie kandidátov .mdrun_dir/--seed-selectgeode audit · /audit · nástrojpetri/runner.py

    Audit prijme výber seedov (adresár survivors, pribalené seedy, ID alebo tagy) a odovzdá ho úlohe inspect_petri/audit v Inspect. Generovanie seedov samo audit nespúšťa.

  2. pribalené seedy · *.mdpetri/seedspribalené seedygeode audit · /audit · nástrojpetri/runner.py

    Seedy pribalené v repozitári sa dajú vybrať tak, ako sú.

  3. geode audit · /audit · nástrojpetri/runner.pyroly modelov · tri miestaModel audítora

    Modely audítora, cieľa a sudcu sa nastavujú samostatne. Predvolene ide o suchý beh; skutočné volania prebehnú až po potvrdení odhadu nákladov. Keď všetky tri roly zdieľajú poskytovateľa, pripojí sa značka skreslenia rovnakého poskytovateľa.

  4. Model audítoradialóg scenára seeduGEODE ako cieľ · AgenticLooppetri/geode_target.py

    Seed je pokyn ku scenáru pre audítora. Audítor vedie konverzáciu a nástroje a výsledky nástrojov môže vytvárať len pri zapnutom target_tools.

  5. GEODE ako cieľ · AgenticLooppetri/geode_target.pyvolania modeluZákladný model cieľa

    Celá slučka AgenticLoop GEODE (nástroje, hooky, pamäť) je obalená ako jedno API modelu, takže auditovaným cieľom je lešenie GEODE, nie samotný základný model.

  6. GEODE ako cieľ · AgenticLooppetri/geode_target.pyprepisModel sudcu

    Sudca raz prečíta úplný prepis každej vzorky a ohodnotí ho podľa dimenzií.

  7. judge_dimensions · YAMLpetri/judge_dimsjudge_dimensionsModel sudcu

    Zvolený YAML s dimenziami sudcu určuje dimenzie hodnotenia. Ide o behaviorálny audit, iné meranie ako dokončenie úlohy.

  8. Model sudcuskóre dimenziíLog Inspect .eval

    Log Inspect .eval a súhrn sa archivujú. Neúspešná archivácia sa poznamená a výsledok auditu neblokuje.

Meranie → ďalšia generácia

SIL používa skóre auditu pre svoje rozhodnutie a ponechané meranie sa stáva dokladom baseline pre ďalšie generovanie seedov. Neznamená to, že toto prepojenie bežalo automaticky v každej kampani.

  1. Model sudcuskóre dimenziíLog Inspect .eval

    Log Inspect .eval a súhrn sa archivujú. Neúspešná archivácia sa poznamená a výsledok auditu neblokuje.

  2. Log Inspect .evalmeranieMeranie SIL · measure.py

    measure.py v SIL spúšťa podproces auditu a z jeho výsledku počíta fitness.

  3. Meranie SIL · measure.pyaktualizácia baselinepriemery dimenzií · dokladybaseline snapshot

    Ledger SIL zapisuje ponechané meranie ako baseline. Generovanie seedov tieto doklady číta, keď je baseline zvolený (automaticky alebo explicitne).

  4. priemery dimenzií · dokladybaseline snapshotdoklady baselineagents/ · návrh

    Generator, Critic a Evolver čítajú priemery, smerodajné chyby a doklady zvoleného baseline pre jednotlivé dimenzie. Prvá generácia baseline nemá a používa predvolené prompty.

Každé spojenie s rovnakou váhou. Výber toku zvýrazní len jeho cestu s očíslovanými krokmi.

  • Plná čiara · smer toku požiadaviek, kandidátov a výsledkov
  • Prerušovaná čiara · spustenie, rozhodnutie, autorizácia, konfigurácia
  • Dlhá bodkočiarkovaná · záznamy a pozorovanie, oddelené od rozhodnutia
  • Hrubá čierna čiara · zvolený tok; čísla udávajú poradie
  • Rámček · hranica kódu alebo záznamu, cesta v hlavičke
  • Vnútorný štítok · komponent v tejto hranici
  • Prerušovaný rámček · mimo tejto hranice
  • orchestrátor · vstup auditu
  • cieľ auditu · dimenzie hodnotenia
  • výstupy · stavové súbory
  • agenti v rolách · pribalené seedy

Orchestrátor určuje poradie prvého prechodu a poradie opakovaní. Konfigurácia, registrované roly a bod nadviazania môžu niektoré fázy preskočiť a nie každá kampaň prešla všetkými fázami. Umiestnenie stavových súborov závisí od prostredia, preto cesty nie sú uvedené.

Tri roly
Seed je pokyn ku scenáru, napísaný človekom alebo vygenerovaný; audítor je model, ktorý ho hrá, cieľ je auditované lešenie GEODE a sudca je model, ktorý hodnotí prepis. Skóre a logy sú výstupom sudcu.
Čo sa meria
Audit Petri hodnotí behaviorálne dimenzie. Nie je mierou dokončenia úloh ani zárukou kvality produktu.