HR
Geodi, službeni pikselni lik GEODE-a
Natrag u dvoranu

GEODE

Autonomous Agent Harness

Od opažanja do sljedeće radnje.

Lokalni okvir za autonomnog agenta kojemu se mogu prepustiti istraživanje, rad s datotekama i zakazani zadaci.

2026.02.21 — present

Dizajn, prosudba, verifikacija: Author · implementacija: Claude · recenzija: Codex

  • CLIObjavljeno · PyPI
  • MCP poslužiteljImplementirano

Scenariji revizije nastaju kroz faze u fiksnom redoslijedu.

Redoslijed faza pripada domaćinu, a agenti s ulogama u svakoj fazi dijele posao. Dobiveni skup sjemena i odabrana rubrika postaju ulazi za Petri reviziju ponašanja.

Karta sjemena · nacrtano prema putovima evals na fiksiranom commitu 9e2c041
Generiranje scenarija revizije GEODE i Petri revizijaKako se pišu i revidiraju scenariji revizije (sjemena). Orkestrator seed_generation upravlja redoslijedom faza dok agenti s ulogama izrađuju nacrte, recenziraju i poboljšavaju, a rezultat se izvozi kao direktorij survivors i datoteke meta-review. Petri revizija uzima odabir sjemena i dodjeljuje tri zasebne uloge modela: revizor igra scenarij sjemena, cilj je cijela skela GEODE, a sudac ocjenjuje transkript po dimenzijama u zapisnik Inspect. Mjerenje SIL-a čita taj rezultat, a zadržano mjerenje postaje dokaz osnovice za sljedeću generaciju.Model revizorigra scenarij sjemenaOsnovni model ciljamodel koji GEODE omataModel sudacocjenjuje cijeli transkriptZapisnik Inspect .evalarhiva · sažetakMjerenje SIL-a · measure.pyčita ga poglavlje o pretraživanju politikabaseline snapshotprosjeci dimenzija · dokazihandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pyredoslijed faza · PipelineStatecheckpoint · resumeagents/ · nacrtSupervisor · strategija izvođenjaliterature_review · zadano isključenoGenerator · kandidati za sjemeagents/ · recenzijaProximity · uklanjanje duplikataCritic · recenzijaPilot · neobavezno · ne u smokeuRanker · Eloagents/ · poboljšanjeEvolver · poboljšanjeMeta-reviewer · sljedeći priorsrun_dir/survivors/ · kopije kandidata .mdsurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedsugrađena sjemena · *.mdpetri/runner.pygeode audit · /audit · alatprocjena troška · zadano probno izvođenjepetri/geode_target.pyGEODE kao cilj · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLdatoteke stanja izvan izvođenjaevals/seed_generationpisanje scenarijaevals/petriizvođenje revizije1izvođenje faza redom2dokazi osnovice3 prethodni meta-review · latest_pointer.json · priors → agents/ · nacrt34 kandidati za sjeme · agents/ · nacrt → agents/ · recenzija45survivors · Elo6 sljedeća iteracija · od Critica · Meta-reviewer · sljedeći priors → Critic · recenzija67 izvoz survivors · agents/ · poboljšanje → run_dir/78pokazivač latest1--seed-select2ugrađena sjemena3 uloge modela · tri mjesta · geode audit · /audit · alat → Model revizor34dijalog prema scenariju sjemena5 pozivi modela · GEODE kao cilj · AgenticLoop → Osnovni model cilja56transkript7 judge_dimensions · judge_dimensions · YAML → Model sudac78ocjene po dimenzijama1ocjene po dimenzijama2 mjerenje · Zapisnik Inspect .eval → Mjerenje SIL-a · measure.py23ažuriranje osnovice4dokazi osnovice

Pisanje scenarija

Orkestrator upravlja redoslijedom faza, agenti s ulogama izrađuju i filtriraju kandidate, a rezultat se izvozi kroz datotečni ugovor.

  1. redoslijed faza · PipelineStateseed_generation/orchestrator.pyizvođenje faza redomagents/ · nacrt

    Orkestrator upravlja redoslijedom faza i spajanjem stanja; posao svake faze obavlja njezin agent s ulogom. Unutar faze posao se može razgranati kroz SubAgentManager, a podagenti ne pokreću nove podagente (dubina 1).

  2. prosjeci dimenzija · dokazibaseline snapshotdokazi osnoviceagents/ · nacrt

    Generator, Critic i Evolver čitaju prosjeke po dimenzijama, standardne pogreške i dokaze odabrane osnovice. Prva generacija nema osnovicu i koristi zadane promptove.

  3. latest_pointer.json · priorshandoff pointerprethodni meta-reviewagents/ · nacrt

    Meta-review prethodnog izvođenja ostavlja priors za sljedeću generaciju i nedovoljno pokrivene dimenzije koje ova generacija treba razmotriti.

  4. agents/ · nacrtkandidati za sjemeagents/ · recenzija

    Kandidati iz Generatora redom prolaze uklanjanje duplikata u Proximityju, recenziju Critica, Pilot (neobavezno; preskače se u smoke izvođenjima) i Elo rangiranje Rankera.

  5. agents/ · recenzijasurvivors · Eloagents/ · poboljšanje

    Evolver poboljšava najbolje rangirane kandidate, a Meta-reviewer sažima izvođenje u priors za sljedeću generaciju.

  6. Meta-reviewer · sljedeći priorsagents/ · poboljšanjesljedeća iteracija · od CriticaCritic · recenzijaagents/ · recenzija

    Uz postavljen max_iterations, nakon Meta-reviewera poboljšani kandidati ponovno prolaze Critic → Pilot → Ranker → Evolver → Meta-reviewer. Supervisor, Generator i Proximity ne pokreću se ponovno; zadano je nula iteracija.

  7. agents/ · poboljšanjeizvoz survivorsrun_dir/

    Tekstovi preživjelih kandidata kopiraju se kao datoteke u survivors/, Elo i pilot ocjene idu u survivors.json, a meta-review i stanje zapisuju se zasebno.

  8. meta_review.json · state.jsonrun_dir/pokazivač latestlatest_pointer.json · priorshandoff pointer

    Jedan latest_pointer.json bilježi gdje su seed_pool i meta_review ovog izvođenja. Mjerodavni su izlazi pojedinog izvođenja; pokazivač je pomoć po načelu best-effort za sljedeće izvođenje, a neuspjelo pisanje samo se bilježi u zapisnik. Nema svako izvođenje oba polja.

Izvođenje revizije

Revizor igra sjeme (uputu-scenarij), cilj je skela GEODE, a sudac ocjenjuje transkript. Tri su uloge zasebna mjesta za modele.

  1. survivors/ · kopije kandidata .mdrun_dir/--seed-selectgeode audit · /audit · alatpetri/runner.py

    Revizija uzima odabir sjemena (direktorij survivors, ugrađena sjemena, ID-ove ili oznake) i prosljeđuje ga Inspectovu zadatku inspect_petri/audit. Generiranje sjemena samo ne pokreće reviziju.

  2. ugrađena sjemena · *.mdpetri/seedsugrađena sjemenageode audit · /audit · alatpetri/runner.py

    Sjemena ugrađena u repozitorij mogu se odabrati takva kakva jesu.

  3. geode audit · /audit · alatpetri/runner.pyuloge modela · tri mjestaModel revizor

    Modeli revizora, cilja i suca postavljaju se zasebno. Zadano je probno izvođenje; stvarni pozivi događaju se tek nakon potvrde procjene troška. Kad sve tri uloge dijele pružatelja, dodaje se oznaka pristranosti istog pružatelja.

  4. Model revizordijalog prema scenariju sjemenaGEODE kao cilj · AgenticLooppetri/geode_target.py

    Sjeme je uputa-scenarij za revizora. Revizor vodi razgovor i može stvarati alate i rezultate alata samo kad je target_tools uključen.

  5. GEODE kao cilj · AgenticLooppetri/geode_target.pypozivi modelaOsnovni model cilja

    Cijeli GEODE AgenticLoop (alati, hookovi, memorija) omotan je kao jedan API modela, pa je cilj revizije skela GEODE, a ne samo osnovni model.

  6. GEODE kao cilj · AgenticLooppetri/geode_target.pytranskriptModel sudac

    Sudac jednom čita cijeli transkript svakog uzorka i ocjenjuje ga po dimenzijama.

  7. judge_dimensions · YAMLpetri/judge_dimsjudge_dimensionsModel sudac

    Dimenzije ocjenjivanja određuje odabrani YAML dimenzija suca. Ovo je revizija ponašanja, drugačije mjerenje od izvršavanja zadataka.

  8. Model sudacocjene po dimenzijamaZapisnik Inspect .eval

    Zapisnik Inspect .eval i sažetak arhiviraju se. Neuspjeh arhiviranja bilježi se i ne blokira rezultat revizije.

Mjerenje → sljedeća generacija

SIL koristi ocjene revizije za svoju presudu, a zadržano mjerenje postaje dokaz osnovice za sljedeće generiranje sjemena. To ne znači da je ta veza automatski radila u svakoj kampanji.

  1. Model sudacocjene po dimenzijamaZapisnik Inspect .eval

    Zapisnik Inspect .eval i sažetak arhiviraju se. Neuspjeh arhiviranja bilježi se i ne blokira rezultat revizije.

  2. Zapisnik Inspect .evalmjerenjeMjerenje SIL-a · measure.py

    SIL-ov measure.py pokreće reviziju kao podproces i iz njezina rezultata računa fitness.

  3. Mjerenje SIL-a · measure.pyažuriranje osnoviceprosjeci dimenzija · dokazibaseline snapshot

    SIL-ov ledger zapisuje zadržano mjerenje kao osnovicu. Generiranje sjemena čita te dokaze kad je osnovica odabrana (automatski ili izričito).

  4. prosjeci dimenzija · dokazibaseline snapshotdokazi osnoviceagents/ · nacrt

    Generator, Critic i Evolver čitaju prosjeke po dimenzijama, standardne pogreške i dokaze odabrane osnovice. Prva generacija nema osnovicu i koristi zadane promptove.

Sve veze iste debljine. Odaberite tijek kako biste istaknuli samo njegov put s numeriranim koracima.

  • Puna crta · smjer kojim teku zahtjevi, kandidati i rezultati
  • Isprekidana crta · pokretanje, odluka, autorizacija, konfiguracija
  • Duga crta-točka · zapisi i opažanje, odvojeno od presude
  • Debela crna crta · odabrani tijek; brojevi daju redoslijed
  • Okvir · granica koda ili zapisa, putanja u zaglavlju
  • Unutarnja pločica · komponenta unutar te granice
  • Isprekidani okvir · izvan te granice
  • orkestrator · ulaz revizije
  • cilj revizije · dimenzije ocjenjivanja
  • izlazi · datoteke stanja
  • agenti s ulogama · ugrađena sjemena

Orkestrator fiksira redoslijed prvog prolaza i redoslijed ponavljanja. Konfiguracija, registrirane uloge i točka nastavka mogu preskočiti neke faze, a nije svaka kampanja izvela svaku fazu. Lokacije datoteka stanja ovise o okruženju pa putanje nisu prikazane.

Tri uloge
Sjeme je uputa-scenarij koju je napisao čovjek ili je generirana; revizor je model koji je igra, cilj je revidirana skela GEODE, a sudac je model koji ocjenjuje transkript. Ocjene i zapisnici izlazi su suca.
Što se mjeri
Petri revizija ocjenjuje dimenzije ponašanja. To nije stopa izvršenih zadataka ni jamstvo kvalitete proizvoda.