ET
Geodi, GEODE ametlik pikslitegelane
Tagasi saali

GEODE

Autonomous Agent Harness

Vaatlusest järgmise tegevuseni.

Kohalik autonoomse agendi rakis, millele saab anda uurimistööd, failitöid ja ajastatud ülesandeid.

2026.02.21 — present

Kavandamine, hinnang, verifitseerimine: Author · teostus: Claude · ülevaatus: Codex

  • CLIAvaldatud · PyPI
  • MCP-serverTeostatud

Auditistsenaariumid luuakse kindlas järjekorras faaside kaudu.

Faaside järjekord kuulub hostile ja iga faasi rolliagendid jagavad töö. Saadud seemnekogum ja valitud rubriik on Petri käitumisauditi sisendid.

Seemnete kaart · joonistatud fikseeritud commiti 9e2c041 evals-teede põhjal
GEODE auditistsenaariumide genereerimine ja Petri auditKuidas auditistsenaariume (seemneid) kirjutatakse ja auditeeritakse. Orkestraator seed_generation omab faaside järjekorda, rolliagendid koostavad mustandeid, vaatavad üle ja parandavad ning tulemus eksporditakse survivors-kataloogina ja meta-review-failidena. Petri audit võtab seemnevaliku ja määrab kolm eraldi mudelirolli: audiitor mängib seemnestsenaariumi, sihtmärk on kogu GEODE karkass ja kohtunik hindab transkripti dimensioonide kaupa Inspecti logisse. SIL-i mõõtmine loeb tulemuse ja säilitatud mõõtmisest saab järgmise põlvkonna baastaseme tõend.Audiitormudelmängib seemnestsenaariumiSihtmärgi baasmudelmudel, mida GEODE ümbritsebKohtunikmudelhindab kogu transkriptiInspect .eval logiarhiiv · kokkuvõteSIL-i mõõtmine · measure.pyloeb poliitikaotsingu peatükkbaseline snapshotdimensioonide keskmised · tõendidhandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pyfaaside järjekord · PipelineStatecheckpoint · resumeagents/ · mustandSupervisor · käivitusstrateegialiterature_review · vaikimisi väljasGenerator · kandidaatseemnedagents/ · ülevaatusProximity · duplikaatide eemaldamineCritic · ülevaatusPilot · valikuline · smoke'is mitteRanker · Eloagents/ · parendamineEvolver · parendamineMeta-reviewer · järgmised prioridrun_dir/survivors/ · kandidaatide .md-koopiadsurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedskaasasolevad seemned · *.mdpetri/runner.pygeode audit · /audit · tööriistkuluhinnang · vaikimisi kuivkäivituspetri/geode_target.pyGEODE sihtmärgina · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLolekufailid väljaspool käivitustevals/seed_generationstsenaariumide koostamineevals/petriauditi käivitus1faasid järjekorras2baastaseme tõendid3 eelmine meta-review · latest_pointer.json · priors → agents/ · mustand34 kandidaatseemned · agents/ · mustand → agents/ · ülevaatus45survivors · Elo6 järgmine iteratsioon · Criticust · Meta-reviewer · järgmised priorid → Critic · ülevaatus67 survivors'i eksport · agents/ · parendamine → run_dir/78latest-viit1--seed-select2kaasasolevad seemned3 mudelirollid · kolm kohta · geode audit · /audit · tööriist → Audiitormudel34seemnestsenaariumi dialoog5 mudelikutsed · GEODE sihtmärgina · AgenticLoop → Sihtmärgi baasmudel56transkript7 judge_dimensions · judge_dimensions · YAML → Kohtunikmudel78dimensioonide skoorid1dimensioonide skoorid2 mõõtmine · Inspect .eval logi → SIL-i mõõtmine · measure.py23baastaseme uuendus4baastaseme tõendid

Stsenaariumide koostamine

Orkestraator omab faaside järjekorda, rolliagendid koostavad ja filtreerivad kandidaate ning tulemus eksporditakse faililepingu kaudu.

  1. faaside järjekord · PipelineStateseed_generation/orchestrator.pyfaasid järjekorrasagents/ · mustand

    Orkestraator omab faaside järjekorda ja oleku liitmist; iga faasi rolliagent teeb töö. Faasi sees võib töö SubAgentManageri kaudu hargneda ja alamagendid ei rekurseeru (sügavus 1).

  2. dimensioonide keskmised · tõendidbaseline snapshotbaastaseme tõendidagents/ · mustand

    Generator, Critic ja Evolver loevad valitud baastaseme dimensioonipõhiseid keskmisi, standardvigu ja tõendeid. Esimesel põlvkonnal baastaset pole ja see kasutab vaikeviipasid.

  3. latest_pointer.json · priorshandoff pointereelmine meta-reviewagents/ · mustand

    Eelmise käivituse meta-review jätab selle põlvkonna jaoks järgmise põlvkonna priorid ja vähe kaetud dimensioonid.

  4. agents/ · mustandkandidaatseemnedagents/ · ülevaatus

    Generatori kandidaadid läbivad järjest Proximity duplikaatide eemaldamise, Criticu ülevaatuse, Piloti (valikuline; smoke-käivitustes jäetakse vahele) ja Rankeri Elo-järjestuse.

  5. agents/ · ülevaatussurvivors · Eloagents/ · parendamine

    Evolver parendab kõrgeima kohaga kandidaate ja Meta-reviewer võtab käivituse kokku järgmise põlvkonna prioriteks.

  6. Meta-reviewer · järgmised prioridagents/ · parendaminejärgmine iteratsioon · CriticustCritic · ülevaatusagents/ · ülevaatus

    Kui max_iterations on seatud, läbivad parendatud kandidaadid pärast Meta-reviewerit uuesti teekonna Critic → Pilot → Ranker → Evolver → Meta-reviewer. Supervisor, Generator ja Proximity uuesti ei käivitu; vaikimisi on iteratsioone null.

  7. agents/ · parendaminesurvivors'i eksportrun_dir/

    Säilinud kandidaatide kehad kopeeritakse failidena kataloogi survivors/, Elo- ja piloodiskoorid faili survivors.json ning meta-review ja olek kirjutatakse eraldi.

  8. meta_review.json · state.jsonrun_dir/latest-viitlatest_pointer.json · priorshandoff pointer

    Üks latest_pointer.json salvestab, kus on selle käivituse seed_pool ja meta_review. Käivitusepõhised väljundid on kanoonilised; viit on järgmise käivituse best-effort-abi ja ebaõnnestunud kirjutamine ainult logitakse. Mitte igal käivitusel pole mõlemat välja.

Auditi käivitus

Audiitor mängib seemet (stsenaariumijuhist), sihtmärk on GEODE karkass ja kohtunik hindab transkripti. Kolm rolli on eraldi mudelikohad.

  1. survivors/ · kandidaatide .md-koopiadrun_dir/--seed-selectgeode audit · /audit · tööriistpetri/runner.py

    Audit võtab seemnevaliku (survivors-kataloog, kaasasolevad seemned, ID-d või sildid) ja annab selle Inspecti ülesandele inspect_petri/audit. Seemnete genereerimine ise auditit ei käivita.

  2. kaasasolevad seemned · *.mdpetri/seedskaasasolevad seemnedgeode audit · /audit · tööriistpetri/runner.py

    Repositooriumiga kaasasolevaid seemneid saab valida muutmata kujul.

  3. geode audit · /audit · tööriistpetri/runner.pymudelirollid · kolm kohtaAudiitormudel

    Audiitori, sihtmärgi ja kohtuniku mudelid määratakse eraldi. Vaikimisi tehakse kuivkäivitus; päris kutsed toimuvad alles pärast kuluhinnangu kinnitamist. Kui kõigil kolmel rollil on sama pakkuja, lisatakse sama pakkuja kallutatuse märge.

  4. Audiitormudelseemnestsenaariumi dialoogGEODE sihtmärgina · AgenticLooppetri/geode_target.py

    Seeme on audiitorile antud stsenaariumijuhis. Audiitor juhib vestlust ja saab tööriistu ning tööriistatulemusi luua ainult siis, kui target_tools on lubatud.

  5. GEODE sihtmärgina · AgenticLooppetri/geode_target.pymudelikutsedSihtmärgi baasmudel

    Kogu GEODE AgenticLoop (tööriistad, hook'id, mälu) on mähitud üheks mudeli API-ks, seega on auditeeritav sihtmärk GEODE karkass, mitte ainult baasmudel.

  6. GEODE sihtmärgina · AgenticLooppetri/geode_target.pytranskriptKohtunikmudel

    Kohtunik loeb iga valimi täieliku transkripti üks kord ja hindab seda dimensioonide kaupa.

  7. judge_dimensions · YAMLpetri/judge_dimsjudge_dimensionsKohtunikmudel

    Valitud kohtunikudimensioonide YAML määrab hindamisdimensioonid. See on käitumisaudit, ülesande lõpetamisest erinev mõõtmine.

  8. Kohtunikmudeldimensioonide skooridInspect .eval logi

    Inspecti .eval logi ja kokkuvõte arhiveeritakse. Arhiveerimise tõrge märgitakse ja see ei blokeeri auditi tulemust.

Mõõtmine → järgmine põlvkond

SIL kasutab auditiskoore oma verdiktiks ja säilitatud mõõtmisest saab järgmise seemnete genereerimise baastaseme tõend. See ei tähenda, et seos toimis igas kampaanias automaatselt.

  1. Kohtunikmudeldimensioonide skooridInspect .eval logi

    Inspecti .eval logi ja kokkuvõte arhiveeritakse. Arhiveerimise tõrge märgitakse ja see ei blokeeri auditi tulemust.

  2. Inspect .eval logimõõtmineSIL-i mõõtmine · measure.py

    SIL-i measure.py käivitab auditi alamprotsessi ja arvutab selle tulemusest fitnessi.

  3. SIL-i mõõtmine · measure.pybaastaseme uuendusdimensioonide keskmised · tõendidbaseline snapshot

    SIL-i ledger kirjutab säilitatud mõõtmise baastasemeks. Seemnete genereerimine loeb neid tõendeid, kui baastase on valitud (automaatselt või selgesõnaliselt).

  4. dimensioonide keskmised · tõendidbaseline snapshotbaastaseme tõendidagents/ · mustand

    Generator, Critic ja Evolver loevad valitud baastaseme dimensioonipõhiseid keskmisi, standardvigu ja tõendeid. Esimesel põlvkonnal baastaset pole ja see kasutab vaikeviipasid.

Kõik ühendused sama kaaluga. Vali voog, et tõsta esile ainult selle tee koos nummerdatud sammudega.

  • Pidevjoon · päringute, kandidaatide ja tulemuste liikumissuund
  • Kriipsjoon · käivitamine, otsustamine, volitamine, seadistamine
  • Pikk kriips-punktjoon · kirjed ja vaatlus, verdiktist eraldi
  • Paks must joon · valitud voog; numbrid näitavad järjekorda
  • Kast · koodi või kirjete piir, tee päises
  • Sisemine silt · komponent selle piiri sees
  • Kriipsjoonega kast · sellest piirist väljas
  • orkestraator · auditi sisenemine
  • auditi sihtmärk · hindamisdimensioonid
  • väljundid · olekufailid
  • rolliagendid · kaasasolevad seemned

Orkestraator fikseerib esimese läbimise ja korduse järjekorra. Konfiguratsioon, registreeritud rollid ja jätkamispunkt võivad mõne faasi vahele jätta ning mitte iga kampaania ei käivitanud kõiki faase. Olekufailide asukohad sõltuvad keskkonnast, seega teid ei näidata.

Kolm rolli
Seeme on inimese kirjutatud või genereeritud stsenaariumijuhis; audiitor on mudel, mis seda mängib, sihtmärk on auditeeritav GEODE karkass ja kohtunik on mudel, mis transkripti hindab. Skoorid ja logid on kohtuniku väljundid.
Mida mõõdetakse
Petri audit hindab käitumise dimensioone. See ei ole ülesannete lõpetamise määr ega toote kvaliteedi garantii.