LT
Geodi, oficialus GEODE pikselinis personažas
Atgal į salę

GEODE

Autonomous Agent Harness

Nuo stebėjimo iki kito veiksmo.

Vietinis autonominio agento karkasas, kuriam galima patikėti tyrimus, darbą su failais ir suplanuotas užduotis.

2026.02.21 — present

Projektavimas, sprendimai, verifikacija: Author · įgyvendinimas: Claude · peržiūra: Codex

  • CLIPaskelbta · PyPI
  • MCP serverisĮgyvendinta

Audito scenarijai kuriami fiksuota tvarka einančiomis fazėmis.

Fazių tvarką valdo pagrindinė programa, o kiekvienos fazės vaidmenų agentai pasidalija darbą. Gautas sėklų telkinys ir pasirinkta rubrika tampa Petri elgsenos audito įvestimis.

Sėklų žemėlapis · nubraižyta pagal evals kelius užfiksuotame komite 9e2c041
GEODE audito scenarijų generavimas ir Petri auditasKaip rašomi ir audituojami audito scenarijai (sėklos). Orkestratorius seed_generation valdo fazių tvarką, o vaidmenų agentai rengia juodraščius, peržiūri ir tobulina; rezultatas eksportuojamas kaip survivors katalogas ir meta-review failai. Petri auditas paima sėklų atranką ir priskiria tris atskirus modelių vaidmenis: auditorius vaidina sėklos scenarijų, taikinys yra visi GEODE pastoliai, o teisėjas vertina transkriptą pagal matmenis į Inspect žurnalą. SIL matavimas skaito šį rezultatą, o išlaikytas matavimas tampa bazinės linijos įrodymu kitai kartai.Auditoriaus modelisvaidina sėklos scenarijųTaikinio bazinis modelismodelis, kurį apgaubia GEODETeisėjo modelisvertina visą transkriptąInspect .eval žurnalasarchyvas · suvestinėSIL matavimas · measure.pyskaito skyrius „Politikų paieška“baseline snapshotmatmenų vidurkiai · įrodymaihandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pyfazių tvarka · PipelineStatecheckpoint · resumeagents/ · juodraštisSupervisor · paleidimo strategijaliterature_review · pagal numatymą išjungtaGenerator · sėklų kandidataiagents/ · peržiūraProximity · dublikatų šalinimasCritic · peržiūraPilot · neprivaloma · ne smokeRanker · Eloagents/ · tobulinimasEvolver · tobulinimasMeta-reviewer · kiti priorsrun_dir/survivors/ · kandidatų .md kopijossurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedsįtrauktos sėklos · *.mdpetri/runner.pygeode audit · /audit · įrankiskainos įvertis · pagal numatymą bandomasis paleidimaspetri/geode_target.pyGEODE kaip taikinys · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLbūsenos failai už paleidimo ribųevals/seed_generationscenarijų rašymasevals/petriaudito paleidimas1paleisti fazes iš eilės2bazinės linijos įrodymai3 ankstesnis meta-review · latest_pointer.json · priors → agents/ · juodraštis34 sėklų kandidatai · agents/ · juodraštis → agents/ · peržiūra45survivors · Elo6 kita iteracija · nuo Critic · Meta-reviewer · kiti priors → Critic · peržiūra67 survivors eksportas · agents/ · tobulinimas → run_dir/78rodyklė latest1--seed-select2įtrauktos sėklos3 modelių vaidmenys · trys vietos · geode audit · /audit · įrankis → Auditoriaus modelis34dialogas pagal sėklos scenarijų5 modelio iškvietimai · GEODE kaip taikinys · AgenticLoop → Taikinio bazinis modelis56transkriptas7 judge_dimensions · judge_dimensions · YAML → Teisėjo modelis78matmenų balai1matmenų balai2 matavimas · Inspect .eval žurnalas → SIL matavimas · measure.py23bazinės linijos atnaujinimas4bazinės linijos įrodymai

Scenarijų rašymas

Orkestratorius valdo fazių tvarką, vaidmenų agentai kuria ir filtruoja kandidatus, o rezultatas eksportuojamas per failų sutartį.

  1. fazių tvarka · PipelineStateseed_generation/orchestrator.pypaleisti fazes iš eilėsagents/ · juodraštis

    Orkestratorius valdo fazių tvarką ir būsenos sujungimą; kiekvienos fazės darbą atlieka jos vaidmens agentas. Fazės viduje darbas gali išsišakoti per SubAgentManager, o subagentai rekursyviai nekviečia kitų (gylis 1).

  2. matmenų vidurkiai · įrodymaibaseline snapshotbazinės linijos įrodymaiagents/ · juodraštis

    Generator, Critic ir Evolver skaito pasirinktos bazinės linijos matmenų vidurkius, standartines paklaidas ir įrodymus. Pirmoji karta bazinės linijos neturi ir naudoja numatytuosius raginimus.

  3. latest_pointer.json · priorshandoff pointerankstesnis meta-reviewagents/ · juodraštis

    Ankstesnio paleidimo meta-review palieka priors kitai kartai ir nepakankamai aprėptus matmenis, į kuriuos ši karta turi atsižvelgti.

  4. agents/ · juodraštissėklų kandidataiagents/ · peržiūra

    Generator kandidatai iš eilės pereina Proximity dublikatų šalinimą, Critic peržiūrą, Pilot (neprivaloma; smoke paleidimuose praleidžiama) ir Ranker Elo reitingavimą.

  5. agents/ · peržiūrasurvivors · Eloagents/ · tobulinimas

    Evolver tobulina aukščiausiai reitinguotus kandidatus, o Meta-reviewer apibendrina paleidimą į priors kitai kartai.

  6. Meta-reviewer · kiti priorsagents/ · tobulinimaskita iteracija · nuo CriticCritic · peržiūraagents/ · peržiūra

    Nustačius max_iterations, po Meta-reviewer patobulinti kandidatai vėl pereina Critic → Pilot → Ranker → Evolver → Meta-reviewer. Supervisor, Generator ir Proximity iš naujo nepaleidžiami; numatytasis iteracijų skaičius – nulis.

  7. agents/ · tobulinimassurvivors eksportasrun_dir/

    Išlikusių kandidatų tekstai kopijuojami kaip failai į survivors/, Elo ir pilot balai patenka į survivors.json, o meta-review ir būsena įrašomi atskirai.

  8. meta_review.json · state.jsonrun_dir/rodyklė latestlatest_pointer.json · priorshandoff pointer

    Vienas latest_pointer.json įrašo, kur yra šio paleidimo seed_pool ir meta_review. Kanoniniai yra kiekvieno paleidimo rezultatai; rodyklė – best-effort pagalba kitam paleidimui, o nepavykęs įrašymas tik registruojamas žurnale. Ne kiekvienas paleidimas turi abu laukus.

Audito paleidimas

Auditorius vaidina sėklą (scenarijaus nurodymą), taikinys yra GEODE pastoliai, o teisėjas vertina transkriptą. Trys vaidmenys yra atskiros modelių vietos.

  1. survivors/ · kandidatų .md kopijosrun_dir/--seed-selectgeode audit · /audit · įrankispetri/runner.py

    Auditas paima sėklų atranką (survivors katalogą, įtrauktas sėklas, ID ar žymes) ir perduoda ją Inspect užduočiai inspect_petri/audit. Sėklų generavimas pats audito nepradeda.

  2. įtrauktos sėklos · *.mdpetri/seedsįtrauktos sėklosgeode audit · /audit · įrankispetri/runner.py

    Į saugyklą įtrauktas sėklas galima pasirinkti tokias, kokios yra.

  3. geode audit · /audit · įrankispetri/runner.pymodelių vaidmenys · trys vietosAuditoriaus modelis

    Auditoriaus, taikinio ir teisėjo modeliai nustatomi atskirai. Pagal numatymą tai bandomasis paleidimas; tikri iškvietimai vyksta tik patvirtinus kainos įvertį. Kai visi trys vaidmenys naudoja tą patį tiekėją, pridedama to paties tiekėjo šališkumo žymė.

  4. Auditoriaus modelisdialogas pagal sėklos scenarijųGEODE kaip taikinys · AgenticLooppetri/geode_target.py

    Sėkla yra scenarijaus nurodymas auditoriui. Auditorius veda pokalbį ir gali kurti įrankius bei įrankių rezultatus tik įjungus target_tools.

  5. GEODE kaip taikinys · AgenticLooppetri/geode_target.pymodelio iškvietimaiTaikinio bazinis modelis

    Visas GEODE AgenticLoop (įrankiai, hook, atmintis) apgaubtas kaip viena modelio API, todėl audituojamas taikinys yra GEODE pastoliai, o ne vien bazinis modelis.

  6. GEODE kaip taikinys · AgenticLooppetri/geode_target.pytranskriptasTeisėjo modelis

    Teisėjas kiekvieno pavyzdžio visą transkriptą perskaito vieną kartą ir vertina pagal matmenis.

  7. judge_dimensions · YAMLpetri/judge_dimsjudge_dimensionsTeisėjo modelis

    Vertinimo matmenis nustato pasirinktas teisėjo matmenų YAML. Tai elgsenos auditas – kitoks matavimas nei užduočių atlikimas.

  8. Teisėjo modelismatmenų balaiInspect .eval žurnalas

    Inspect .eval žurnalas ir suvestinė archyvuojami. Archyvavimo nesėkmė pažymima ir audito rezultato neblokuoja.

Matavimas → kita karta

SIL naudoja audito balus savo verdiktui, o išlaikytas matavimas tampa bazinės linijos įrodymu kitam sėklų generavimui. Tai nereiškia, kad ši jungtis automatiškai veikė kiekvienoje kampanijoje.

  1. Teisėjo modelismatmenų balaiInspect .eval žurnalas

    Inspect .eval žurnalas ir suvestinė archyvuojami. Archyvavimo nesėkmė pažymima ir audito rezultato neblokuoja.

  2. Inspect .eval žurnalasmatavimasSIL matavimas · measure.py

    SIL measure.py paleidžia auditą kaip antrinį procesą ir iš jo rezultato apskaičiuoja fitness.

  3. SIL matavimas · measure.pybazinės linijos atnaujinimasmatmenų vidurkiai · įrodymaibaseline snapshot

    SIL ledger įrašo išlaikytą matavimą kaip bazinę liniją. Sėklų generavimas skaito tuos įrodymus, kai bazinė linija pasirinkta (automatiškai ar aiškiai).

  4. matmenų vidurkiai · įrodymaibaseline snapshotbazinės linijos įrodymaiagents/ · juodraštis

    Generator, Critic ir Evolver skaito pasirinktos bazinės linijos matmenų vidurkius, standartines paklaidas ir įrodymus. Pirmoji karta bazinės linijos neturi ir naudoja numatytuosius raginimus.

Visi ryšiai vienodo storio. Pasirinkite srautą, kad būtų paryškintas tik jo kelias su sunumeruotais žingsniais.

  • Ištisinė · kryptis, kuria keliauja užklausos, kandidatai ir rezultatai
  • Brūkšninė · paleisti, nuspręsti, įgalioti, konfigūruoti
  • Ilga brūkšninė-taškinė · įrašai ir stebėjimas, atskirai nuo verdikto
  • Stora juoda linija · pasirinktas srautas; skaičiai rodo tvarką
  • Rėmelis · kodo ar įrašų riba, kelias antraštėje
  • Vidinė plokštelė · komponentas toje riboje
  • Brūkšninis rėmelis · už tos ribos
  • orkestratorius · audito įėjimas
  • audito taikinys · vertinimo matmenys
  • rezultatai · būsenos failai
  • vaidmenų agentai · įtrauktos sėklos

Orkestratorius fiksuoja pirmojo perėjimo ir pakartojimų tvarką. Konfigūracija, užregistruoti vaidmenys ir tęsimo taškas gali praleisti kai kurias fazes, ir ne kiekviena kampanija vykdė visas fazes. Būsenos failų vieta priklauso nuo aplinkos, todėl keliai nerodomi.

Trys vaidmenys
Sėkla yra scenarijaus nurodymas, parašytas žmogaus ar sugeneruotas; auditorius yra jį vaidinantis modelis, taikinys – audituojami GEODE pastoliai, o teisėjas – transkriptą vertinantis modelis. Balai ir žurnalai yra teisėjo rezultatai.
Kas matuojama
Petri auditas vertina elgsenos matmenis. Tai nėra atliktų užduočių dalis ar produkto kokybės garantija.