HR
Geodi, službeni pikselni lik GEODE-a
Natrag u dvoranu

GEODE

Autonomous Agent Harness

Od opažanja do sljedeće radnje.

Lokalni okvir za autonomnog agenta kojemu se mogu prepustiti istraživanje, rad s datotekama i zakazani zadaci.

2026.02.21 — present

Dizajn, prosudba, verifikacija: Author · implementacija: Claude · recenzija: Codex

  • CLIObjavljeno · PyPI
  • MCP poslužiteljImplementirano

Decision Offloading w. Jev

Koje se međuodluke koje agent donosi usred zadatka mogu predati Jevu, modelu samo za odluke? Ovo istraživanje provjerava ostaje li neovisno provjerena kvaliteta zadataka očuvana nakon toga, računajući pripremu, ponovljene prosudbe, popravak i konačnu isporuku. Rani piloti nisu se mogli objasniti samom zamjenom poziva za prosudbu, pa su ugovor ulaza, ugovor odluke, politika vjerojatnosti i način na koji izvršni agent koristi odluku razdvojeni u zasebne eksperimente.

Karta Jev · izvršno okruženje prema fiksiranom commitu 9e2c041, istraživanje prema zapisima iz September 2026
Putovi prosudbe Jev: integracija u izvršno okruženje i istraživanjeGornji dio opcionalni je put prosudbe u današnjem izvršnom okruženju GEODE. Samo kad je judgment_engine postavljen na jev, konačna verifikacija i refleksija jednom pozivaju Jev na TypeSafe SystemOne, a odgovor se koristi tek nakon provjere prihvaćanja po tipu, rasponu i zbroju vjerojatnosti. Konačnu verifikaciju prolazi samo supported, a rezultat ide politici PostVerify i Stop iz poglavlja „Završetak”. Donji dio istraživanje je Jev v3 izvan izvršnog okruženja: panel fiksnih stanja (U3) usporedio je prosudbe Astre i Jeva, izvođenja E/I na Harboru 0.22 mijenjala su samo put prosudbe i neovisnim orakulom pravila zasebno provjeravala rezultate i isporuku, a javni paket drži hasheve izvora i javne kopije odvojeno te nudi ponovni izračun bez modela.TypeSafe SystemOnejev-1.13.0 · samo prosudbaAstra: sudac · model actoragpt-6-astra/xhigh · pretplataIzvješće o istraživanju Jevjavno tehničko izvješćecore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPostVerify · politika Stopcore/agent/verify.pykonačna presuda · jedno pitanje Choiceprolazi samo supported · samo tekstadapters/typesafe.pySystemOne · jedan poziv · bez fallbackaprihvaćanje · tolerancija zbroja 1e-5loop/_reflection.pyrefleksija · klasifikacija dokazamemory · observabilitytimeline · retci odluka u ledgeruU3 · panel fiksnih stanja120 parova · 27 izvora · bez actoraAstra · Jev · isto pitanjeE/I · Harbor 0.22Astra kao actor · alati · popravakput suca · Astra · Jev · Jev-firstrule oracletočnost · isporuka zasebnojev-v3-20260927E2E-DATA · hashevi izvora i javniREPRODUCE · model-freeIzvršno okruženje GEODE · 9e2c041opcionalna prosudba · zadano llmIstraživanje Jev v3 · September 2026izvan izvršnog okruženja · zaseban okvir1odabir puta2 zahtjev · kandidat · opažanja · konačna presuda · jedno pitanje Choice → SystemOne · jedan poziv · bez fallbacka23 jedan poziv SystemOne · SystemOne · jedan poziv · bez fallbacka → TypeSafe SystemOne34 prihvaćeni Choice · prihvaćanje · tolerancija zbroja 1e-5 → prolazi samo supported · samo tekst45passed · reflection6retci presuda1isti odabir2klasificirati dokaze3 jedan poziv SystemOne · SystemOne · jedan poziv · bez fallbacka → TypeSafe SystemOne34 klasifikacija · prihvaćanje · tolerancija zbroja 1e-5 → refleksija · klasifikacija dokaza41Prosudba Jev2Prosudba Astra3rezultati panela · izvješće1generiranje · alati · popravak2put prosudbe o završetku3 neovisna provjera · E/I · Harbor 0.22 → točnost · isporuka zasebno34neuspjeh · rodoslovlje popravaka5ponovni izračun bez modela

Izvršno okruženje · konačna presuda

Kad je odabran Jev, konačna verifikacija jednom poziva Jev s jednim pitanjem Choice, a prolazi samo prihvaćena presuda supported.

  1. judgment_engine · llm | jevcore/config/judgment.pyodabir putakonačna presuda · jedno pitanje Choicecore/agent/verify.py

    Put Jev koristi se samo kad je judgment_engine postavljen na jev (zadano llm). provider auto bira TypeSafe, zatim OpenRouter, ovisno o tome za koji postoji ključ; bez ključa ostaje put LLM judge. To nije fallback koji neuspjeli zahtjev ponavlja negdje drugdje.

  2. konačna presuda · jedno pitanje Choicecore/agent/verify.pyzahtjev · kandidat · opažanjaSystemOne · jedan poziv · bez fallbackaadapters/typesafe.py

    Izvorni zahtjev i kandidat čiste se od osjetljivih podataka i ograničavaju po duljini, a zatim šalju s opažanjima alata kao jedno pitanje Choice (supported, contradicted, insufficient_evidence). Poziv za prosudbu ne dobiva alate (allow_tools=False). Prosudba kojoj trebaju slike ne šalje se Jevu i postaje verification_error.

  3. SystemOne · jedan poziv · bez fallbackaadapters/typesafe.pyjedan poziv SystemOneTypeSafe SystemOne

    Jedan poziv, izravno TypeSafeu ili preko OpenRoutera, bez prelaska na drugog pružatelja. Jev se nikad ne koristi kao korijenski model za generiranje teksta.

  4. prihvaćanje · tolerancija zbroja 1e-5adapters/typesafe.pyprihvaćeni Choiceprolazi samo supported · samo tekstcore/agent/verify.py

    Odgovor se koristi tek nakon provjere prihvaćanja po tipu, rasponu i zbroju vjerojatnosti (tolerancija 1e-5). Prolazi samo supported; contradicted i insufficient_evidence postaju signal za ponovni pokušaj s fiksnom sljedećom provjerom. Odgovor koji nije end_turn ili ne prođe prihvaćanje postaje verification_error, što nije signal za ponovni pokušaj (should_retry=False). Ocjena je binarna projekcija, a ne kalibrirana vjerojatnost.

  5. prolazi samo supported · samo tekstcore/agent/verify.pypassed · reflectionPostVerify · politika Stoploop/_lifecycle.py

    Presuda ide politici PostVerify i Stop iz poglavlja „Završetak”. Presuda je ulaz te politike, a ne ovlast; kad čeka recenziju, kandidat ostaje samo kao pending_text, a konačni odgovor je prazan, pa se ništa ne isporučuje.

  6. PostVerify · politika Stoploop/_lifecycle.pyretci presudatimeline · retci odluka u ledgerumemory · observability

    Odluke presuda bilježe se u timeline i evidence ledger: to su zapisi izvršnog okruženja, odvojeni od istraživačkih artefakata.

Izvršno okruženje · refleksija

Isti odabir pokreće klasifikaciju dokaza u refleksiji; rečenicu sljedeće provjere određuje kod.

  1. judgment_engine · llm | jevcore/config/judgment.pyisti odabirrefleksija · klasifikacija dokazaloop/_reflection.py

    Isti odabir vrijedi i za refleksiju.

  2. refleksija · klasifikacija dokazaloop/_reflection.pyklasificirati dokazeSystemOne · jedan poziv · bez fallbackaadapters/typesafe.py

    Refleksija s pomoću Jeva klasificira ograničene dokaze i dodaje sljedeću provjeru koju određuje kod. Ne mijenja hipoteze uvjerenja ni samopouzdanje.

  3. SystemOne · jedan poziv · bez fallbackaadapters/typesafe.pyjedan poziv SystemOneTypeSafe SystemOne

    Jedan poziv, izravno TypeSafeu ili preko OpenRoutera, bez prelaska na drugog pružatelja. Jev se nikad ne koristi kao korijenski model za generiranje teksta.

  4. prihvaćanje · tolerancija zbroja 1e-5adapters/typesafe.pyklasifikacijarefleksija · klasifikacija dokazaloop/_reflection.py

    Samo prihvaćena klasifikacija ažurira stanje refleksije; pri neuspjehu sljedeća runda pokušava ponovno iz istog prethodnog stanja.

Istraživanje · fiksni panel U3

Bez actora, prosudbe Jeva i Astre o istom stanju i pitanju uspoređene su u parovima.

  1. Astra · Jev · isto pitanjeU3 · panel fiksnih stanjaProsudba JevTypeSafe SystemOne

    U3 (commit izvornog eksperimenta 2f2b494): 120 fiksnih stanja · 27 klastera izvora · 240 poziva. Svako stanje i pitanje išli su Jevu i Astri kao jedan par; bez actora, alata i Harbora.

  2. Astra · Jev · isto pitanjeU3 · panel fiksnih stanjaProsudba AstraAstra: sudac · model actora

    Točno na istom uzorku: Astra 90/120, Jev 84/120; medijan po pozivu 10.446 s naspram 0.253 s. To je samo latencija poziva za prosudbu, a ne vrijeme zadatka ni ušteda troškova.

  3. U3 · panel fiksnih stanjarezultati panela · izvješćeIzvješće o istraživanju Jev

    Rezultati točnosti i latencije za U3 navedeni su u javnom tehničkom izvješću. Ovdje se ne tvrdi je li taj panel dio javnog paketa E2E.

Istraživanje · izvođenja E/I

Uz Astru kao actora mijenjao se samo put prosudbe, a neovisni orakul pravila zasebno je provjeravao rezultate i isporuku.

  1. Astra kao actor · alati · popravakE/I · Harbor 0.22generiranje · alati · popravakAstra: sudac · model actora

    U E/I na Harboru 0.22 actor Astra obavlja generiranje, pozive alata i popravak; mijenja se samo put prosudbe.

  2. put suca · Astra · Jev · Jev-firstE/I · Harbor 0.22put prosudbe o završetkuTypeSafe SystemOne

    E7 (commit izvornog eksperimenta 1f65534): 12 autorskih sintetičkih zadataka × 3 konfiguracije × 2 izvođenja = 72 izvođenja, 24/24 po konfiguraciji. Konfiguracija Jev-first imala je 0/24 stvarnih fallbackova, pa njezin učinak nije izmjeren.

  3. E/I · Harbor 0.22neovisna provjeratočnost · isporuka zasebnorule oracle

    Neovisni orakul pravila provjerava konačni rezultat, a stvarna konačna isporuka broji se zasebno. U 11 naknadnih parova prekinutog U8n svaki je kandidat prošao orakul, no isporuka je bila Astra 11/11 i Jev Noul 0/11.

  4. E/I · Harbor 0.22neuspjeh · rodoslovlje popravakaE2E-DATA · hashevi izvora i javnijev-v3-20260927

    Javni paket E2E čuva rodoslovlja pripreme, neuspjeha i popravaka, a hasheve izvora i javne kopije drži odvojeno. Očišćena javna kopija ne zamjenjuje validaciju nepromijenjenog izvora.

  5. REPRODUCE · model-freejev-v3-20260927ponovni izračun bez modelaIzvješće o istraživanju Jev

    Ponovni izračun brojki iz spremljenih odgovora i novo izvođenje različite su operacije. Izvješće je javno tehničko izvješće, a ne recenzirani rad.

Sve veze iste debljine. Odaberite tijek kako biste istaknuli samo njegov put s numeriranim koracima.

  • Puna crta · smjer kojim teku zahtjevi, kandidati i rezultati
  • Isprekidana crta · pokretanje, odluka, autorizacija, konfiguracija
  • Duga crta-točka · zapisi i opažanje, odvojeno od presude
  • Debela crna crta · odabrani tijek; brojevi daju redoslijed
  • Okvir · granica koda ili zapisa, putanja u zaglavlju
  • Unutarnja pločica · komponenta unutar te granice
  • Isprekidani okvir · izvan te granice
  • petlja · okvir izvođenja
  • odabir puta · presuda · orakul
  • zapisi · javni paket
  • prijenos · panel prosudbe

Gornji i donji dio različiti su sustavi. Istraživačke konfiguracije i rezultati nisu svi uključeni u današnjem putu izvršnog okruženja; jedina je zajednička veza to što oba pozivaju isti model Jev (jev-1.13.0).

Prihvaćanje u izvršnom okruženju
Izvršno okruženje drži strogu toleranciju zbroja vjerojatnosti od 1e-5. Pozivatelji evaluacije prosljeđuju vlastitu zabilježenu toleranciju umjesto da labave parser izvršnog okruženja.
Opseg istraživanja
U3 mjeri samo pozive za prosudbu; E/I uključuje actora i popravak. Njihovi se nazivnici nikad ne miješaju, a 11 parova U8n naknadna je analiza prekinutog istraživanja.

Tri ugovora odluka

Choice

Vraća
Vjerojatnost za svaku kategoriju ili opciju
Odlučuje
Završetak; namjera i cilj zahtjeva

Noul

Vraća
P(true) za svaki uvjet
Odlučuje
Proturječje; nedostatak dokaza

Score

Vraća
Očekivana vrijednost i distribucija na fiksnoj ordinalnoj ljestvici
Odlučuje
Rangiranje generiranih kandidata

Očekivana vrijednost smješta kandidata na ljestvicu; ne koristi se kao pouzdanost.

Evaluacija i povezivanje

Svaki je ugovor evaluiran na vlastitom fiksnom panelu ulaza, a neki su povezani s putom izvođenja eksperimentalnog okvira kako bi se vidjelo kako izvršni agent koristi odluku. Na karti gore istraživački dio prikazuje ta izvođenja; dio izvršnog okruženja opcionalni je put u današnjem GEODE-u.

Opažanja koja su promijenila dizajn

  1. I5 → I6 · ugovor ulaza
    1. Praćenje zajedničkog neuspjeha isporuke pokazalo je da ulazu prosudbe nedostaje ugovor zadatka i da opisuje opažanja alata iz istog zahtjeva kao prošli kontekst
    2. I6 je isporučio 6/6 u zasebnom izvođenju s revidiranim kodom i novim računom
  2. U3 · istih 120 parova stanja
    1. Medijan po pozivu Astra 10.446 s · Jev 0.253 s; točno na istom uzorku 90/120 · 84/120
    2. Brzina i točnost važu se zajedno za svaku odluku kako bi se odredio opseg delegiranja
  3. U2 · vjerojatnosti
    1. Vjerojatnosti Jeva bile su bolje kalibrirane po veličini, ali Astra je pouzdanije stavljala svoje pogrešne prosudbe naprijed
    2. Kalibracija i odabir pogrešaka mjere se zasebno, a prag je zamrznut na podjeli selection
  4. U6a · namjera i cilj
    1. Na 40 obitelji koje je napisao dizajner Jev 216/220 · Astra 220/220, unutar unaprijed registrirane margine od −5 pp
    2. Fiksna klasifikacija namjere i cilja sužena je kao sljedeći kandidat za primjenu
  5. U8n · isporuka
    1. 11 naknadnih parova iz prekinutog izvođenja: popravljeni kandidati prošli su orakul u obje grane; isporuka Astra 11/11 · Jev Noul 0/11
    2. Prosudbe o nedostatku dokaza blokirale su ispravnu isporuku; trenutačni postav Noul nema osnove da bude jedini sudac isporuke