RO
Geodi, personajul pixelat oficial al GEODE
Înapoi în sală

GEODE

Autonomous Agent Harness

De la observație la următoarea acțiune.

Un cadru local pentru agenți autonomi, căruia i se pot încredința cercetare, lucru cu fișiere și sarcini programate.

2026.02.21 — present

Proiectare, judecată, verificare: Author · implementare: Claude · revizuire: Codex

  • CLIPublicat · PyPI
  • Server MCPImplementat

Decision Offloading w. Jev

Care dintre deciziile intermediare pe care le ia un agent în timpul unei sarcini pot fi încredințate lui Jev, un model doar pentru decizii? Această cercetare verifică dacă, odată încredințate, calitatea sarcinii verificată independent se menține, socotind pregătirea, judecățile repetate, repararea și livrarea finală. Primele piloturi nu puteau fi explicate doar prin înlocuirea apelului de judecată, așa că contractul de intrare, contractul de decizie, politica de probabilitate și consumul de către agentul executant au fost separate în experimente proprii.

Harta Jev · mediul de execuție din commitul fixat 9e2c041, cercetarea din înregistrările din septembrie 2026
Căile de judecată Jev: integrarea în mediul de execuție și cercetareaPartea de sus este calea de judecată opțională din mediul de execuție GEODE de astăzi. Doar când judgment_engine este setat la jev, verificarea finală și reflecția apelează o dată Jev pe TypeSafe SystemOne, iar un răspuns este folosit doar după admiterea pe tip, interval și suma probabilităților. La verificarea finală trece doar supported, iar rezultatul merge la politica PostVerify și Stop din capitolul despre finalizare. Partea de jos este cercetarea Jev v3 din afara mediului de execuție: un panel cu stări fixe (U3) a comparat judecățile Astra și Jev, rulările E/I pe Harbor 0.22 au schimbat doar ruta de judecată și au verificat separat rezultatele și livrarea cu un oracol de reguli independent, iar pachetul public ține separat hash-urile sursei și pe cele publice și oferă o recalculare fără model.TypeSafe SystemOnejev-1.13.0 · doar judecatăJudecătorul Astra · model actorgpt-6-astra/xhigh · abonamentRaportul de cercetare Jevraport tehnic publiccore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPolitica PostVerify · Stopcore/agent/verify.pyverdict final · o întrebare Choicetrece doar supported · doar textadapters/typesafe.pySystemOne · un apel · fără fallbackadmitere · toleranța sumei 1e-5loop/_reflection.pyreflecție · clasificarea dovezilormemory · observabilitycronologie · rânduri de decizie în registruU3 · panel cu stări fixe120 de perechi · 27 de surse · fără actorAstra · Jev · aceeași întrebareE/I · Harbor 0.22actorul Astra · instrumente · reparareruta judecătorului · Astra · Jev · Jev-firstrule oraclecorectitudine · livrare separatjev-v3-20260927E2E-DATA · sursă · hash-uri publiceREPRODUCE · model-freeMediul de execuție GEODE · 9e2c041judecată opțională · implicit llmCercetarea Jev v3 · sept. 2026în afara mediului de execuție · cadru separat1alegerea rutei2 cerere · candidat · observații · verdict final · o întrebare Choice → SystemOne · un apel · fără fallback23 un apel SystemOne · SystemOne · un apel · fără fallback → TypeSafe SystemOne34 Choice admis · admitere · toleranța sumei 1e-5 → trece doar supported · doar text45passed · reflection6rânduri de verdict1aceeași alegere2clasificarea dovezilor3 un apel SystemOne · SystemOne · un apel · fără fallback → TypeSafe SystemOne34 clasificare · admitere · toleranța sumei 1e-5 → reflecție · clasificarea dovezilor41Judecata Jev2Judecata Astra3rezultatele panelului · raport1generare · instrumente · reparare2ruta judecății de finalizare3 verificare independentă · E/I · Harbor 0.22 → corectitudine · livrare separat34eșec · descendența reparării5recalculare fără model

Mediul de execuție · verdict final

Cu Jev selectat, verificarea finală apelează o dată Jev cu o singură întrebare Choice și trece doar un verdict supported admis.

  1. judgment_engine · llm | jevcore/config/judgment.pyalegerea ruteiverdict final · o întrebare Choicecore/agent/verify.py

    Ruta Jev este folosită doar când judgment_engine este setat la jev (implicit llm). provider auto alege TypeSafe, apoi OpenRouter, pe cel care are o cheie; fără cheie rămâne ruta LLM judge. Nu este un fallback care reîncearcă în altă parte o cerere eșuată.

  2. verdict final · o întrebare Choicecore/agent/verify.pycerere · candidat · observațiiSystemOne · un apel · fără fallbackadapters/typesafe.py

    Cererea originală și candidatul sunt mascate și limitate, apoi trimise împreună cu observațiile instrumentelor ca o singură întrebare Choice (supported, contradicted, insufficient_evidence). Apelul de judecată nu primește instrumente (allow_tools=False). O judecată care are nevoie de imagini nu este trimisă la Jev și devine verification_error.

  3. SystemOne · un apel · fără fallbackadapters/typesafe.pyun apel SystemOneTypeSafe SystemOne

    Un singur apel, direct la TypeSafe sau prin OpenRouter, fără salt la alt furnizor. Jev nu este folosit niciodată ca model rădăcină de generare de text.

  4. admitere · toleranța sumei 1e-5adapters/typesafe.pyChoice admistrece doar supported · doar textcore/agent/verify.py

    Un răspuns este folosit doar după admiterea pe tip, interval și suma probabilităților (toleranță 1e-5). Trece doar supported; contradicted și insufficient_evidence devin un semnal de reîncercare cu o verificare următoare fixă. Un răspuns care nu este end_turn sau care nu trece admiterea devine verification_error, care nu este un semnal de reîncercare (should_retry=False). Scorul este o proiecție binară, nu o probabilitate calibrată.

  5. trece doar supported · doar textcore/agent/verify.pypassed · reflectionPolitica PostVerify · Stoploop/_lifecycle.py

    Verdictul merge la politica PostVerify și Stop din capitolul despre finalizare. Un verdict este o intrare pentru acea politică, nu o permisiune; când așteaptă revizuirea, candidatul rămâne doar ca pending_text, iar răspunsul final este gol, așa că nu se livrează nimic.

  6. Politica PostVerify · Stoploop/_lifecycle.pyrânduri de verdictcronologie · rânduri de decizie în registrumemory · observability

    Deciziile de verdict sunt înregistrate în cronologie și în registrul de dovezi: înregistrări ale mediului de execuție, separate de artefactele de cercetare.

Mediul de execuție · reflecție

Aceeași alegere guvernează clasificarea dovezilor în reflecție; propoziția verificării următoare este stabilită de cod.

  1. judgment_engine · llm | jevcore/config/judgment.pyaceeași alegerereflecție · clasificarea dovezilorloop/_reflection.py

    Aceeași alegere se aplică reflecției.

  2. reflecție · clasificarea dovezilorloop/_reflection.pyclasificarea dovezilorSystemOne · un apel · fără fallbackadapters/typesafe.py

    Reflecția folosește Jev pentru a clasifica dovezi limitate și adaugă o verificare următoare stabilită de cod. Nu schimbă ipotezele de convingere sau încrederea în sine.

  3. SystemOne · un apel · fără fallbackadapters/typesafe.pyun apel SystemOneTypeSafe SystemOne

    Un singur apel, direct la TypeSafe sau prin OpenRouter, fără salt la alt furnizor. Jev nu este folosit niciodată ca model rădăcină de generare de text.

  4. admitere · toleranța sumei 1e-5adapters/typesafe.pyclasificarereflecție · clasificarea dovezilorloop/_reflection.py

    Doar o clasificare admisă actualizează starea reflecției; la eșec, runda următoare reîncearcă din aceeași stare anterioară.

Cercetare · panelul fix U3

Fără actor, judecățile Jev și Astra asupra aceleiași stări și întrebări au fost comparate în perechi.

  1. Astra · Jev · aceeași întrebareU3 · panel cu stări fixeJudecata JevTypeSafe SystemOne

    U3 (commitul experimentului original 2f2b494): 120 de stări fixe · 27 de clustere de surse · 240 de apeluri. Fiecare stare și întrebare au mers la Jev și Astra ca o pereche; fără actor, instrumente sau Harbor.

  2. Astra · Jev · aceeași întrebareU3 · panel cu stări fixeJudecata AstraJudecătorul Astra · model actor

    Corecte pe același eșantion: Astra 90/120, Jev 84/120; mediana pe apel 10.446 s față de 0.253 s. Este doar latența apelului de judecată, nu timpul sarcinii sau economii de cost.

  3. U3 · panel cu stări fixerezultatele panelului · raportRaportul de cercetare Jev

    Rezultatele de acuratețe și latență ale U3 apar în raportul tehnic public. Nu se afirmă aici dacă acest panel face parte din pachetul public E2E.

Cercetare · rulările E/I

Cu Astra ca actor, s-a schimbat doar ruta de judecată, iar un oracol de reguli independent a verificat separat rezultatele și livrarea.

  1. actorul Astra · instrumente · reparareE/I · Harbor 0.22generare · instrumente · reparareJudecătorul Astra · model actor

    În E/I pe Harbor 0.22, actorul Astra se ocupă de generare, apelurile de instrumente și reparare; se schimbă doar ruta de judecată.

  2. ruta judecătorului · Astra · Jev · Jev-firstE/I · Harbor 0.22ruta judecății de finalizareTypeSafe SystemOne

    E7 (commitul experimentului original 1f65534): 12 sarcini sintetice create de autor × 3 configurații × 2 rulări = 72 de rulări, 24/24 pentru fiecare configurație. Configurația Jev-first a avut 0/24 fallback-uri reale, așa că efectul ei nu a fost măsurat.

  3. E/I · Harbor 0.22verificare independentăcorectitudine · livrare separatrule oracle

    Un oracol de reguli independent verifică rezultatul final, iar livrarea finală reală este numărată separat. În cele 11 perechi post-hoc ale rulării întrerupte U8n, fiecare candidat a trecut de oracol, dar livrarea a fost Astra 11/11 și Jev Noul 0/11.

  4. E/I · Harbor 0.22eșec · descendența reparăriiE2E-DATA · sursă · hash-uri publicejev-v3-20260927

    Pachetul public E2E păstrează descendențele de pregătire, eșec și reparare, cu hash-urile sursei și ale copiei publice ținute separat. O copie publică mascată nu ține locul validării sursei nemodificate.

  5. REPRODUCE · model-freejev-v3-20260927recalculare fără modelRaportul de cercetare Jev

    Recalcularea cifrelor din răspunsurile stocate și o rulare nouă sunt operații diferite. Raportul este un raport tehnic public, nu o lucrare evaluată de colegi.

Fiecare conexiune cu aceeași grosime. Alegeți un flux pentru a evidenția doar traseul lui, cu pași numerotați.

  • Continuă · direcția în care circulă cererile, candidații și rezultatele
  • Întreruptă · rulare, decizie, autorizare, configurare
  • Linie-punct lungă · înregistrări și observație, separate de verdict
  • Linie neagră groasă · fluxul selectat; numerele dau ordinea
  • Casetă · o graniță de cod sau de înregistrări, cu calea în antet
  • Etichetă interioară · o componentă din acea graniță
  • Casetă întreruptă · în afara acelei granițe
  • buclă · cadru de execuție
  • alegerea rutei · verdict · oracol
  • înregistrări · pachet public
  • transport · panel de judecată

Partea de sus și cea de jos sunt sisteme diferite. Configurațiile și rezultatele cercetării nu sunt toate activate pe calea de execuție de astăzi; singura legătură comună este că ambele apelează același model Jev (jev-1.13.0).

Admiterea în mediul de execuție
Mediul de execuție păstrează strictă toleranța sumei probabilităților, la 1e-5. Apelanții de evaluare își transmit propria toleranță înregistrată, în loc să relaxeze parserul mediului de execuție.
Domeniul cercetării
U3 măsoară doar apelurile de judecată; E/I include actorul și repararea. Numitorii lor nu sunt amestecați niciodată, iar cele 11 perechi U8n sunt o analiză post-hoc a unui studiu întrerupt.

Trei contracte de decizie

Choice

Returnează
Probabilitatea pentru fiecare categorie sau opțiune
Decide
Finalizarea; intenția și ținta unei cereri

Noul

Returnează
P(true) pentru fiecare condiție
Decide
Contradicție; dovezi lipsă

Score

Returnează
Valoarea așteptată și distribuția pe o scară ordonată fixă
Decide
Clasamentul candidaților generați

Valoarea așteptată plasează un candidat pe scară; nu este folosită ca încredere.

Evaluare și conectare

Fiecare contract a fost evaluat pe propriul panel fix de intrări, iar unele au fost conectate la calea de execuție a cadrului experimental, pentru a vedea cum consumă agentul executant judecata. În harta de mai sus, partea de cercetare arată acele rulări; partea de mediu de execuție este calea opțională din GEODE-ul de astăzi.

Observații care au schimbat designul

  1. I5 → I6 · contractul de intrare
    1. Urmărirea unui eșec comun de livrare a arătat că intrării pentru judecată îi lipsea contractul sarcinii și că descria observațiile instrumentelor din aceeași cerere ca un context trecut
    2. I6 a livrat 6/6 într-o rulare separată, cu codul revizuit și un cont nou
  2. U3 · aceleași 120 de perechi de stări
    1. Mediana pe apel Astra 10.446 s · Jev 0.253 s; corecte pe același eșantion 90/120 · 84/120
    2. Viteza și acuratețea sunt cântărite împreună pentru fiecare decizie, pentru a stabili domeniul delegării
  3. U2 · probabilități
    1. Probabilitățile Jev au fost mai bine calibrate ca mărime, dar Astra și-a plasat mai sigur în față judecățile greșite
    2. Calibrarea și selecția erorilor sunt măsurate separat, iar pragul este înghețat pe partiția de selecție
  4. U6a · intenție și țintă
    1. Pe 40 de familii scrise de designer, Jev 216/220 · Astra 220/220, respectând marja preînregistrată de −5 pp
    2. Clasificarea fixă a intenției și a țintei a fost restrânsă ca următor candidat de aplicare
  5. U8n · livrare
    1. 11 perechi post-hoc dintr-o rulare întreruptă: candidații reparați au trecut de oracol în ambele brațe; livrarea Astra 11/11 · Jev Noul 0/11
    2. Judecățile de tip dovezi lipsă au blocat livrarea corectă; configurația Noul actuală nu are temei pentru a fi singurul judecător al livrării