SK
Geodi, oficiálna pixelová postava GEODE
Späť do sály

GEODE

Autonomous Agent Harness

Od pozorovania k ďalšej akcii.

Lokálny harness autonómneho agenta, ktorému sa dá zveriť výskum, práca so súbormi a plánované úlohy.

2026.02.21 — present

Návrh, posúdenie, overenie: autor · implementácia: Claude · revízia: Codex

  • CLIZverejnené · PyPI
  • Server MCPImplementované

Decision Offloading w. Jev

Ktoré z priebežných rozhodnutí, ktoré agent robí počas úlohy, možno odovzdať Jev, modelu určenému len na rozhodovanie? Tento výskum overuje, či nezávisle overená kvalita úloh vydrží aj po takom odovzdaní, vrátane prípravy, opakovaných posúdení, opráv a konečného doručenia. Rané piloty sa nedali vysvetliť len zámenou posudzovacieho volania, preto sa kontrakt vstupu, kontrakt rozhodnutia, pravdepodobnostná politika a spôsob, akým vykonávací agent rozhodnutie využíva, rozdelili do samostatných experimentov.

Mapa Jev · behové prostredie z pripnutého commitu 9e2c041, výskum zo záznamov zo September 2026
Cesty posudzovania Jev: integrácia do behového prostredia a výskumHorná časť je voliteľná cesta posudzovania v dnešnom behovom prostredí GEODE. Len keď je judgment_engine nastavený na jev, volajú konečné overenie a reflexia raz Jev na TypeSafe SystemOne a odpoveď sa použije až po kontrole prijatia typu, rozsahu a súčtu pravdepodobností. Konečným overením prejde len supported a výsledok ide do politiky PostVerify a Stop z kapitoly o dokončení. Dolná časť je výskum Jev v3 mimo behového prostredia: panel pevných stavov (U3) porovnal posúdenia Astra a Jev, behy E/I na Harbor 0.22 menili len cestu posudzovania a výsledky a doručenie kontrolovali osobitne nezávislým pravidlovým orákulom a verejný balík drží zdrojové a verejné hashe oddelene a ponúka prepočet bez modelu.TypeSafe SystemOnejev-1.13.0 · len posudzovanieSudca Astra · model aktéragpt-6-astra/xhigh · predplatnéVýskumná správa Jevverejná technická správacore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPolitika PostVerify · Stopcore/agent/verify.pykonečné rozhodnutie · jedna otázka Choiceprejde len supported · len textadapters/typesafe.pySystemOne · jedno volanie · bez fallbackuprijatie · tolerancia súčtu 1e-5loop/_reflection.pyreflexia · klasifikácia dokladovmemory · observabilitytimeline · riadky rozhodnutí v ledgeriU3 · panel pevných stavov120 párov · 27 zdrojov · bez aktéraAstra · Jev · rovnaká otázkaE/I · Harbor 0.22aktér Astra · nástroje · opravacesta sudcu · Astra · Jev · Jev-firstrule oraclesprávnosť · doručenie osobitnejev-v3-20260927E2E-DATA · zdrojové · verejné hasheREPRODUCE · model-freeBehové prostredie GEODE · 9e2c041voliteľné posudzovanie · predvolene llmVýskum Jev v3 · Sept 2026mimo behového prostredia · samostatný harness1voľba cesty2 požiadavka · kandidát · pozorovania · konečné rozhodnutie · jedna otázka Choice → SystemOne · jedno volanie · bez fallbacku23 jedno volanie SystemOne · SystemOne · jedno volanie · bez fallbacku → TypeSafe SystemOne34 prijaté Choice · prijatie · tolerancia súčtu 1e-5 → prejde len supported · len text45passed · reflection6riadky rozhodnutí1rovnaká voľba2klasifikácia dokladov3 jedno volanie SystemOne · SystemOne · jedno volanie · bez fallbacku → TypeSafe SystemOne34 klasifikácia · prijatie · tolerancia súčtu 1e-5 → reflexia · klasifikácia dokladov41Posúdenie Jev2Posúdenie Astra3výsledky panelu · správa1generovanie · nástroje · oprava2cesta posudzovania dokončenia3 nezávislá kontrola · E/I · Harbor 0.22 → správnosť · doručenie osobitne34pôvod zlyhaní · opráv5prepočet bez modelu

Behové prostredie · konečné rozhodnutie

Pri zvolenom Jev volá konečné overenie raz Jev s jednou otázkou Choice a prejde len prijaté rozhodnutie supported.

  1. judgment_engine · llm | jevcore/config/judgment.pyvoľba cestykonečné rozhodnutie · jedna otázka Choicecore/agent/verify.py

    Cesta Jev sa používa len vtedy, keď je judgment_engine nastavený na jev (predvolene llm). provider auto zvolí TypeSafe, potom OpenRouter, podľa toho, kde je kľúč; bez kľúča zostáva cesta LLM judge. Nejde o fallback, ktorý by neúspešnú požiadavku opakoval inde.

  2. konečné rozhodnutie · jedna otázka Choicecore/agent/verify.pypožiadavka · kandidát · pozorovaniaSystemOne · jedno volanie · bez fallbackuadapters/typesafe.py

    Pôvodná požiadavka a kandidát sa zamaskujú a obmedzia a potom sa odošlú s pozorovaniami nástrojov ako jedna otázka Choice (supported, contradicted, insufficient_evidence). Posudzovacie volanie nedostáva nástroje (allow_tools=False). Posúdenie, ktoré potrebuje obrázky, sa do Jev neposiela a stáva sa verification_error.

  3. SystemOne · jedno volanie · bez fallbackuadapters/typesafe.pyjedno volanie SystemOneTypeSafe SystemOne

    Jedno volanie, priamo na TypeSafe alebo cez OpenRouter, bez preskoku k inému poskytovateľovi. Jev sa nikdy nepoužíva ako koreňový model na generovanie textu.

  4. prijatie · tolerancia súčtu 1e-5adapters/typesafe.pyprijaté Choiceprejde len supported · len textcore/agent/verify.py

    Odpoveď sa použije až po kontrole prijatia typu, rozsahu a súčtu pravdepodobností (tolerancia 1e-5). Prejde len supported; contradicted a insufficient_evidence sa stávajú signálom na opakovanie s pevnou ďalšou kontrolou. Odpoveď, ktorá nie je end_turn alebo neprejde prijatím, sa stáva verification_error, čo signálom na opakovanie nie je (should_retry=False). Skóre je binárna projekcia, nie kalibrovaná pravdepodobnosť.

  5. prejde len supported · len textcore/agent/verify.pypassed · reflectionPolitika PostVerify · Stoploop/_lifecycle.py

    Rozhodnutie ide do politiky PostVerify a Stop z kapitoly o dokončení. Rozhodnutie je vstupom tejto politiky, nie oprávnením; keď čaká na revíziu, kandidát zostáva len ako pending_text a konečná odpoveď je prázdna, takže sa nič nedoručí.

  6. Politika PostVerify · Stoploop/_lifecycle.pyriadky rozhodnutítimeline · riadky rozhodnutí v ledgerimemory · observability

    Rozhodnutia sa zaznamenávajú do timeline a evidence ledger: záznamy behového prostredia, oddelené od výskumných artefaktov.

Behové prostredie · reflexia

Rovnaká voľba riadi klasifikáciu dokladov v reflexii; vetu o ďalšej kontrole určuje kód.

  1. judgment_engine · llm | jevcore/config/judgment.pyrovnaká voľbareflexia · klasifikácia dokladovloop/_reflection.py

    Rovnaká voľba platí aj pre reflexiu.

  2. reflexia · klasifikácia dokladovloop/_reflection.pyklasifikácia dokladovSystemOne · jedno volanie · bez fallbackuadapters/typesafe.py

    Reflexia používa Jev na klasifikáciu obmedzených dokladov a pripája ďalšiu kontrolu danú kódom. Nemení hypotézy presvedčenia ani sebadôveru.

  3. SystemOne · jedno volanie · bez fallbackuadapters/typesafe.pyjedno volanie SystemOneTypeSafe SystemOne

    Jedno volanie, priamo na TypeSafe alebo cez OpenRouter, bez preskoku k inému poskytovateľovi. Jev sa nikdy nepoužíva ako koreňový model na generovanie textu.

  4. prijatie · tolerancia súčtu 1e-5adapters/typesafe.pyklasifikáciareflexia · klasifikácia dokladovloop/_reflection.py

    Stav reflexie aktualizuje len prijatá klasifikácia; pri zlyhaní ďalšie kolo opakuje pokus z rovnakého predchádzajúceho stavu.

Výskum · pevný panel U3

Bez aktéra sa po pároch porovnávali posúdenia Jev a Astra k rovnakému stavu a otázke.

  1. Astra · Jev · rovnaká otázkaU3 · panel pevných stavovPosúdenie JevTypeSafe SystemOne

    U3 (pôvodný commit experimentu 2f2b494): 120 pevných stavov · 27 zdrojových zhlukov · 240 volaní. Každý stav a otázka išli do Jev a Astra ako jeden pár; bez aktéra, nástrojov a Harbor.

  2. Astra · Jev · rovnaká otázkaU3 · panel pevných stavovPosúdenie AstraSudca Astra · model aktéra

    Správne na rovnakej vzorke: Astra 90/120, Jev 84/120; medián na volanie 10.446 s oproti 0.253 s. Ide len o latenciu posudzovacieho volania, nie o čas úlohy ani úsporu nákladov.

  3. U3 · panel pevných stavovvýsledky panelu · správaVýskumná správa Jev

    Výsledky U3 k presnosti a latencii sú vo verejnej technickej správe. Či je tento panel súčasťou verejného balíka E2E, sa tu netvrdí.

Výskum · behy E/I

S Astra ako aktérom sa menila len cesta posudzovania a nezávislé pravidlové orákulum kontrolovalo výsledky a doručenie osobitne.

  1. aktér Astra · nástroje · opravaE/I · Harbor 0.22generovanie · nástroje · opravaSudca Astra · model aktéra

    V E/I na Harbor 0.22 má aktér Astra na starosti generovanie, volania nástrojov a opravy; mení sa len cesta posudzovania.

  2. cesta sudcu · Astra · Jev · Jev-firstE/I · Harbor 0.22cesta posudzovania dokončeniaTypeSafe SystemOne

    E7 (pôvodný commit experimentu 1f65534): 12 autorských syntetických úloh × 3 konfigurácie × 2 behy = 72 behov, 24/24 na konfiguráciu. Konfigurácia Jev-first mala 0/24 skutočných fallbackov, takže jej efekt sa nezmeral.

  3. E/I · Harbor 0.22nezávislá kontrolasprávnosť · doručenie osobitnerule oracle

    Nezávislé pravidlové orákulum kontroluje konečný výsledok a skutočné konečné doručenie sa počíta osobitne. V 11 pároch post hoc z prerušeného U8n prešiel orákulom každý kandidát, a predsa bolo doručenie Astra 11/11 a Jev Noul 0/11.

  4. E/I · Harbor 0.22pôvod zlyhaní · oprávE2E-DATA · zdrojové · verejné hashejev-v3-20260927

    Verejný balík E2E uchováva pôvod prípravy, zlyhaní a opráv a hashe zdroja a verejnej kópie drží oddelene. Zamaskovaná verejná kópia nenahrádza validáciu nezmeneného zdroja.

  5. REPRODUCE · model-freejev-v3-20260927prepočet bez modeluVýskumná správa Jev

    Prepočet hodnôt z uložených odpovedí a nové spustenie sú rôzne operácie. Správa je verejnou technickou správou, nie recenzovaným článkom.

Každé spojenie s rovnakou váhou. Výber toku zvýrazní len jeho cestu s očíslovanými krokmi.

  • Plná čiara · smer toku požiadaviek, kandidátov a výsledkov
  • Prerušovaná čiara · spustenie, rozhodnutie, autorizácia, konfigurácia
  • Dlhá bodkočiarkovaná · záznamy a pozorovanie, oddelené od rozhodnutia
  • Hrubá čierna čiara · zvolený tok; čísla udávajú poradie
  • Rámček · hranica kódu alebo záznamu, cesta v hlavičke
  • Vnútorný štítok · komponent v tejto hranici
  • Prerušovaný rámček · mimo tejto hranice
  • slučka · vykonávací harness
  • voľba cesty · rozhodnutie · orákulum
  • záznamy · verejný balík
  • prenos · panel posúdení

Horná a dolná časť sú rôzne systémy. Konfigurácie a výsledky výskumu nie sú v dnešnej ceste behového prostredia zapnuté celé; jediným spoločným spojivom je, že obe volajú ten istý model Jev (jev-1.13.0).

Prijatie v behovom prostredí
Behové prostredie drží prísnu toleranciu súčtu pravdepodobností 1e-5. Volajúci na strane evaluácie odovzdávajú vlastnú zaznamenanú toleranciu namiesto toho, aby uvoľňovali parser behového prostredia.
Rozsah výskumu
U3 meria len posudzovacie volania; E/I zahŕňa aktéra a opravu. Ich menovatele sa nikdy nemiešajú a 11 párov U8n je analýza post hoc prerušenej štúdie.

Tri kontrakty rozhodnutí

Choice

Vracia
Pravdepodobnosť pre každú kategóriu alebo možnosť
Rozhoduje
Dokončenie; zámer a cieľ požiadavky

Noul

Vracia
P(true) pre každú podmienku
Rozhoduje
Rozpor; chýbajúce doklady

Score

Vracia
Očakávanú hodnotu a rozdelenie na pevnej ordinálnej škále
Rozhoduje
Poradie vygenerovaných kandidátov

Očakávaná hodnota umiestňuje kandidáta na škále; nepoužíva sa ako miera istoty.

Evaluácia a zapojenie

Každý kontrakt sa hodnotil na vlastnom pevnom paneli vstupov a niektoré sa zapojili do vykonávacej cesty experimentálneho harnessu, aby sa ukázalo, ako vykonávací agent rozhodnutie využíva. Na mape vyššie ukazuje výskumná časť tieto behy; časť behového prostredia je voliteľná cesta v dnešnom GEODE.

Pozorovania, ktoré zmenili návrh

  1. I5 → I6 · kontrakt vstupu
    1. Dohľadanie spoločného zlyhania doručenia ukázalo, že vstupu posúdenia chýbal kontrakt úlohy a pozorovania nástrojov z tej istej požiadavky boli opísané ako minulý kontext
    2. I6 doručil 6/6 v samostatnom behu s upraveným kódom a novým účtom
  2. U3 · rovnakých 120 párov stavov
    1. Medián na volanie Astra 10.446 s · Jev 0.253 s; správne na rovnakej vzorke 90/120 · 84/120
    2. Rýchlosť a presnosť sa pri každom rozhodnutí vážia spoločne, aby sa určil rozsah delegovania
  3. U2 · pravdepodobnosti
    1. Pravdepodobnosti Jev boli lepšie kalibrované čo do veľkosti, ale Astra spoľahlivejšie radil svoje chybné posudky dopredu
    2. Kalibrácia a výber chýb sa merajú osobitne a prah sa zmrazí na rozdelení selection
  4. U6a · zámer a cieľ
    1. Na 40 rodinách pripravených autorom návrhu Jev 216/220 · Astra 220/220, v rámci predregistrovanej marže −5 pp
    2. Pevná klasifikácia zámeru a cieľa zúžená ako ďalší kandidát na nasadenie
  5. U8n · doručenie
    1. 11 párov post hoc z prerušeného behu: opravení kandidáti prešli orákulom v oboch ramenách; doručenie Astra 11/11 · Jev Noul 0/11
    2. Posudky o chýbajúcich dokladoch blokovali správne doručenie; súčasná konfigurácia Noul nemá podklady, aby slúžila ako jediný sudca doručenia