HU
Geodi, a GEODE hivatalos pixelfigurája
Vissza a terembe

GEODE

Autonomous Agent Harness

A megfigyeléstől a következő műveletig.

Helyi autonómágens-keretrendszer, amelyre kutatás, fájlműveletek és ütemezett feladatok bízhatók.

2026.02.21 — present

Tervezés, megítélés, ellenőrzés: Author · megvalósítás: Claude · felülvizsgálat: Codex

  • CLIKözzétéve · PyPI
  • MCP-szerverMegvalósítva

Decision Offloading w. Jev

Az ágens által feladat közben hozott köztes döntések közül melyik bízható a Jev-re, egy csak döntésekre szolgáló modellre? Ez a kutatás azt vizsgálja, megmarad-e a függetlenül ellenőrzött feladatminőség, ha átadják őket, beleszámítva az előkészítést, az ismételt megítéléseket, a javítást és a végső leszállítást. A korai pilotokat nem lehetett pusztán a megítélési hívás cseréjével megmagyarázni, ezért a bemeneti szerződés, a döntési szerződés, a valószínűségi szabályzat és a végrehajtó ágens általi felhasználás külön kísérletekbe került.

Jev-térkép · futtatókörnyezet a rögzített 9e2c041 commitból, kutatás a 2026. szeptemberi feljegyzésekből
Jev megítélési útvonalak: futtatókörnyezeti integráció és kutatásA felső rész a mai GEODE futtatókörnyezet opcionális megítélési útvonala. A végső ellenőrzés és a reflexió csak akkor hívja egyszer a TypeSafe SystemOne-on futó Jev-et, ha a judgment_engine értéke jev, és a válasz csak típus-, tartomány- és valószínűségösszeg-befogadás után használható. A végső ellenőrzésen csak a supported megy át, és az eredmény a befejezési fejezet PostVerify és Stop szabályzatához kerül. Az alsó rész a futtatókörnyezeten kívüli Jev v3 kutatás: egy rögzített állapotú panel (U3) az Astra és a Jev megítéléseit hasonlította össze, a Harbor 0.22 E/I futtatásai csak a megítélési útvonalat változtatták, és független szabályorákulummal külön ellenőrizték az eredményeket és a leszállítást, a nyilvános csomag pedig külön kezeli a forrás- és a nyilvános hasheket, és modell nélküli újraszámítást kínál.TypeSafe SystemOnejev-1.13.0 · csak megítélésAstra-bíráló · aktormodellgpt-6-astra/xhigh · előfizetésJev-kutatási jelentésnyilvános műszaki jelentéscore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPostVerify · Stop szabályzatcore/agent/verify.pyvégső ítélet · egy Choice-kérdéscsak a supported megy át · csak szövegadapters/typesafe.pySystemOne · egy hívás · fallback nélkülbefogadás · összegtűrés 1e-5loop/_reflection.pyreflexió · bizonyítékbesorolásmemory · observabilityidővonal · nyilvántartási döntéssorokU3 · rögzített állapotú panel120 pár · 27 forrás · aktor nélkülAstra · Jev · ugyanaz a kérdésE/I · Harbor 0.22Astra aktor · eszközök · javításbírálói útvonal · Astra · Jev · Jev-firstrule oraclehelyesség · leszállítás különjev-v3-20260927E2E-DATA · forrás · nyilvános hashekREPRODUCE · model-freeGEODE futtatókörnyezet · 9e2c041opcionális megítélés · alapértelmezés llmJev v3 kutatás · 2026. szept.a futtatókörnyezeten kívül · külön keretrendszer1az útvonal kiválasztása2 kérés · jelölt · megfigyelések · végső ítélet · egy Choice-kérdés → SystemOne · egy hívás · fallback nélkül23 egy SystemOne-hívás · SystemOne · egy hívás · fallback nélkül → TypeSafe SystemOne34 befogadott Choice · befogadás · összegtűrés 1e-5 → csak a supported megy át · csak szöveg45passed · reflection6ítéletsorok1ugyanaz a választás2bizonyíték besorolása3 egy SystemOne-hívás · SystemOne · egy hívás · fallback nélkül → TypeSafe SystemOne34 besorolás · befogadás · összegtűrés 1e-5 → reflexió · bizonyítékbesorolás41Jev-megítélés2Astra-megítélés3paneleredmények · jelentés1generálás · eszközök · javítás2befejezésmegítélési útvonal3 független ellenőrzés · E/I · Harbor 0.22 → helyesség · leszállítás külön34hiba · javítási leszármazás5modell nélküli újraszámítás

Futtatókörnyezet · végső ítélet

Kiválasztott Jev esetén a végső ellenőrzés egyszer hívja a Jev-et egyetlen Choice-kérdéssel, és csak a befogadott supported ítélet megy át.

  1. judgment_engine · llm | jevcore/config/judgment.pyaz útvonal kiválasztásavégső ítélet · egy Choice-kérdéscore/agent/verify.py

    A Jev-útvonal csak akkor használatos, ha a judgment_engine értéke jev (alapértelmezés llm). A provider auto előbb a TypeSafe-et, aztán az OpenRoutert választja, amelyiknek van kulcsa; kulcs nélkül az LLM-bíráló útvonal marad. Ez nem olyan fallback, amely egy sikertelen kérést máshol próbál újra.

  2. végső ítélet · egy Choice-kérdéscore/agent/verify.pykérés · jelölt · megfigyelésekSystemOne · egy hívás · fallback nélküladapters/typesafe.py

    Az eredeti kérés és a jelölt kitakarva és korlátozott hosszal, az eszközmegfigyelésekkel együtt egyetlen Choice-kérdésként megy tovább (supported, contradicted, insufficient_evidence). A megítélési hívás nem kap eszközöket (allow_tools=False). A képeket igénylő megítélés nem kerül a Jev-hez, hanem verification_error lesz.

  3. SystemOne · egy hívás · fallback nélküladapters/typesafe.pyegy SystemOne-hívásTypeSafe SystemOne

    Egyetlen hívás, közvetlenül a TypeSafe-hez vagy az OpenRouteren át, más szolgáltatóra ugrás nélkül. A Jev soha nem szolgál gyökérszintű szöveggeneráló modellként.

  4. befogadás · összegtűrés 1e-5adapters/typesafe.pybefogadott Choicecsak a supported megy át · csak szövegcore/agent/verify.py

    A válasz csak típus-, tartomány- és valószínűségösszeg-befogadás (tűrés 1e-5) után használható. Csak a supported megy át; a contradicted és az insufficient_evidence rögzített következő ellenőrzéssel járó újrapróbálási jelzés lesz. A nem end_turn válasz vagy a befogadáson elbukó válasz verification_error, amely nem újrapróbálási jelzés (should_retry=False). A pontszám bináris vetítés, nem kalibrált valószínűség.

  5. csak a supported megy át · csak szövegcore/agent/verify.pypassed · reflectionPostVerify · Stop szabályzatloop/_lifecycle.py

    Az ítélet a befejezési fejezet PostVerify és Stop szabályzatához kerül. Az ítélet e szabályzat bemenete, nem jogosultság; ha felülvizsgálatra vár, a jelölt csak pending_text formában marad meg, a végső válasz üres, így semmi nem kerül leszállításra.

  6. PostVerify · Stop szabályzatloop/_lifecycle.pyítéletsorokidővonal · nyilvántartási döntéssorokmemory · observability

    Az ítéletdöntések az idővonalon és a bizonyíték-nyilvántartásban rögzülnek: futtatókörnyezeti feljegyzések, a kutatási artefaktumoktól elkülönítve.

Futtatókörnyezet · reflexió

Ugyanez a választás vezérli a reflexió bizonyítékbesorolását; a következő ellenőrzés mondatát a kód határozza meg.

  1. judgment_engine · llm | jevcore/config/judgment.pyugyanaz a választásreflexió · bizonyítékbesorolásloop/_reflection.py

    Ugyanez a választás érvényes a reflexióra is.

  2. reflexió · bizonyítékbesorolásloop/_reflection.pybizonyíték besorolásaSystemOne · egy hívás · fallback nélküladapters/typesafe.py

    A reflexió a Jev-vel sorolja be a korlátozott bizonyítékokat, és egy kód által meghatározott következő ellenőrzést fűz hozzá. A hiedelemhipotéziseket és az önbizalmat nem változtatja meg.

  3. SystemOne · egy hívás · fallback nélküladapters/typesafe.pyegy SystemOne-hívásTypeSafe SystemOne

    Egyetlen hívás, közvetlenül a TypeSafe-hez vagy az OpenRouteren át, más szolgáltatóra ugrás nélkül. A Jev soha nem szolgál gyökérszintű szöveggeneráló modellként.

  4. befogadás · összegtűrés 1e-5adapters/typesafe.pybesorolásreflexió · bizonyítékbesorolásloop/_reflection.py

    Csak a befogadott besorolás frissíti a reflexiós állapotot; hiba esetén a következő kör ugyanabból a korábbi állapotból próbálkozik újra.

Kutatás · U3 rögzített panel

Aktor nélkül, ugyanarra az állapotra és kérdésre adott Jev- és Astra-megítéléseket hasonlítottak össze párokban.

  1. Astra · Jev · ugyanaz a kérdésU3 · rögzített állapotú panelJev-megítélésTypeSafe SystemOne

    U3 (eredeti kísérleti commit: 2f2b494): 120 rögzített állapot · 27 forrásklaszter · 240 hívás. Minden állapot és kérdés egy párként ment a Jev-hez és az Astrához; aktor, eszközök és Harbor nélkül.

  2. Astra · Jev · ugyanaz a kérdésU3 · rögzített állapotú panelAstra-megítélésAstra-bíráló · aktormodell

    Helyes válasz ugyanazon a mintán: Astra 90/120, Jev 84/120; hívásonkénti medián 10.446 s, illetve 0.253 s. Ez csak a megítélési hívás késleltetése, nem feladatidő vagy költségmegtakarítás.

  3. U3 · rögzített állapotú panelpaneleredmények · jelentésJev-kutatási jelentés

    Az U3 pontossági és késleltetési eredményei a nyilvános műszaki jelentésben szerepelnek. Azt, hogy ez a panel része-e az E2E nyilvános csomagnak, ez az oldal nem állítja.

Kutatás · E/I futtatások

Az Astrával mint aktorral csak a megítélési útvonal változott, és egy független szabályorákulum külön ellenőrizte az eredményeket és a leszállítást.

  1. Astra aktor · eszközök · javításE/I · Harbor 0.22generálás · eszközök · javításAstra-bíráló · aktormodell

    A Harbor 0.22-n futó E/I-ben az Astra aktor végzi a generálást, az eszközhívásokat és a javítást; csak a megítélési útvonal változik.

  2. bírálói útvonal · Astra · Jev · Jev-firstE/I · Harbor 0.22befejezésmegítélési útvonalTypeSafe SystemOne

    E7 (eredeti kísérleti commit: 1f65534): 12 saját készítésű szintetikus feladat × 3 konfiguráció × 2 futtatás = 72 futtatás, konfigurációnként 24/24. A Jev-first konfigurációban 0/24 tényleges fallback történt, így hatása nem mérhető.

  3. E/I · Harbor 0.22független ellenőrzéshelyesség · leszállítás különrule oracle

    Egy független szabályorákulum ellenőrzi a végeredményt, a tényleges végső leszállítást pedig külön számolják. A megszakított U8n 11 utólagos párjában minden jelölt átment az orákulumon, a leszállítás mégis Astra 11/11, Jev Noul 0/11 volt.

  4. E/I · Harbor 0.22hiba · javítási leszármazásE2E-DATA · forrás · nyilvános hashekjev-v3-20260927

    Az E2E nyilvános csomag megőrzi az előkészítési, hiba- és javítási leszármazást, a forrás- és a nyilvános másolati hasheket külön tartva. Egy kitakart nyilvános másolat nem helyettesíti a változatlan forrás ellenőrzését.

  5. REPRODUCE · model-freejev-v3-20260927modell nélküli újraszámításJev-kutatási jelentés

    Az eredmények tárolt válaszokból való újraszámítása és az újbóli futtatás különböző műveletek. A jelentés nyilvános műszaki jelentés, nem lektorált tanulmány.

Minden kapcsolat azonos vastagsággal. Válasszon egy folyamatot, hogy csak annak útvonala emelődjön ki, számozott lépésekkel.

  • Folytonos · a kérések, jelöltek és eredmények áramlási iránya
  • Szaggatott · futtatás, döntés, engedélyezés, konfigurálás
  • Hosszú pontvonalas · feljegyzések és megfigyelés, az ítélettől elkülönítve
  • Vastag fekete vonal · a kiválasztott folyamat; a számok a sorrendet jelzik
  • Doboz · kód- vagy feljegyzéshatár, fejlécében az útvonallal
  • Belső chip · komponens a határon belül
  • Szaggatott doboz · a határon kívül
  • ciklus · végrehajtási keretrendszer
  • útvonalválasztás · ítélet · orákulum
  • feljegyzések · nyilvános csomag
  • átvitel · megítélési panel

A felső és az alsó rész különböző rendszerek. A kutatási konfigurációk és eredmények nincsenek mind bekapcsolva a mai futtatókörnyezeti útvonalon; az egyetlen közös kapcsolat, hogy mindkettő ugyanazt a Jev-modellt (jev-1.13.0) hívja.

Futtatókörnyezeti befogadás
A futtatókörnyezet szigorúan 1e-5-ön tartja a valószínűségösszeg-tűrést. A kiértékelési hívók saját rögzített tűrésüket adják át ahelyett, hogy lazítanák a futtatókörnyezet elemzőjét.
A kutatás hatóköre
Az U3 csak a megítélési hívásokat méri; az E/I az aktort és a javítást is tartalmazza. Nevezőik soha nem keverednek, és az U8n 11 párja egy megszakított vizsgálat utólagos elemzése.

Három döntési szerződés

Choice

Visszaad
Valószínűség kategóriánként vagy opciónként
Dönt
Befejezés; egy kérés szándéka és célpontja

Noul

Visszaad
P(true) minden feltételre
Dönt
Ellentmondás; hiányzó bizonyíték

Score

Visszaad
Várható érték és eloszlás egy rögzített rendezett skálán
Dönt
A generált jelöltek rangsorolása

A várható érték a jelöltet a skálán helyezi el; nem magabiztossági értékként használják.

Kiértékelés és bekötés

Minden szerződést saját rögzített bemeneti paneljén értékeltek, és némelyiket bekötötték a kísérleti keretrendszer végrehajtási útvonalába, hogy kiderüljön, hogyan használja fel a végrehajtó ágens a megítélést. A fenti térképen a kutatási rész mutatja ezeket a futtatásokat; a futtatókörnyezeti rész a mai GEODE opcionális útvonala.

A tervezést megváltoztató megfigyelések

  1. I5 → I6 · bemeneti szerződés
    1. Egy közös leszállítási hiba nyomon követése megmutatta, hogy a megítélési bemenetből hiányzott a feladatszerződés, és az azonos kérésbeli eszközmegfigyeléseket múltbeli kontextusként írta le
    2. Az I6 6/6-ot szállított le egy külön futtatásban, javított kóddal és új fiókkal
  2. U3 · ugyanaz a 120 állapotpár
    1. Hívásonkénti medián: Astra 10.446 s · Jev 0.253 s; helyes ugyanazon a mintán: 90/120 · 84/120
    2. A sebességet és a pontosságot döntésenként együtt mérlegelik a delegálási hatókör kijelöléséhez
  3. U2 · valószínűségek
    1. A Jev valószínűségei méretükben jobban kalibráltak voltak, de az Astra megbízhatóbban sorolta előre a hibás megítéléseit
    2. A kalibrációt és a hibakiválasztást külön mérik, a küszöböt pedig a kiválasztási felosztáson rögzítik
  4. U6a · szándék és célpont
    1. 40 tervező által írt családon Jev 216/220 · Astra 220/220, teljesítve az előre regisztrált −5 pp-s határt
    2. A rögzített szándék- és célpontbesorolás lett a következő alkalmazási jelölt
  5. U8n · leszállítás
    1. Utólagos 11 pár egy megszakított futtatásból: a javított jelöltek mindkét karban átmentek az orákulumon; leszállítás Astra 11/11 · Jev Noul 0/11
    2. A hiányzó bizonyítékra hivatkozó megítélések blokkolták a helyes leszállítást; a jelenlegi Noul-beállítás nem elég megalapozott ahhoz, hogy egyedüli leszállítási bíráló legyen