LT
Geodi, oficialus GEODE pikselinis personažas
Atgal į salę

GEODE

Autonomous Agent Harness

Nuo stebėjimo iki kito veiksmo.

Vietinis autonominio agento karkasas, kuriam galima patikėti tyrimus, darbą su failais ir suplanuotas užduotis.

2026.02.21 — present

Projektavimas, sprendimai, verifikacija: Author · įgyvendinimas: Claude · peržiūra: Codex

  • CLIPaskelbta · PyPI
  • MCP serverisĮgyvendinta

Decision Offloading w. Jev

Kuriuos tarpinius sprendimus, kuriuos agentas priima užduoties viduryje, galima perduoti Jev – modeliui, skirtam tik sprendimams? Šis tyrimas tikrina, ar nepriklausomai patikrinta užduočių kokybė išlieka juos perdavus, įskaitant parengimą, pakartotinius sprendimus, taisymą ir galutinį pateikimą. Ankstyvųjų bandomųjų tyrimų nepavyko paaiškinti vien sprendimo iškvietimo pakeitimu, todėl įvesties sutartis, sprendimo sutartis, tikimybių politika ir vykdymo agento sprendimo panaudojimas atskirti į atskirus eksperimentus.

Jev žemėlapis · vykdymo aplinka pagal užfiksuotą komitą 9e2c041, tyrimas pagal September 2026 įrašus
Jev sprendimų keliai: integracija į vykdymo aplinką ir tyrimasViršutinė dalis yra pasirenkamas sprendimų kelias dabartinėje GEODE vykdymo aplinkoje. Tik kai judgment_engine nustatytas į jev, galutinė verifikacija ir refleksija vieną kartą kviečia Jev per TypeSafe SystemOne, o atsakymas naudojamas tik po priėmimo patikros pagal tipą, intervalą ir tikimybių sumą. Galutinę verifikaciją praeina tik supported, o rezultatas keliauja į skyriaus „Užbaigimas“ PostVerify ir Stop politiką. Apatinė dalis yra Jev v3 tyrimas už vykdymo aplinkos ribų: fiksuotų būsenų rinkinyje (U3) lyginti Astra ir Jev sprendimai, E/I paleidimai su Harbor 0.22 keitė tik sprendimo maršrutą ir nepriklausomu taisyklių orakulu atskirai tikrino rezultatus ir pateikimą, o viešas paketas laiko šaltinio ir viešos kopijos maišas atskirai ir siūlo perskaičiavimą be modelio.TypeSafe SystemOnejev-1.13.0 · tik sprendimaiAstra: teisėjas · actor modelisgpt-6-astra/xhigh · prenumerataJev tyrimo ataskaitavieša techninė ataskaitacore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPostVerify · Stop politikacore/agent/verify.pygalutinis verdiktas · vienas Choice klausimaspraeina tik supported · tik tekstasadapters/typesafe.pySystemOne · vienas iškvietimas · be fallbackpriėmimas · sumos paklaida 1e-5loop/_reflection.pyrefleksija · įrodymų klasifikavimasmemory · observabilitytimeline · ledger sprendimų eilutėsU3 · fiksuotų būsenų rinkinys120 porų · 27 šaltiniai · be actorAstra · Jev · tas pats klausimasE/I · Harbor 0.22Astra kaip actor · įrankiai · taisymasteisėjo maršrutas · Astra · Jev · Jev-firstrule oracleteisingumas · pateikimas atskiraijev-v3-20260927E2E-DATA · šaltinio ir viešos maišosREPRODUCE · model-freeGEODE vykdymo aplinka · 9e2c041pasirenkamas sprendimas · numatytasis llmJev v3 tyrimas · September 2026už vykdymo aplinkos ribų · atskiras karkasas1pasirinkti maršrutą2 užklausa · kandidatas · stebėjimai · galutinis verdiktas · vienas Choice klausimas → SystemOne · vienas iškvietimas · be fallback23 vienas SystemOne iškvietimas · SystemOne · vienas iškvietimas · be fallback → TypeSafe SystemOne34 priimtas Choice · priėmimas · sumos paklaida 1e-5 → praeina tik supported · tik tekstas45passed · reflection6verdiktų eilutės1tas pats pasirinkimas2klasifikuoti įrodymus3 vienas SystemOne iškvietimas · SystemOne · vienas iškvietimas · be fallback → TypeSafe SystemOne34 klasifikacija · priėmimas · sumos paklaida 1e-5 → refleksija · įrodymų klasifikavimas41Jev sprendimas2Astra sprendimas3rinkinio rezultatai · ataskaita1generavimas · įrankiai · taisymas2užbaigimo sprendimo maršrutas3 nepriklausoma patikra · E/I · Harbor 0.22 → teisingumas · pateikimas atskirai34nesėkmė · taisymų kilmė5perskaičiavimas be modelio

Vykdymo aplinka · galutinis verdiktas

Pasirinkus Jev, galutinė verifikacija vieną kartą kviečia Jev su vienu Choice klausimu, ir praeina tik priimtas supported verdiktas.

  1. judgment_engine · llm | jevcore/config/judgment.pypasirinkti maršrutągalutinis verdiktas · vienas Choice klausimascore/agent/verify.py

    Jev maršrutas naudojamas tik tada, kai judgment_engine nustatytas į jev (numatytasis llm). provider auto renkasi TypeSafe, tada OpenRouter – tą, kuriam yra raktas; be rakto lieka LLM judge maršrutas. Tai nėra fallback, kuris nepavykusią užklausą kartotų kitur.

  2. galutinis verdiktas · vienas Choice klausimascore/agent/verify.pyužklausa · kandidatas · stebėjimaiSystemOne · vienas iškvietimas · be fallbackadapters/typesafe.py

    Originali užklausa ir kandidatas išvalomi nuo jautrių duomenų ir apribojami ilgiu, tada siunčiami kartu su įrankių stebėjimais kaip vienas Choice klausimas (supported, contradicted, insufficient_evidence). Sprendimo iškvietimas negauna įrankių (allow_tools=False). Sprendimas, kuriam reikia vaizdų, Jev nesiunčiamas ir tampa verification_error.

  3. SystemOne · vienas iškvietimas · be fallbackadapters/typesafe.pyvienas SystemOne iškvietimasTypeSafe SystemOne

    Vienas iškvietimas – tiesiogiai į TypeSafe arba per OpenRouter, be perėjimo pas kitą tiekėją. Jev niekada nenaudojamas kaip pagrindinis teksto generavimo modelis.

  4. priėmimas · sumos paklaida 1e-5adapters/typesafe.pypriimtas Choicepraeina tik supported · tik tekstascore/agent/verify.py

    Atsakymas naudojamas tik po priėmimo patikros pagal tipą, intervalą ir tikimybių sumą (paklaida 1e-5). Praeina tik supported; contradicted ir insufficient_evidence tampa pakartojimo signalu su fiksuota kita patikra. Atsakymas, kuris nėra end_turn arba neišlaiko priėmimo patikros, tampa verification_error, o tai nėra pakartojimo signalas (should_retry=False). Balas yra dvejetainė projekcija, o ne kalibruota tikimybė.

  5. praeina tik supported · tik tekstascore/agent/verify.pypassed · reflectionPostVerify · Stop politikaloop/_lifecycle.py

    Verdiktas keliauja į skyriaus „Užbaigimas“ PostVerify ir Stop politiką. Verdiktas yra tos politikos įvestis, o ne įgaliojimas; kai laukiama peržiūros, kandidatas lieka tik kaip pending_text, o galutinis atsakymas tuščias, todėl nieko nepateikiama.

  6. PostVerify · Stop politikaloop/_lifecycle.pyverdiktų eilutėstimeline · ledger sprendimų eilutėsmemory · observability

    Verdiktų sprendimai įrašomi į timeline ir evidence ledger: tai vykdymo aplinkos įrašai, atskirti nuo tyrimo artefaktų.

Vykdymo aplinka · refleksija

Tas pats pasirinkimas valdo refleksijos įrodymų klasifikavimą; kitos patikros sakinį nustato kodas.

  1. judgment_engine · llm | jevcore/config/judgment.pytas pats pasirinkimasrefleksija · įrodymų klasifikavimasloop/_reflection.py

    Tas pats pasirinkimas taikomas refleksijai.

  2. refleksija · įrodymų klasifikavimasloop/_reflection.pyklasifikuoti įrodymusSystemOne · vienas iškvietimas · be fallbackadapters/typesafe.py

    Refleksija naudoja Jev ribotiems įrodymams klasifikuoti ir prideda kodo nustatytą kitą patikrą. Ji nekeičia įsitikinimų hipotezių ar pasitikėjimo savimi.

  3. SystemOne · vienas iškvietimas · be fallbackadapters/typesafe.pyvienas SystemOne iškvietimasTypeSafe SystemOne

    Vienas iškvietimas – tiesiogiai į TypeSafe arba per OpenRouter, be perėjimo pas kitą tiekėją. Jev niekada nenaudojamas kaip pagrindinis teksto generavimo modelis.

  4. priėmimas · sumos paklaida 1e-5adapters/typesafe.pyklasifikacijarefleksija · įrodymų klasifikavimasloop/_reflection.py

    Tik priimta klasifikacija atnaujina refleksijos būseną; nepavykus kitas raundas bando iš naujo nuo tos pačios ankstesnės būsenos.

Tyrimas · fiksuotas rinkinys U3

Be actor Jev ir Astra sprendimai dėl tos pačios būsenos ir klausimo lyginti poromis.

  1. Astra · Jev · tas pats klausimasU3 · fiksuotų būsenų rinkinysJev sprendimasTypeSafe SystemOne

    U3 (originalaus eksperimento komitas 2f2b494): 120 fiksuotų būsenų · 27 šaltinių klasteriai · 240 iškvietimų. Kiekviena būsena ir klausimas siųsti Jev ir Astra viena pora; be actor, įrankių ir Harbor.

  2. Astra · Jev · tas pats klausimasU3 · fiksuotų būsenų rinkinysAstra sprendimasAstra: teisėjas · actor modelis

    Teisingai su ta pačia imtimi: Astra 90/120, Jev 84/120; mediana vienam iškvietimui 10.446 s ir 0.253 s. Tai tik sprendimo iškvietimo delsa, o ne užduoties trukmė ar sąnaudų sutaupymas.

  3. U3 · fiksuotų būsenų rinkinysrinkinio rezultatai · ataskaitaJev tyrimo ataskaita

    U3 tikslumo ir delsos rezultatai pateikti viešoje techninėje ataskaitoje. Ar šis rinkinys yra E2E viešo paketo dalis, čia neteigiama.

Tyrimas · E/I paleidimai

Su Astra kaip actor keistas tik sprendimo maršrutas, o nepriklausomas taisyklių orakulas atskirai tikrino rezultatus ir pateikimą.

  1. Astra kaip actor · įrankiai · taisymasE/I · Harbor 0.22generavimas · įrankiai · taisymasAstra: teisėjas · actor modelis

    E/I su Harbor 0.22 actor Astra atsako už generavimą, įrankių iškvietimus ir taisymą; keičiasi tik sprendimo maršrutas.

  2. teisėjo maršrutas · Astra · Jev · Jev-firstE/I · Harbor 0.22užbaigimo sprendimo maršrutasTypeSafe SystemOne

    E7 (originalaus eksperimento komitas 1f65534): 12 autorinių sintetinių užduočių × 3 konfigūracijos × 2 paleidimai = 72 paleidimai, 24/24 kiekvienai konfigūracijai. Jev-first konfigūracija turėjo 0/24 faktinių fallback, todėl jos poveikis neišmatuotas.

  3. E/I · Harbor 0.22nepriklausoma patikrateisingumas · pateikimas atskirairule oracle

    Nepriklausomas taisyklių orakulas tikrina galutinį rezultatą, o faktinis galutinis pateikimas skaičiuojamas atskirai. Nutraukto U8n 11 post factum porų kiekvienas kandidatas praėjo orakulą, tačiau pateikimas buvo Astra 11/11 ir Jev Noul 0/11.

  4. E/I · Harbor 0.22nesėkmė · taisymų kilmėE2E-DATA · šaltinio ir viešos maišosjev-v3-20260927

    E2E viešas paketas išsaugo parengimo, nesėkmių ir taisymų kilmės grandines, o šaltinio ir viešos kopijos maišas laiko atskirai. Išvalyta vieša kopija nepakeičia nepakeisto šaltinio validacijos.

  5. REPRODUCE · model-freejev-v3-20260927perskaičiavimas be modelioJev tyrimo ataskaita

    Skaičių perskaičiavimas iš išsaugotų atsakymų ir naujas paleidimas yra skirtingos operacijos. Ataskaita yra vieša techninė ataskaita, o ne recenzuotas straipsnis.

Visi ryšiai vienodo storio. Pasirinkite srautą, kad būtų paryškintas tik jo kelias su sunumeruotais žingsniais.

  • Ištisinė · kryptis, kuria keliauja užklausos, kandidatai ir rezultatai
  • Brūkšninė · paleisti, nuspręsti, įgalioti, konfigūruoti
  • Ilga brūkšninė-taškinė · įrašai ir stebėjimas, atskirai nuo verdikto
  • Stora juoda linija · pasirinktas srautas; skaičiai rodo tvarką
  • Rėmelis · kodo ar įrašų riba, kelias antraštėje
  • Vidinė plokštelė · komponentas toje riboje
  • Brūkšninis rėmelis · už tos ribos
  • ciklas · vykdymo karkasas
  • maršruto pasirinkimas · verdiktas · orakulas
  • įrašai · viešas paketas
  • transportas · sprendimų rinkinys

Viršutinė ir apatinė dalys yra skirtingos sistemos. Ne visos tyrimo konfigūracijos ir rezultatai įjungti dabartiniame vykdymo aplinkos kelyje; vienintelė bendra jungtis – abi kviečia tą patį Jev modelį (jev-1.13.0).

Priėmimas vykdymo aplinkoje
Vykdymo aplinka griežtai laikosi 1e-5 tikimybių sumos paklaidos. Vertinimo kvietėjai perduoda savo užfiksuotą paklaidą, užuot laisvinę vykdymo aplinkos analizatorių.
Tyrimo apimtis
U3 matuoja tik sprendimų iškvietimus; E/I apima actor ir taisymą. Jų vardikliai niekada nemaišomi, o U8n 11 porų yra nutraukto tyrimo post factum analizė.

Trys sprendimų sutartys

Choice

Grąžina
Tikimybę kiekvienai kategorijai ar parinkčiai
Nusprendžia
Užbaigimą; užklausos ketinimą ir taikinį

Noul

Grąžina
P(true) kiekvienai sąlygai
Nusprendžia
Prieštaravimą; įrodymų trūkumą

Score

Grąžina
Tikėtiną reikšmę ir skirstinį fiksuotoje rangų skalėje
Nusprendžia
Sugeneruotų kandidatų reitingą

Tikėtina reikšmė nustato kandidato vietą skalėje; kaip pasitikėjimas ji nenaudojama.

Vertinimas ir prijungimas

Kiekviena sutartis vertinta su savo fiksuotu įvesčių rinkiniu, o kai kurios prijungtos prie eksperimentinio karkaso vykdymo kelio, kad būtų matyti, kaip vykdymo agentas naudoja sprendimą. Žemėlapyje aukščiau tyrimo dalis rodo tuos paleidimus; vykdymo aplinkos dalis yra pasirenkamas kelias dabartiniame GEODE.

Stebėjimai, pakeitę dizainą

  1. I5 → I6 · įvesties sutartis
    1. Bendros pateikimo nesėkmės atsekimas parodė, kad sprendimo įvestyje trūko užduoties sutarties, o tos pačios užklausos įrankių stebėjimai buvo aprašyti kaip praeities kontekstas
    2. I6 pateikė 6/6 atskirame paleidime su pataisytu kodu ir nauja paskyra
  2. U3 · tos pačios 120 būsenų porų
    1. Mediana vienam iškvietimui Astra 10.446 s · Jev 0.253 s; teisingai su ta pačia imtimi 90/120 · 84/120
    2. Greitis ir tikslumas kiekvienam sprendimui vertinami kartu, kad būtų nustatyta delegavimo apimtis
  3. U2 · tikimybės
    1. Jev tikimybės buvo geriau kalibruotos pagal dydį, bet Astra patikimiau iškeldavo savo klaidingus sprendimus į priekį
    2. Kalibravimas ir klaidų atranka matuojami atskirai, o slenkstis užšaldomas selection skaidinyje
  4. U6a · ketinimas ir taikinys
    1. 40 dizainerio parašytų šeimų: Jev 216/220 · Astra 220/220, atitinka iš anksto užregistruotą −5 pp atsargą
    2. Fiksuota ketinimo ir taikinio klasifikacija susiaurinta kaip kitas taikymo kandidatas
  5. U8n · pateikimas
    1. 11 post factum porų iš nutraukto paleidimo: pataisyti kandidatai abiejose šakose praėjo orakulą; pateikimas Astra 11/11 · Jev Noul 0/11
    2. Įrodymų trūkumo sprendimai blokavo teisingą pateikimą; dabartinė Noul sąranka neturi pagrindo būti vieninteliu pateikimo teisėju