GEODE
Autonomous Agent Harness
Vaatlusest järgmise tegevuseni.
Kohalik autonoomse agendi rakis, millele saab anda uurimistööd, failitöid ja ajastatud ülesandeid.
Decision Offloading w. Jev
Milliseid vaheotsuseid, mida agent ülesande keskel teeb, saab anda Jevile, ainult otsustamiseks mõeldud mudelile? Uuring kontrollib, kas sõltumatult verifitseeritud ülesande kvaliteet püsib, kui need on üle antud, arvestades ettevalmistust, korduvaid hinnanguid, parandust ja lõplikku üleandmist. Varaseid piloote ei saanud seletada ainult hinnangukutse vahetamisega, seega eraldati sisendileping, otsuseleping, tõenäosuspoliitika ja täitva agendi viis hinnangut kasutada omaette katseteks.
Käituskeskkond · lõplik verdikt
Kui Jev on valitud, kutsub lõplik verifitseerimine Jevi üks kord ühe Choice'i küsimusega ja läbib ainult vastu võetud supported-verdikt.
judgment_engine · llm | jev
core/config/judgment.pykäivitamine · otsustamine: tee valiklõplik verdikt · üks Choice'i küsimuscore/agent/verify.pyJevi teed kasutatakse ainult siis, kui judgment_engine on seatud väärtusele jev (vaikimisi llm). provider auto valib TypeSafe'i, seejärel OpenRouteri, olenevalt sellest, kummal on võti; võtmeta jääb kehtima LLM-kohtuniku tee. See ei ole varulahendus, mis proovib ebaõnnestunud päringut mujal uuesti.
lõplik verdikt · üks Choice'i küsimus
core/agent/verify.pyandmed: päring · kandidaat · vaatlusedSystemOne · üks kutse · varulahendusetaadapters/typesafe.pyAlgne päring ja kandidaat varjatakse ja piiratakse ning saadetakse koos tööriistavaatlustega ühe Choice'i küsimusena (supported, contradicted, insufficient_evidence). Hinnangukutse ei saa tööriistu (allow_tools=False). Pilte vajavat hinnangut Jevile ei saadeta ja sellest saab verification_error.
SystemOne · üks kutse · varulahenduseta
adapters/typesafe.pyandmed: üks SystemOne'i kutseTypeSafe SystemOneÜks kutse, otse TypeSafe'i või OpenRouteri kaudu, ilma üleminekuta teisele pakkujale. Jevi ei kasutata kunagi juurtasandi tekstigeneratsiooni mudelina.
vastuvõtt · summa tolerants 1e-5
adapters/typesafe.pyandmed: vastu võetud Choiceläbib ainult supported · ainult tekstcore/agent/verify.pyVastust kasutatakse alles pärast tüübi, vahemiku ja tõenäosuste summa (tolerants 1e-5) vastuvõtukontrolli. Läbib ainult supported; contradicted ja insufficient_evidence muutuvad kordussignaaliks koos fikseeritud järgmise kontrolliga. Vastus, mis ei ole end_turn või ei läbi vastuvõtukontrolli, muutub olekuks verification_error, mis ei ole kordussignaal (should_retry=False). Skoor on binaarne projektsioon, mitte kalibreeritud tõenäosus.
läbib ainult supported · ainult tekst
core/agent/verify.pyandmed: passed · reflectionPostVerify · Stop poliitikaloop/_lifecycle.pyVerdikt läheb lõpetamise peatüki PostVerify ja Stop poliitikasse. Verdikt on selle poliitika sisend, mitte volitus; kui see ootab ülevaatust, jääb kandidaat ainult välja pending_text ja lõplik vastus on tühi, seega midagi üle ei anta.
PostVerify · Stop poliitika
loop/_lifecycle.pykirje · vaatlus: verdiktireadtimeline · ledger otsusereadmemory · observabilityVerdiktiotsused salvestatakse timeline'i ja tõendite pearaamatusse: käituskeskkonna kirjed, uurimisartefaktidest eraldi.
Käituskeskkond · refleksioon
Sama valik juhib refleksiooni tõendite liigitamist; järgmise kontrolli lause määrab kood.
judgment_engine · llm | jev
core/config/judgment.pykäivitamine · otsustamine: sama valikrefleksioon · tõendite liigitamineloop/_reflection.pySama valik kehtib refleksioonile.
refleksioon · tõendite liigitamine
loop/_reflection.pyandmed: tõendite liigitamineSystemOne · üks kutse · varulahendusetaadapters/typesafe.pyRefleksioon kasutab Jevi piiratud tõendite liigitamiseks ja lisab koodi määratud järgmise kontrolli. See ei muuda uskumushüpoteese ega enesekindlust.
SystemOne · üks kutse · varulahenduseta
adapters/typesafe.pyandmed: üks SystemOne'i kutseTypeSafe SystemOneÜks kutse, otse TypeSafe'i või OpenRouteri kaudu, ilma üleminekuta teisele pakkujale. Jevi ei kasutata kunagi juurtasandi tekstigeneratsiooni mudelina.
vastuvõtt · summa tolerants 1e-5
adapters/typesafe.pyandmed: liigitusrefleksioon · tõendite liigitamineloop/_reflection.pyAinult vastu võetud liigitus uuendab refleksiooni olekut; tõrke korral proovib järgmine ring uuesti samast eelmisest olekust.
Uuring · fikseeritud paneel U3
Ilma toimijata võrreldi paarikaupa Jevi ja Astra hinnanguid samale olekule ja küsimusele.
Astra · Jev · sama küsimus
U3 · fikseeritud olekuga paneelandmed: Jevi hinnangTypeSafe SystemOneU3 (algse katse commit 2f2b494): 120 fikseeritud olekut · 27 allikaklastrit · 240 kutset. Iga olek ja küsimus läks Jevile ja Astrale ühe paarina; toimijat, tööriistu ega Harborit ei olnud.
Astra · Jev · sama küsimus
U3 · fikseeritud olekuga paneelandmed: Astra hinnangAstra kohtunik · toimijamudelÕige samal valimil: Astra 90/120, Jev 84/120; mediaan kutse kohta 10.446 s vs 0.253 s. See on ainult hinnangukutse latentsus, mitte ülesande aeg ega kulude kokkuhoid.
U3 · fikseeritud olekuga paneelandmed: paneeli tulemused · aruanneJevi uuringu aruanne
U3 täpsuse ja latentsuse tulemused on avalikus tehnilises aruandes. Siin ei väideta, kas see paneel on osa E2E avalikust paketist.
Uuring · E/I käivitused
Astra oli toimija, muutus ainult hinnangutee ning sõltumatu reeglioraakel kontrollis tulemusi ja üleandmist eraldi.
Astra toimija · tööriistad · parandus
E/I · Harbor 0.22andmed: genereerimine · tööriistad · parandusAstra kohtunik · toimijamudelHarbor 0.22 E/I käivitustes tegeleb toimija Astra genereerimise, tööriistakutsete ja parandusega; muutub ainult hinnangutee.
kohtuniku tee · Astra · Jev · Jev-first
E/I · Harbor 0.22andmed: lõpetamishinnangu teeTypeSafe SystemOneE7 (algse katse commit 1f65534): 12 koostatud sünteetilist ülesannet × 3 konfiguratsiooni × 2 käivitust = 72 käivitust, 24/24 konfiguratsiooni kohta. Jev-first konfiguratsioonis oli tegelikke varulahendusi 0/24, seega selle mõju ei mõõdetud.
E/I · Harbor 0.22kirje · vaatlus: sõltumatu kontrollõigsus · üleandmine eraldi
rule oracleSõltumatu reeglioraakel kontrollib lõpptulemust ja tegelikku lõplikku üleandmist loetakse eraldi. Katkestatud U8n tagantjärele analüüsitud 11 paaris läbis iga kandidaat oraakli, kuid üleandmine oli Astra 11/11 ja Jev Noul 0/11.
E/I · Harbor 0.22andmed: tõrge · paranduse põlvnemineE2E-DATA · allikas · avalikud räsid
jev-v3-20260927E2E avalik pakett säilitab ettevalmistuse, tõrgete ja paranduste põlvnemise ning lähte- ja avaliku koopia räsid hoitakse lahus. Redigeeritud avalik koopia ei asenda muutmata allika valideerimist.
REPRODUCE · model-free
jev-v3-20260927andmed: mudelivaba ümberarvutusJevi uuringu aruanneNäitajate ümberarvutamine salvestatud vastustest ja uus käivitus on eri toimingud. Aruanne on avalik tehniline aruanne, mitte eelretsenseeritud artikkel.
Kõik ühendused sama kaaluga. Vali voog, et tõsta esile ainult selle tee koos nummerdatud sammudega.
- Pidevjoon · päringute, kandidaatide ja tulemuste liikumissuund
- Kriipsjoon · käivitamine, otsustamine, volitamine, seadistamine
- Pikk kriips-punktjoon · kirjed ja vaatlus, verdiktist eraldi
- Paks must joon · valitud voog; numbrid näitavad järjekorda
- Kast · koodi või kirjete piir, tee päises
- Sisemine silt · komponent selle piiri sees
- Kriipsjoonega kast · sellest piirist väljas
- tsükkel · täitmisrakis
- tee valik · verdikt · oraakel
- kirjed · avalik pakett
- transport · hinnangupaneel
Ülemine ja alumine osa on eri süsteemid. Uuringu konfiguratsioonid ja tulemused ei ole kõik praeguses käituskeskkonna tees sisse lülitatud; ainus ühine seos on, et mõlemad kutsuvad sama Jevi mudelit (jev-1.13.0).
- Käituskeskkonna vastuvõtt
- Käituskeskkond hoiab tõenäosuste summa tolerantsi rangelt 1e-5 juures. Hindamise kutsujad annavad edasi oma salvestatud tolerantsi, selle asemel et käituskeskkonna parserit lõdvendada.
- Uuringu ulatus
- U3 mõõdab ainult hinnangukutseid; E/I hõlmab toimijat ja parandust. Nende nimetajaid ei segata kunagi ning U8n 11 paari on katkestatud uuringu tagantjärele analüüs.
Kolm otsuselepingut
Choice
- Tagastab
- Tõenäosus kategooria või valiku kohta
- Otsustab
- Lõpetamine; päringu kavatsus ja sihtmärk
Noul
- Tagastab
- P(true) iga tingimuse kohta
- Otsustab
- Vastuolu; puuduvad tõendid
Score
- Tagastab
- Ootusväärtus ja jaotus fikseeritud järjestusskaalal
- Otsustab
- Genereeritud kandidaatide järjestus
Ootusväärtus paigutab kandidaadi skaalale; seda ei kasutata kindlusena.
Hindamine ja ühendamine
Iga lepingut hinnati selle enda fikseeritud sisendpaneelil ning mõned ühendati katserakise täitmisteega, et näha, kuidas täitev agent hinnangut kasutab. Ülaltoodud kaardil näitab uurimisosa neid käivitusi; käituskeskkonna osa on praeguse GEODE valikuline tee.
Vaatlused, mis muutsid disaini
- I5 → I6 · sisendileping
- Ühise üleandmistõrke jälitamine näitas, et hinnangu sisendist puudus ülesande leping ja sama päringu tööriistavaatlusi kirjeldati mineviku kontekstina
- I6 andis eraldi käivitusel parandatud koodi ja uue kontoga üle 6/6
- U3 · samad 120 olekupaari
- Mediaan kutse kohta Astra 10.446 s · Jev 0.253 s; õige samal valimil 90/120 · 84/120
- Iga otsuse puhul kaalutakse kiirust ja täpsust koos, et määrata delegeerimise ulatus
- U2 · tõenäosused
- Jevi tõenäosused olid suuruselt paremini kalibreeritud, kuid Astra seadis oma valed hinnangud usaldusväärsemalt etteotsa
- Kalibreerimist ja vigade valimist mõõdetakse eraldi ning lävi külmutatakse valikujaotusel
- U6a · kavatsus ja sihtmärk
- 40 disaineri koostatud perekonnal Jev 216/220 · Astra 220/220, mis täidab eelregistreeritud −5 pp marginaali
- Fikseeritud kavatsuse ja sihtmärgi liigitus kitsendati järgmiseks rakenduskandidaadiks
- U8n · üleandmine
- Katkestatud käivituse tagantjärele analüüsitud 11 paari: parandatud kandidaadid läbisid oraakli mõlemas harus; üleandmine Astra 11/11 · Jev Noul 0/11
- Puuduvate tõendite hinnangud blokeerisid õige üleandmise; praegusel Nouli seadistusel puudub alus olla ainus üleandmise kohtunik