NL
Geodi, het officiële pixelpersonage van GEODE
Terug naar de zaal

GEODE

Autonomous Agent Harness

Van observatie naar de volgende actie.

Een lokale harness voor autonome agents, waaraan onderzoek, bestandswerk en geplande taken kunnen worden overgedragen.

2026.02.21 — present

Ontwerp, oordeel, verificatie: Author · implementatie: Claude · review: Codex

  • CLIGepubliceerd · PyPI
  • MCP-serverGeïmplementeerd

Decision Offloading w. Jev

Welke tussentijdse beslissingen die een agent midden in een taak neemt, kunnen worden overgedragen aan Jev, een model dat alleen beslissingen neemt? Dit onderzoek gaat na of onafhankelijk geverifieerde taakkwaliteit daarna overeind blijft, met voorbereiding, herhaalde oordelen, herstel en de uiteindelijke oplevering meegeteld. Vroege pilots waren niet te verklaren door alleen de oordeelsaanroep te vervangen, dus werden het invoercontract, het beslissingscontract, de kanspolicy en de verwerking door de uitvoerende agent in eigen experimenten gescheiden.

Jev-kaart · runtime naar vastgezette commit 9e2c041, onderzoek naar de vastleggingen van September 2026
Oordeelspaden van Jev: runtime-integratie en onderzoekHet bovenste deel is het opt-in-oordeelspad in de huidige GEODE-runtime. Alleen als judgment_engine op jev staat, roepen de eindverificatie en reflection Jev op TypeSafe SystemOne één keer aan, en een antwoord wordt pas gebruikt na een toelatingscontrole op type, bereik en kanssom. Alleen supported doorstaat de eindverificatie, en het resultaat gaat naar de PostVerify- en Stop-policy van het hoofdstuk ‘Voltooiing’. Het onderste deel is het Jev v3-onderzoek buiten de runtime: een panel met vaste toestanden (U3) vergeleek oordelen van Astra en Jev, E/I-runs op Harbor 0.22 veranderden alleen het oordeelspad en controleerden resultaten en oplevering apart met een onafhankelijk regeloracle, en het openbare pakket houdt bron- en openbare hashes gescheiden en biedt een model-free herberekening.TypeSafe SystemOnejev-1.13.0 · alleen oordelenAstra-beoordelaar · actormodelgpt-6-astra/xhigh · abonnementJev-onderzoeksrapportopenbaar technisch rapportcore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPostVerify · Stop-policycore/agent/verify.pyeindoordeel · één Choice-vraagalleen supported slaagt · alleen tekstadapters/typesafe.pySystemOne · één aanroep · geen fallbacktoelating · somtolerantie 1e-5loop/_reflection.pyreflection · bewijsclassificatiememory · observabilitytimeline · ledger-beslissingsrijenU3 · panel met vaste toestanden120 paren · 27 bronnen · geen actorAstra · Jev · dezelfde vraagE/I · Harbor 0.22Astra-actor · tools · hersteloordeelspad · Astra · Jev · Jev-firstrule oraclecorrectheid · oplevering apartjev-v3-20260927E2E-DATA · bron- · openbare hashesREPRODUCE · model-freeGEODE-runtime · 9e2c041opt-in-oordeel · standaard llmJev v3-onderzoek · Sept 2026buiten de runtime · aparte harness1het pad kiezen2 verzoek · kandidaat · observaties · eindoordeel · één Choice-vraag → SystemOne · één aanroep · geen fallback23 één SystemOne-aanroep · SystemOne · één aanroep · geen fallback → TypeSafe SystemOne34 toegelaten Choice · toelating · somtolerantie 1e-5 → alleen supported slaagt · alleen tekst45passed · reflection6oordeelsrijen1dezelfde keuze2bewijs classificeren3 één SystemOne-aanroep · SystemOne · één aanroep · geen fallback → TypeSafe SystemOne34 classificatie · toelating · somtolerantie 1e-5 → reflection · bewijsclassificatie41Jev-oordeel2Astra-oordeel3panelresultaten · rapport1genereren · tools · herstel2pad van het voltooiingsoordeel3 onafhankelijke controle · E/I · Harbor 0.22 → correctheid · oplevering apart34herkomstketen mislukking · herstel5model-free herberekening

Runtime · eindoordeel

Met Jev gekozen roept de eindverificatie Jev één keer aan met één Choice-vraag, en alleen een toegelaten supported-oordeel slaagt.

  1. judgment_engine · llm | jevcore/config/judgment.pyhet pad kiezeneindoordeel · één Choice-vraagcore/agent/verify.py

    Het Jev-pad wordt alleen gebruikt als judgment_engine op jev staat (standaard llm). provider auto kiest TypeSafe en dan OpenRouter, afhankelijk van welke een sleutel heeft; zonder sleutel blijft het LLM-judge-pad. Dit is geen fallback die een mislukt verzoek elders opnieuw probeert.

  2. eindoordeel · één Choice-vraagcore/agent/verify.pyverzoek · kandidaat · observatiesSystemOne · één aanroep · geen fallbackadapters/typesafe.py

    Het oorspronkelijke verzoek en de kandidaat worden geredigeerd en begrensd, en dan met de toolobservaties verstuurd als één Choice-vraag (supported, contradicted, insufficient_evidence). De oordeelsaanroep krijgt geen tools (allow_tools=False). Een oordeel dat afbeeldingen nodig heeft, gaat niet naar Jev en wordt verification_error.

  3. SystemOne · één aanroep · geen fallbackadapters/typesafe.pyéén SystemOne-aanroepTypeSafe SystemOne

    Eén aanroep, rechtstreeks naar TypeSafe of via OpenRouter, zonder overstap naar een andere provider. Jev wordt nooit als root-model voor tekstgeneratie gebruikt.

  4. toelating · somtolerantie 1e-5adapters/typesafe.pytoegelaten Choicealleen supported slaagt · alleen tekstcore/agent/verify.py

    Een antwoord wordt pas gebruikt na een toelatingscontrole op type, bereik en kanssom (tolerantie 1e-5). Alleen supported slaagt; contradicted en insufficient_evidence worden een signaal voor een nieuwe poging met een vaste volgende controle. Een antwoord dat geen end_turn is of de toelating niet doorstaat, wordt verification_error, dat geen signaal voor een nieuwe poging is (should_retry=False). De score is een binaire projectie, geen gekalibreerde kans.

  5. alleen supported slaagt · alleen tekstcore/agent/verify.pypassed · reflectionPostVerify · Stop-policyloop/_lifecycle.py

    Het oordeel gaat naar de PostVerify- en Stop-policy van het hoofdstuk ‘Voltooiing’. Een oordeel is invoer voor die policy, geen bevoegdheid; wacht het op review, dan blijft de kandidaat alleen als pending_text bewaard en is het eindantwoord leeg, zodat er niets wordt opgeleverd.

  6. PostVerify · Stop-policyloop/_lifecycle.pyoordeelsrijentimeline · ledger-beslissingsrijenmemory · observability

    Oordeelsbeslissingen worden vastgelegd in de timeline en de evidence ledger: runtimevastleggingen, los van de onderzoeksartefacten.

Runtime · reflection

Dezelfde keuze stuurt de bewijsclassificatie van reflection; de zin voor de volgende controle wordt door de code bepaald.

  1. judgment_engine · llm | jevcore/config/judgment.pydezelfde keuzereflection · bewijsclassificatieloop/_reflection.py

    Dezelfde keuze geldt voor reflection.

  2. reflection · bewijsclassificatieloop/_reflection.pybewijs classificerenSystemOne · één aanroep · geen fallbackadapters/typesafe.py

    Reflection gebruikt Jev om begrensd bewijs te classificeren en voegt een door de code bepaalde volgende controle toe. Het verandert geen overtuigingshypothesen of zelfvertrouwen.

  3. SystemOne · één aanroep · geen fallbackadapters/typesafe.pyéén SystemOne-aanroepTypeSafe SystemOne

    Eén aanroep, rechtstreeks naar TypeSafe of via OpenRouter, zonder overstap naar een andere provider. Jev wordt nooit als root-model voor tekstgeneratie gebruikt.

  4. toelating · somtolerantie 1e-5adapters/typesafe.pyclassificatiereflection · bewijsclassificatieloop/_reflection.py

    Alleen een toegelaten classificatie werkt de toestand van reflection bij; bij een mislukking probeert de volgende ronde het opnieuw vanuit dezelfde vorige toestand.

Onderzoek · vast panel U3

Zonder actor werden oordelen van Jev en Astra over dezelfde toestand en vraag paarsgewijs vergeleken.

  1. Astra · Jev · dezelfde vraagU3 · panel met vaste toestandenJev-oordeelTypeSafe SystemOne

    U3 (oorspronkelijke experimentcommit 2f2b494): 120 vaste toestanden · 27 bronclusters · 240 aanroepen. Elke toestand en vraag ging als één paar naar Jev en Astra; geen actor, tools of Harbor.

  2. Astra · Jev · dezelfde vraagU3 · panel met vaste toestandenAstra-oordeelAstra-beoordelaar · actormodel

    Correct op dezelfde steekproef: Astra 90/120, Jev 84/120; mediaan per aanroep 10.446 s tegenover 0.253 s. Dit is alleen de latentie van de oordeelsaanroep, geen besparing op taaktijd of kosten.

  3. U3 · panel met vaste toestandenpanelresultaten · rapportJev-onderzoeksrapport

    De nauwkeurigheids- en latentieresultaten van U3 staan in het openbare technische rapport. Of dit panel deel uitmaakt van het openbare E2E-pakket, wordt hier niet beweerd.

Onderzoek · E/I-runs

Met Astra als actor veranderde alleen het oordeelspad, en een onafhankelijk regeloracle controleerde resultaten en oplevering apart.

  1. Astra-actor · tools · herstelE/I · Harbor 0.22genereren · tools · herstelAstra-beoordelaar · actormodel

    In E/I op Harbor 0.22 neemt de actor Astra generatie, toolaanroepen en herstel voor zijn rekening; alleen het oordeelspad verandert.

  2. oordeelspad · Astra · Jev · Jev-firstE/I · Harbor 0.22pad van het voltooiingsoordeelTypeSafe SystemOne

    E7 (oorspronkelijke experimentcommit 1f65534): 12 zelf geschreven synthetische taken × 3 configuraties × 2 runs = 72 runs, 24/24 per configuratie. De Jev-first-configuratie had 0/24 daadwerkelijke fallbacks, dus het effect ervan is niet gemeten.

  3. E/I · Harbor 0.22onafhankelijke controlecorrectheid · oplevering apartrule oracle

    Een onafhankelijk regeloracle controleert het eindresultaat, en de daadwerkelijke uiteindelijke oplevering wordt apart geteld. In de 11 post-hocparen van het onderbroken U8n doorstond elke kandidaat het oracle, maar de oplevering was Astra 11/11 en Jev Noul 0/11.

  4. E/I · Harbor 0.22herkomstketen mislukking · herstelE2E-DATA · bron- · openbare hashesjev-v3-20260927

    Het openbare E2E-pakket bewaart de herkomstketens van voorbereiding, mislukking en herstel, met de hashes van bron en openbare kopie gescheiden. Een geredigeerde openbare kopie vervangt geen validatie van de ongewijzigde bron.

  5. REPRODUCE · model-freejev-v3-20260927model-free herberekeningJev-onderzoeksrapport

    Cijfers herberekenen uit opgeslagen antwoorden en opnieuw draaien zijn verschillende handelingen. Het rapport is een openbaar technisch rapport, geen peer-reviewed artikel.

Alle verbindingen even zwaar. Kies een stroom om alleen het pad daarvan te markeren, met genummerde stappen.

  • Doorgetrokken · de richting waarin verzoeken, kandidaten en resultaten stromen
  • Gestreept · uitvoeren, beslissen, autoriseren, configureren
  • Lange streep-punt · vastleggingen en observatie, los van het oordeel
  • Dikke zwarte lijn · de gekozen stroom; nummers geven de volgorde
  • Vak · een code- of vastleggingsgrens, met het pad in de kop
  • Binnenchip · een component in die grens
  • Gestreept vak · buiten die grens
  • lus · uitvoeringsharness
  • padkeuze · oordeel · oracle
  • vastleggingen · openbaar pakket
  • transport · oordeelspanel

Het bovenste en het onderste deel zijn verschillende systemen. De onderzoeksconfiguraties en -resultaten staan niet allemaal aan in het huidige runtimepad; de enige gedeelde schakel is dat beide hetzelfde Jev-model (jev-1.13.0) aanroepen.

Toelating in de runtime
De runtime houdt de tolerantie voor de kanssom strikt op 1e-5. Aanroepers uit de evaluatie geven hun eigen vastgelegde tolerantie mee in plaats van de runtimeparser te versoepelen.
Reikwijdte van het onderzoek
U3 meet alleen oordeelsaanroepen; E/I omvat de actor en herstel. Hun noemers worden nooit vermengd, en de 11 paren van U8n zijn een post-hocanalyse van een onderbroken studie.

Drie beslissingscontracten

Choice

Geeft terug
Kans per categorie of optie
Beslist
Voltooiing; de intentie en het doel van een verzoek

Noul

Geeft terug
P(true) per voorwaarde
Beslist
Tegenspraak; ontbrekend bewijs

Score

Geeft terug
Verwachtingswaarde en verdeling op een vaste ordinale schaal
Beslist
Rangschikking van gegenereerde kandidaten

De verwachtingswaarde plaatst een kandidaat op de schaal; ze wordt niet als zekerheid gebruikt.

Evaluatie en koppeling

Elk contract werd geëvalueerd op een eigen vast invoerpanel, en sommige werden in het uitvoeringspad van de experimentharness gekoppeld om te zien hoe de uitvoerende agent het oordeel verwerkt. In de kaart hierboven toont het onderzoeksdeel die runs; het runtimedeel is het opt-in-pad in het huidige GEODE.

Observaties die het ontwerp veranderden

  1. I5 → I6 · invoercontract
    1. Het traceren van een gedeelde opleverfout liet zien dat de oordeelsinvoer het taakcontract miste en toolobservaties uit hetzelfde verzoek als eerdere context beschreef
    2. I6 leverde 6/6 op in een aparte run met herziene code en een nieuw account
  2. U3 · dezelfde 120 toestandsparen
    1. Mediaan per aanroep Astra 10.446 s · Jev 0.253 s; correct op dezelfde steekproef 90/120 · 84/120
    2. Per beslissing worden snelheid en nauwkeurigheid samen afgewogen om de reikwijdte van de delegatie te bepalen
  3. U2 · kansen
    1. De kansen van Jev waren qua grootte beter gekalibreerd, maar Astra rangschikte zijn foute oordelen betrouwbaarder vooraan
    2. Kalibratie en foutselectie worden apart gemeten, en de drempel wordt bevroren op de selection-split
  4. U6a · intentie en doel
    1. Op 40 door de ontwerper opgestelde families Jev 216/220 · Astra 220/220, binnen de vooraf geregistreerde marge van −5 pp
    2. Vaste classificatie van intentie en doel afgebakend als volgende toepassingskandidaat
  5. U8n · oplevering
    1. 11 post-hocparen uit een onderbroken run: herstelde kandidaten doorstonden het oracle in beide arms; oplevering Astra 11/11 · Jev Noul 0/11
    2. Oordelen wegens ontbrekend bewijs blokkeerden correcte oplevering; de huidige Noul-opzet mist de grond om als enige beoordelaar van oplevering te dienen