NO
Geodi, GEODEs offisielle pikselfigur
Tilbake til salen

GEODE

Autonomous Agent Harness

Fra observasjon til neste handling.

En lokal harness for autonome agenter, som research, filarbeid og planlagte oppgaver kan overlates til.

2026.02.21 — present

Design, vurdering, verifisering: Author · implementering: Claude · gjennomgang: Codex

  • CLIPublisert · PyPI
  • MCP-serverImplementert

Decision Offloading w. Jev

Hvilke av de mellomliggende beslutningene en agent tar underveis i en oppgave, kan overlates til Jev, en modell som bare tar beslutninger? Forskningen undersøker om uavhengig verifisert oppgavekvalitet holder når de er overlatt, medregnet forberedelse, gjentatte vurderinger, reparasjon og endelig levering. De tidlige pilotene kunne ikke forklares ved bare å bytte ut vurderingskallet, så inputkontrakten, beslutningskontrakten, sannsynlighetspolicyen og utførelsesagentens forbruk ble skilt ut i egne eksperimenter.

Jev-kart · runtime fra fastlåst commit 9e2c041, forskning fra loggene fra september 2026
Jevs vurderingsstier: runtime-integrasjon og forskningDen øvre delen er den valgfrie vurderingsstien i dagens GEODE-runtime. Bare når judgment_engine er satt til jev, kaller endelig verifisering og refleksjon Jev på TypeSafe SystemOne én gang, og et svar brukes først etter kontroll av type, intervall og sannsynlighetssum. Bare supported består den endelige verifiseringen, og resultatet går til PostVerify- og Stop-policyen i kapitlet Fullføring. Den nedre delen er Jev v3-forskningen utenfor runtimen: et panel med fast tilstand (U3) sammenlignet Astras og Jevs vurderinger, E/I-kjøringer i Harbor 0.22 endret bare vurderingsstien og kontrollerte resultater og levering separat med et uavhengig regelorakel, og den offentlige pakken holder kilde- og offentlige hasher atskilt og tilbyr en modellfri omregning.TypeSafe SystemOnejev-1.13.0 · bare vurderingAstra-bedømmer · actor-modellgpt-6-astra/xhigh · abonnementJev-forskningsrapportoffentlig teknisk rapportcore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPostVerify · Stop-policycore/agent/verify.pyendelig dom · ett Choice-spørsmålbare supported består · bare tekstadapters/typesafe.pySystemOne · ett kall · ingen fallbackadgangskontroll · sumtoleranse 1e-5loop/_reflection.pyrefleksjon · klassifisering av beleggmemory · observabilitytimeline · beslutningsrader i ledgerU3 · panel med fast tilstand120 par · 27 kilder · ingen actorAstra · Jev · samme spørsmålE/I · Harbor 0.22Astra-actor · verktøy · reparasjonvurderingssti · Astra · Jev · Jev-firstrule oraclekorrekthet · levering separatjev-v3-20260927E2E-DATA · kilde · offentlige hasherREPRODUCE · model-freeGEODE-runtime · 9e2c041valgfri vurdering · standard llmJev v3-forskning · sep. 2026utenfor runtimen · separat harness1velg stien2 forespørsel · kandidat · observasjoner · endelig dom · ett Choice-spørsmål → SystemOne · ett kall · ingen fallback23 ett SystemOne-kall · SystemOne · ett kall · ingen fallback → TypeSafe SystemOne34 godkjent Choice · adgangskontroll · sumtoleranse 1e-5 → bare supported består · bare tekst45passed · reflection6domsrader1samme valg2klassifiser belegg3 ett SystemOne-kall · SystemOne · ett kall · ingen fallback → TypeSafe SystemOne34 klassifisering · adgangskontroll · sumtoleranse 1e-5 → refleksjon · klassifisering av belegg41Jev-vurdering2Astra-vurdering3panelresultater · rapport1generering · verktøy · reparasjon2sti for fullføringsvurdering3 uavhengig kontroll · E/I · Harbor 0.22 → korrekthet · levering separat34avstamning for feil · reparasjon5modellfri omregning

Runtime · endelig dom

Når Jev er valgt, kaller endelig verifisering Jev én gang med ett Choice-spørsmål, og bare en godkjent supported-dom består.

  1. judgment_engine · llm | jevcore/config/judgment.pyvelg stienendelig dom · ett Choice-spørsmålcore/agent/verify.py

    Jev-stien brukes bare når judgment_engine er satt til jev (standard llm). provider auto velger TypeSafe og deretter OpenRouter, avhengig av hvilken som har en nøkkel; uten nøkkel blir LLM-judge-stien stående. Dette er ikke en fallback som prøver en mislykket forespørsel på nytt et annet sted.

  2. endelig dom · ett Choice-spørsmålcore/agent/verify.pyforespørsel · kandidat · observasjonerSystemOne · ett kall · ingen fallbackadapters/typesafe.py

    Den opprinnelige forespørselen og kandidaten maskeres og avgrenses, og sendes deretter med verktøyobservasjonene som ett Choice-spørsmål (supported, contradicted, insufficient_evidence). Vurderingskallet får ingen verktøy (allow_tools=False). En vurdering som krever bilder, sendes ikke til Jev og blir verification_error.

  3. SystemOne · ett kall · ingen fallbackadapters/typesafe.pyett SystemOne-kallTypeSafe SystemOne

    Ett kall, direkte til TypeSafe eller via OpenRouter, uten bytte til en annen leverandør. Jev brukes aldri som rotmodell for tekstgenerering.

  4. adgangskontroll · sumtoleranse 1e-5adapters/typesafe.pygodkjent Choicebare supported består · bare tekstcore/agent/verify.py

    Et svar brukes først etter kontroll av type, intervall og sannsynlighetssum (toleranse 1e-5). Bare supported består; contradicted og insufficient_evidence blir et signal om nytt forsøk med en fast neste kontroll. Et svar som ikke er end_turn eller ikke består kontrollen, blir verification_error, som ikke er et signal om nytt forsøk (should_retry=False). Scoren er en binær projeksjon, ikke en kalibrert sannsynlighet.

  5. bare supported består · bare tekstcore/agent/verify.pypassed · reflectionPostVerify · Stop-policyloop/_lifecycle.py

    Dommen går til PostVerify- og Stop-policyen i kapitlet Fullføring. En dom er input til policyen, ikke en autoritet; ved venting på gjennomgang blir kandidaten bare værende som pending_text, og det endelige svaret er tomt, så ingenting leveres.

  6. PostVerify · Stop-policyloop/_lifecycle.pydomsradertimeline · beslutningsrader i ledgermemory · observability

    Domsbeslutninger registreres i tidslinjen og evidence ledger: runtime-logger, atskilt fra forskningsartefaktene.

Runtime · refleksjon

Samme valg styrer refleksjonens klassifisering av belegg; setningen om neste kontroll fastsettes av koden.

  1. judgment_engine · llm | jevcore/config/judgment.pysamme valgrefleksjon · klassifisering av beleggloop/_reflection.py

    Samme valg gjelder for refleksjon.

  2. refleksjon · klassifisering av beleggloop/_reflection.pyklassifiser beleggSystemOne · ett kall · ingen fallbackadapters/typesafe.py

    Refleksjon bruker Jev til å klassifisere avgrenset belegg og legger til en neste kontroll som koden fastsetter. Den endrer ikke hypoteser om oppfatninger eller selvtillit.

  3. SystemOne · ett kall · ingen fallbackadapters/typesafe.pyett SystemOne-kallTypeSafe SystemOne

    Ett kall, direkte til TypeSafe eller via OpenRouter, uten bytte til en annen leverandør. Jev brukes aldri som rotmodell for tekstgenerering.

  4. adgangskontroll · sumtoleranse 1e-5adapters/typesafe.pyklassifiseringrefleksjon · klassifisering av beleggloop/_reflection.py

    Bare en godkjent klassifisering oppdaterer refleksjonstilstanden; ved feil prøver neste runde på nytt fra den samme tidligere tilstanden.

Forskning · fast panel U3

Uten en actor ble Jevs og Astras vurderinger av samme tilstand og spørsmål sammenlignet parvis.

  1. Astra · Jev · samme spørsmålU3 · panel med fast tilstandJev-vurderingTypeSafe SystemOne

    U3 (opprinnelig eksperiment-commit 2f2b494): 120 faste tilstander · 27 kildeklynger · 240 kall. Hver tilstand og hvert spørsmål gikk til Jev og Astra som ett par; ingen actor, verktøy eller Harbor.

  2. Astra · Jev · samme spørsmålU3 · panel med fast tilstandAstra-vurderingAstra-bedømmer · actor-modell

    Riktige på samme utvalg: Astra 90/120, Jev 84/120; median per kall 10.446 s mot 0.253 s. Dette er bare latensen i vurderingskallet, ikke oppgavetid eller kostnadsbesparelser.

  3. U3 · panel med fast tilstandpanelresultater · rapportJev-forskningsrapport

    Resultatene for nøyaktighet og latens fra U3 står i den offentlige tekniske rapporten. Om dette panelet er en del av den offentlige E2E-pakken, påstås ikke her.

Forskning · E/I-kjøringer

Med Astra som actor ble bare vurderingsstien endret, og et uavhengig regelorakel kontrollerte resultater og levering separat.

  1. Astra-actor · verktøy · reparasjonE/I · Harbor 0.22generering · verktøy · reparasjonAstra-bedømmer · actor-modell

    I E/I på Harbor 0.22 står actoren Astra for generering, verktøykall og reparasjon; bare vurderingsstien endres.

  2. vurderingssti · Astra · Jev · Jev-firstE/I · Harbor 0.22sti for fullføringsvurderingTypeSafe SystemOne

    E7 (opprinnelig eksperiment-commit 1f65534): 12 selvskrevne syntetiske oppgaver × 3 konfigurasjoner × 2 kjøringer = 72 kjøringer, 24/24 per konfigurasjon. Jev-first-konfigurasjonen hadde 0/24 faktiske fallbacks, så effekten ble ikke målt.

  3. E/I · Harbor 0.22uavhengig kontrollkorrekthet · levering separatrule oracle

    Et uavhengig regelorakel kontrollerer sluttresultatet, og den faktiske endelige leveringen telles separat. I de 11 etterfølgende parene fra den avbrutte U8n besto alle kandidatene oraklet, men leveringen var Astra 11/11 og Jev Noul 0/11.

  4. E/I · Harbor 0.22avstamning for feil · reparasjonE2E-DATA · kilde · offentlige hasherjev-v3-20260927

    Den offentlige E2E-pakken bevarer avstamningen for forberedelse, feil og reparasjon, med hasher for kilde og offentlig kopi holdt atskilt. En maskert offentlig kopi erstatter ikke validering av den uendrede kilden.

  5. REPRODUCE · model-freejev-v3-20260927modellfri omregningJev-forskningsrapport

    Å regne ut tall på nytt fra lagrede svar og å kjøre på nytt er ulike operasjoner. Rapporten er en offentlig teknisk rapport, ikke en fagfellevurdert artikkel.

Alle forbindelser med samme tykkelse. Velg en flyt for å fremheve bare dens vei, med nummererte steg.

  • Heltrukket · retningen forespørsler, kandidater og resultater flyter
  • Stiplet · kjøre, avgjøre, autorisere, konfigurere
  • Lang strek-prikk · logger og observasjon, atskilt fra dommen
  • Kraftig svart linje · den valgte flyten; tallene angir rekkefølgen
  • Boks · en kode- eller logggrense, stien i overskriften
  • Indre chip · en komponent innenfor grensen
  • Stiplet boks · utenfor grensen
  • løkke · utførelsesharness
  • valg av sti · dom · orakel
  • logger · offentlig pakke
  • transport · vurderingspanel

Den øvre og den nedre delen er ulike systemer. Forskningens konfigurasjoner og resultater er ikke alle slått på i dagens runtime-sti; den eneste felles koblingen er at begge kaller den samme Jev-modellen (jev-1.13.0).

Runtime-adgangskontroll
Runtimen holder toleransen for sannsynlighetssummen streng på 1e-5. Evalueringskallere sender sin egen registrerte toleranse i stedet for å løsne på runtimens parser.
Forskningens omfang
U3 måler bare vurderingskall; E/I omfatter actor og reparasjon. Nevnerne blandes aldri, og de 11 parene fra U8n er en etterfølgende analyse av en avbrutt studie.

Tre beslutningskontrakter

Choice

Returnerer
Sannsynlighet per kategori eller alternativ
Avgjør
Fullføring; en forespørsels hensikt og mål

Noul

Returnerer
P(true) for hver betingelse
Avgjør
Selvmotsigelse; manglende belegg

Score

Returnerer
Forventet verdi og fordeling på en fast ordnet skala
Avgjør
Rangering av genererte kandidater

Den forventede verdien plasserer en kandidat på skalaen; den brukes ikke som konfidens.

Evaluering og tilkobling

Hver kontrakt ble evaluert på sitt eget faste inputpanel, og noen ble koblet inn i eksperimentharnessens utførelsessti for å se hvordan utførelsesagenten bruker vurderingen. I kartet ovenfor viser forskningsdelen de kjøringene; runtime-delen er den valgfrie stien i dagens GEODE.

Observasjoner som endret designet

  1. I5 → I6 · inputkontrakt
    1. Sporing av en felles leveringsfeil viste at vurderingsinputen manglet oppgavekontrakten og beskrev verktøyobservasjoner fra samme forespørsel som tidligere kontekst
    2. I6 leverte 6/6 i en separat kjøring med den reviderte koden og en ny konto
  2. U3 · samme 120 tilstandspar
    1. Median per kall Astra 10.446 s · Jev 0.253 s; riktige på samme utvalg 90/120 · 84/120
    2. Hastighet og nøyaktighet veies sammen for hver beslutning for å fastsette delegeringens omfang
  3. U2 · sannsynligheter
    1. Jevs sannsynligheter var bedre kalibrert i størrelse, men Astra rangerte sine feilaktige vurderinger først på en mer pålitelig måte
    2. Kalibrering og feilutvelgelse måles separat, og terskelen fryses på selection-delingen
  4. U6a · hensikt og mål
    1. På 40 familier skrevet av designeren: Jev 216/220 · Astra 220/220, innenfor den forhåndsregistrerte marginen på −5 pp
    2. Fast klassifisering av hensikt og mål snevret inn som neste kandidat for bruk
  5. U8n · levering
    1. 11 etterfølgende par fra en avbrutt kjøring: reparerte kandidater besto oraklet i begge armer; levering Astra 11/11 · Jev Noul 0/11
    2. Vurderinger om manglende belegg blokkerte riktig levering; det nåværende Noul-oppsettet mangler grunnlag for å fungere som eneste bedømmer av levering