DA
Geodi, GEODE's officielle pixelfigur
Tilbage til salen

GEODE

Autonomous Agent Harness

Fra observation til næste handling.

En lokal harness til autonome agenter, som research, filarbejde og planlagte opgaver kan overdrages til.

2026.02.21 — present

Design, vurdering, verifikation: Author · implementering: Claude · gennemgang: Codex

  • CLIUdgivet · PyPI
  • MCP-serverImplementeret

Decision Offloading w. Jev

Hvilke af de mellemliggende beslutninger, en agent træffer undervejs i en opgave, kan overlades til Jev, en model, der kun træffer beslutninger? Forskningen undersøger, om uafhængigt verificeret opgavekvalitet holder, når de er overladt, medregnet forberedelse, gentagne vurderinger, reparation og endelig levering. De tidlige piloter kunne ikke forklares ved alene at udskifte vurderingskaldet, så inputkontrakten, beslutningskontrakten, sandsynlighedspolicyen og udførelsesagentens forbrug blev skilt ud i hver sine eksperimenter.

Jev-kort · runtime fra fastlåst commit 9e2c041, forskning fra logs fra september 2026
Jevs vurderingsstier: runtime-integration og forskningDen øvre del er tilvalgsstien til vurdering i den nuværende GEODE-runtime. Kun når judgment_engine er sat til jev, kalder endelig verifikation og refleksion Jev på TypeSafe SystemOne én gang, og et svar bruges først efter kontrol af type, interval og sandsynlighedssum. Kun supported består den endelige verifikation, og resultatet går til PostVerify- og Stop-policyen i kapitlet Fuldførelse. Den nedre del er Jev v3-forskningen uden for runtimen: et panel med fast tilstand (U3) sammenlignede Astras og Jevs vurderinger, E/I-kørsler i Harbor 0.22 ændrede kun vurderingsstien og kontrollerede resultater og levering separat med et uafhængigt regelorakel, og den offentlige pakke holder kilde- og offentlige hashes adskilt og tilbyder en modelfri genberegning.TypeSafe SystemOnejev-1.13.0 · kun vurderingAstra-bedømmer · actor-modelgpt-6-astra/xhigh · abonnementJev-forskningsrapportoffentlig teknisk rapportcore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPostVerify · Stop-policycore/agent/verify.pyendelig dom · ét Choice-spørgsmålkun supported består · kun tekstadapters/typesafe.pySystemOne · ét kald · ingen fallbackadgangskontrol · sumtolerance 1e-5loop/_reflection.pyrefleksion · klassificering af belægmemory · observabilitytimeline · beslutningsrækker i ledgerU3 · panel med fast tilstand120 par · 27 kilder · ingen actorAstra · Jev · samme spørgsmålE/I · Harbor 0.22Astra-actor · værktøjer · reparationvurderingssti · Astra · Jev · Jev-firstrule oraclekorrekthed · levering separatjev-v3-20260927E2E-DATA · kilde · offentlige hashesREPRODUCE · model-freeGEODE-runtime · 9e2c041tilvalgt vurdering · standard llmJev v3-forskning · sep. 2026uden for runtimen · separat harness1vælg stien2 forespørgsel · kandidat · observationer · endelig dom · ét Choice-spørgsmål → SystemOne · ét kald · ingen fallback23 ét SystemOne-kald · SystemOne · ét kald · ingen fallback → TypeSafe SystemOne34 godkendt Choice · adgangskontrol · sumtolerance 1e-5 → kun supported består · kun tekst45passed · reflection6domsrækker1samme valg2klassificér belæg3 ét SystemOne-kald · SystemOne · ét kald · ingen fallback → TypeSafe SystemOne34 klassifikation · adgangskontrol · sumtolerance 1e-5 → refleksion · klassificering af belæg41Jev-vurdering2Astra-vurdering3panelresultater · rapport1generering · værktøjer · reparation2sti for fuldførelsesvurdering3 uafhængig kontrol · E/I · Harbor 0.22 → korrekthed · levering separat34afstamning for fejl · reparation5modelfri genberegning

Runtime · endelig dom

Når Jev er valgt, kalder endelig verifikation Jev én gang med ét Choice-spørgsmål, og kun en godkendt supported-dom består.

  1. judgment_engine · llm | jevcore/config/judgment.pyvælg stienendelig dom · ét Choice-spørgsmålcore/agent/verify.py

    Jev-stien bruges kun, når judgment_engine er sat til jev (standard llm). provider auto vælger TypeSafe og derefter OpenRouter, alt efter hvilken der har en nøgle; uden nøgle bliver LLM-judge-stien. Det er ikke en fallback, der prøver en mislykket forespørgsel igen andetsteds.

  2. endelig dom · ét Choice-spørgsmålcore/agent/verify.pyforespørgsel · kandidat · observationerSystemOne · ét kald · ingen fallbackadapters/typesafe.py

    Den oprindelige forespørgsel og kandidaten maskeres og afgrænses og sendes derefter sammen med værktøjsobservationerne som ét Choice-spørgsmål (supported, contradicted, insufficient_evidence). Vurderingskaldet får ingen værktøjer (allow_tools=False). En vurdering, der kræver billeder, sendes ikke til Jev og bliver til verification_error.

  3. SystemOne · ét kald · ingen fallbackadapters/typesafe.pyét SystemOne-kaldTypeSafe SystemOne

    Ét kald, direkte til TypeSafe eller via OpenRouter, uden skift til en anden udbyder. Jev bruges aldrig som rodmodel til tekstgenerering.

  4. adgangskontrol · sumtolerance 1e-5adapters/typesafe.pygodkendt Choicekun supported består · kun tekstcore/agent/verify.py

    Et svar bruges først efter kontrol af type, interval og sandsynlighedssum (tolerance 1e-5). Kun supported består; contradicted og insufficient_evidence bliver til et signal om nyt forsøg med en fast næste kontrol. Et svar, der ikke er end_turn eller ikke består kontrollen, bliver til verification_error, som ikke er et signal om nyt forsøg (should_retry=False). Scoren er en binær projektion, ikke en kalibreret sandsynlighed.

  5. kun supported består · kun tekstcore/agent/verify.pypassed · reflectionPostVerify · Stop-policyloop/_lifecycle.py

    Dommen går til PostVerify- og Stop-policyen i kapitlet Fuldførelse. En dom er input til policyen, ikke en autoritet; når der afventes gennemgang, forbliver kandidaten kun som pending_text, og det endelige svar er tomt, så intet leveres.

  6. PostVerify · Stop-policyloop/_lifecycle.pydomsrækkertimeline · beslutningsrækker i ledgermemory · observability

    Domsbeslutninger registreres i tidslinjen og evidence ledger: runtime-logs, adskilt fra forskningsartefakterne.

Runtime · refleksion

Samme valg styrer refleksionens klassificering af belæg; sætningen om næste kontrol fastsættes af koden.

  1. judgment_engine · llm | jevcore/config/judgment.pysamme valgrefleksion · klassificering af belægloop/_reflection.py

    Samme valg gælder for refleksion.

  2. refleksion · klassificering af belægloop/_reflection.pyklassificér belægSystemOne · ét kald · ingen fallbackadapters/typesafe.py

    Refleksion bruger Jev til at klassificere afgrænset belæg og tilføjer en næste kontrol, som koden fastlægger. Den ændrer ikke hypoteser om overbevisninger eller selvtillid.

  3. SystemOne · ét kald · ingen fallbackadapters/typesafe.pyét SystemOne-kaldTypeSafe SystemOne

    Ét kald, direkte til TypeSafe eller via OpenRouter, uden skift til en anden udbyder. Jev bruges aldrig som rodmodel til tekstgenerering.

  4. adgangskontrol · sumtolerance 1e-5adapters/typesafe.pyklassifikationrefleksion · klassificering af belægloop/_reflection.py

    Kun en godkendt klassifikation opdaterer refleksionstilstanden; ved fejl prøver næste runde igen fra samme forudgående tilstand.

Forskning · fast panel U3

Uden en actor blev Jevs og Astras vurderinger af samme tilstand og spørgsmål sammenlignet parvis.

  1. Astra · Jev · samme spørgsmålU3 · panel med fast tilstandJev-vurderingTypeSafe SystemOne

    U3 (oprindelig eksperiment-commit 2f2b494): 120 faste tilstande · 27 kildeklynger · 240 kald. Hver tilstand og hvert spørgsmål gik til Jev og Astra som ét par; ingen actor, værktøjer eller Harbor.

  2. Astra · Jev · samme spørgsmålU3 · panel med fast tilstandAstra-vurderingAstra-bedømmer · actor-model

    Korrekte på samme stikprøve: Astra 90/120, Jev 84/120; median pr. kald 10.446 s mod 0.253 s. Det er kun vurderingskaldets latens, ikke opgavetid eller omkostningsbesparelser.

  3. U3 · panel med fast tilstandpanelresultater · rapportJev-forskningsrapport

    U3's resultater for nøjagtighed og latens indgår i den offentlige tekniske rapport. Om dette panel er en del af den offentlige E2E-pakke, påstås ikke her.

Forskning · E/I-kørsler

Med Astra som actor blev kun vurderingsstien ændret, og et uafhængigt regelorakel kontrollerede resultater og levering separat.

  1. Astra-actor · værktøjer · reparationE/I · Harbor 0.22generering · værktøjer · reparationAstra-bedømmer · actor-model

    I E/I på Harbor 0.22 står actoren Astra for generering, værktøjskald og reparation; kun vurderingsstien ændres.

  2. vurderingssti · Astra · Jev · Jev-firstE/I · Harbor 0.22sti for fuldførelsesvurderingTypeSafe SystemOne

    E7 (oprindelig eksperiment-commit 1f65534): 12 selvskrevne syntetiske opgaver × 3 konfigurationer × 2 kørsler = 72 kørsler, 24/24 pr. konfiguration. Jev-first-konfigurationen havde 0/24 faktiske fallbacks, så dens effekt blev ikke målt.

  3. E/I · Harbor 0.22uafhængig kontrolkorrekthed · levering separatrule oracle

    Et uafhængigt regelorakel kontrollerer slutresultatet, og den faktiske endelige levering tælles separat. I de 11 efterfølgende par fra den afbrudte U8n bestod alle kandidater oraklet, men leveringen var Astra 11/11 og Jev Noul 0/11.

  4. E/I · Harbor 0.22afstamning for fejl · reparationE2E-DATA · kilde · offentlige hashesjev-v3-20260927

    Den offentlige E2E-pakke bevarer afstamningen for forberedelse, fejl og reparation, med hashes for kilde og offentlig kopi holdt adskilt. En maskeret offentlig kopi træder ikke i stedet for validering af den uændrede kilde.

  5. REPRODUCE · model-freejev-v3-20260927modelfri genberegningJev-forskningsrapport

    At genberegne tal ud fra gemte svar og at køre på ny er forskellige operationer. Rapporten er en offentlig teknisk rapport, ikke en fagfællebedømt artikel.

Alle forbindelser med samme tykkelse. Vælg et flow for kun at fremhæve dets vej med nummererede trin.

  • Fuldt optrukket · den retning, forespørgsler, kandidater og resultater flyder
  • Stiplet · køre, afgøre, autorisere, konfigurere
  • Lang streg-prik · logs og observation, adskilt fra dommen
  • Kraftig sort linje · det valgte flow; tal angiver rækkefølgen
  • Boks · en kode- eller loggrænse med stien i overskriften
  • Indre chip · en komponent inden for grænsen
  • Stiplet boks · uden for grænsen
  • løkke · udførelsesharness
  • valg af sti · dom · orakel
  • logs · offentlig pakke
  • transport · vurderingspanel

Den øvre og den nedre del er forskellige systemer. Forskningens konfigurationer og resultater er ikke alle slået til i den nuværende runtime-sti; den eneste fælles forbindelse er, at begge kalder den samme Jev-model (jev-1.13.0).

Runtime-adgangskontrol
Runtimen holder tolerancen for sandsynlighedssummen stram på 1e-5. Evalueringskaldere sender deres egen registrerede tolerance i stedet for at løsne runtimens parser.
Forskningens omfang
U3 måler kun vurderingskald; E/I omfatter actor og reparation. Deres nævnere blandes aldrig, og U8n's 11 par er en efterfølgende analyse af et afbrudt studie.

Tre beslutningskontrakter

Choice

Returnerer
Sandsynlighed pr. kategori eller valgmulighed
Afgør
Fuldførelse; en forespørgsels hensigt og mål

Noul

Returnerer
P(true) for hver betingelse
Afgør
Modsigelse; manglende belæg

Score

Returnerer
Forventet værdi og fordeling på en fast ordnet skala
Afgør
Rangering af genererede kandidater

Den forventede værdi placerer en kandidat på skalaen; den bruges ikke som konfidens.

Evaluering og tilkobling

Hver kontrakt blev evalueret på sit eget faste inputpanel, og nogle blev koblet ind i eksperimentharnessens udførelsessti for at se, hvordan udførelsesagenten forbruger vurderingen. På kortet ovenfor viser forskningsdelen de kørsler; runtime-delen er tilvalgsstien i den nuværende GEODE.

Observationer, der ændrede designet

  1. I5 → I6 · inputkontrakt
    1. Sporing af en fælles leveringsfejl viste, at vurderingsinputtet manglede opgavekontrakten og beskrev værktøjsobservationer fra samme forespørgsel som tidligere kontekst
    2. I6 leverede 6/6 i en separat kørsel med den reviderede kode og en ny konto
  2. U3 · samme 120 tilstandspar
    1. Median pr. kald Astra 10.446 s · Jev 0.253 s; korrekte på samme stikprøve 90/120 · 84/120
    2. Hastighed og nøjagtighed vejes sammen for hver beslutning for at fastlægge delegeringens omfang
  3. U2 · sandsynligheder
    1. Jevs sandsynligheder var bedre kalibreret i størrelse, men Astra rangerede sine forkerte vurderinger forrest mere pålideligt
    2. Kalibrering og fejludvælgelse måles separat, og tærsklen fastfryses på selection-opdelingen
  4. U6a · hensigt og mål
    1. På 40 familier skrevet af designeren: Jev 216/220 · Astra 220/220, inden for den forhåndsregistrerede margin på −5 pp
    2. Fast klassificering af hensigt og mål indsnævret som næste kandidat til anvendelse
  5. U8n · levering
    1. 11 efterfølgende par fra en afbrudt kørsel: reparerede kandidater bestod oraklet i begge arme; levering Astra 11/11 · Jev Noul 0/11
    2. Vurderinger af manglende belæg blokerede korrekt levering; den nuværende Noul-opsætning mangler grundlag for at fungere som eneste bedømmer af levering