SV
Geodi, GEODE:s officiella pixelfigur
Tillbaka till salen

GEODE

Autonomous Agent Harness

Från observation till nästa handling.

En lokal harness för autonoma agenter som kan anförtros research, filarbete och schemalagda uppgifter.

2026.02.21 — present

Design, bedömning, verifiering: Author · implementation: Claude · granskning: Codex

  • CLIPublicerad · PyPI
  • MCP-serverImplementerad

Decision Offloading w. Jev

Vilka av de mellanliggande beslut som en agent fattar under en uppgift kan lämnas till Jev, en modell som bara fattar beslut? Forskningen undersöker om oberoende verifierad uppgiftskvalitet håller när de har lämnats över, inklusive förberedelse, upprepade bedömningar, reparation och slutleverans. De tidiga piloterna kunde inte förklaras av att bara bedömningsanropet byttes ut, så indatakontraktet, beslutskontraktet, sannolikhetspolicyn och exekveringsagentens konsumtion delades upp i egna experiment.

Jev-karta · runtime från fastlåst commit 9e2c041, forskning från loggarna från september 2026
Jevs bedömningsvägar: runtime-integration och forskningDen övre delen är den valbara bedömningsvägen i dagens GEODE-runtime. Bara när judgment_engine är satt till jev anropar slutverifiering och reflektion Jev på TypeSafe SystemOne en gång, och ett svar används först efter kontroll av typ, intervall och sannolikhetssumma. Bara supported klarar slutverifieringen, och resultatet går till PostVerify- och Stop-policyn i kapitlet Slutförande. Den nedre delen är Jev v3-forskningen utanför runtimen: en panel med fast tillstånd (U3) jämförde Astras och Jevs bedömningar, E/I-körningar i Harbor 0.22 ändrade bara bedömningsvägen och kontrollerade resultat och leverans separat med ett oberoende regelorakel, och det offentliga paketet håller käll- och offentliga hashar åtskilda och erbjuder en modellfri omräkning.TypeSafe SystemOnejev-1.13.0 · endast bedömningAstra-bedömare · actor-modellgpt-6-astra/xhigh · prenumerationJev-forskningsrapportoffentlig teknisk rapportcore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPostVerify · Stop-policycore/agent/verify.pyslutlig dom · en Choice-frågabara supported klarar · bara textadapters/typesafe.pySystemOne · ett anrop · ingen fallbackinsläppskontroll · summatolerans 1e-5loop/_reflection.pyreflektion · klassificering av beläggmemory · observabilitytimeline · beslutsrader i ledgerU3 · panel med fast tillstånd120 par · 27 källor · ingen actorAstra · Jev · samma frågaE/I · Harbor 0.22Astra-actor · verktyg · reparationbedömningsväg · Astra · Jev · Jev-firstrule oraclekorrekthet · leverans separatjev-v3-20260927E2E-DATA · källa · offentliga hasharREPRODUCE · model-freeGEODE-runtime · 9e2c041valbar bedömning · standard llmJev v3-forskning · sep. 2026utanför runtimen · separat harness1välj vägen2 förfrågan · kandidat · observationer · slutlig dom · en Choice-fråga → SystemOne · ett anrop · ingen fallback23 ett SystemOne-anrop · SystemOne · ett anrop · ingen fallback → TypeSafe SystemOne34 godkänd Choice · insläppskontroll · summatolerans 1e-5 → bara supported klarar · bara text45passed · reflection6domsrader1samma val2klassificera belägg3 ett SystemOne-anrop · SystemOne · ett anrop · ingen fallback → TypeSafe SystemOne34 klassificering · insläppskontroll · summatolerans 1e-5 → reflektion · klassificering av belägg41Jev-bedömning2Astra-bedömning3panelresultat · rapport1generering · verktyg · reparation2väg för slutförandebedömning3 oberoende kontroll · E/I · Harbor 0.22 → korrekthet · leverans separat34härstamning för fel · reparation5modellfri omräkning

Runtime · slutlig dom

När Jev är vald anropar slutverifieringen Jev en gång med en Choice-fråga, och bara en godkänd supported-dom klarar sig.

  1. judgment_engine · llm | jevcore/config/judgment.pyvälj vägenslutlig dom · en Choice-frågacore/agent/verify.py

    Jev-vägen används bara när judgment_engine är satt till jev (standard llm). provider auto väljer TypeSafe och sedan OpenRouter, beroende på vilken som har en nyckel; utan nyckel ligger LLM-judge-vägen kvar. Det är ingen fallback som gör om en misslyckad förfrågan någon annanstans.

  2. slutlig dom · en Choice-frågacore/agent/verify.pyförfrågan · kandidat · observationerSystemOne · ett anrop · ingen fallbackadapters/typesafe.py

    Den ursprungliga förfrågan och kandidaten maskeras och begränsas och skickas sedan med verktygsobservationerna som en Choice-fråga (supported, contradicted, insufficient_evidence). Bedömningsanropet får inga verktyg (allow_tools=False). En bedömning som kräver bilder skickas inte till Jev och blir verification_error.

  3. SystemOne · ett anrop · ingen fallbackadapters/typesafe.pyett SystemOne-anropTypeSafe SystemOne

    Ett anrop, direkt till TypeSafe eller via OpenRouter, utan byte till en annan leverantör. Jev används aldrig som rotmodell för textgenerering.

  4. insläppskontroll · summatolerans 1e-5adapters/typesafe.pygodkänd Choicebara supported klarar · bara textcore/agent/verify.py

    Ett svar används först efter kontroll av typ, intervall och sannolikhetssumma (tolerans 1e-5). Bara supported klarar sig; contradicted och insufficient_evidence blir en signal om nytt försök med en fast nästa kontroll. Ett svar som inte är end_turn eller inte klarar kontrollen blir verification_error, som inte är en signal om nytt försök (should_retry=False). Poängen är en binär projektion, inte en kalibrerad sannolikhet.

  5. bara supported klarar · bara textcore/agent/verify.pypassed · reflectionPostVerify · Stop-policyloop/_lifecycle.py

    Domen går till PostVerify- och Stop-policyn i kapitlet Slutförande. En dom är indata till policyn, inte en auktoritet; vid väntan på granskning finns kandidaten bara kvar som pending_text och det slutliga svaret är tomt, så ingenting levereras.

  6. PostVerify · Stop-policyloop/_lifecycle.pydomsradertimeline · beslutsrader i ledgermemory · observability

    Domsbeslut registreras i tidslinjen och evidence ledger: runtime-loggar, skilda från forskningsartefakterna.

Runtime · reflektion

Samma val styr reflektionens klassificering av belägg; meningen om nästa kontroll fastställs av koden.

  1. judgment_engine · llm | jevcore/config/judgment.pysamma valreflektion · klassificering av beläggloop/_reflection.py

    Samma val gäller för reflektion.

  2. reflektion · klassificering av beläggloop/_reflection.pyklassificera beläggSystemOne · ett anrop · ingen fallbackadapters/typesafe.py

    Reflektion använder Jev för att klassificera avgränsade belägg och lägger till en nästa kontroll som koden fastställer. Den ändrar inte hypoteser om övertygelser eller självförtroende.

  3. SystemOne · ett anrop · ingen fallbackadapters/typesafe.pyett SystemOne-anropTypeSafe SystemOne

    Ett anrop, direkt till TypeSafe eller via OpenRouter, utan byte till en annan leverantör. Jev används aldrig som rotmodell för textgenerering.

  4. insläppskontroll · summatolerans 1e-5adapters/typesafe.pyklassificeringreflektion · klassificering av beläggloop/_reflection.py

    Bara en godkänd klassificering uppdaterar reflektionstillståndet; vid fel försöker nästa runda igen från samma tidigare tillstånd.

Forskning · fast panel U3

Utan en actor jämfördes Jevs och Astras bedömningar av samma tillstånd och fråga parvis.

  1. Astra · Jev · samma frågaU3 · panel med fast tillståndJev-bedömningTypeSafe SystemOne

    U3 (ursprunglig experiment-commit 2f2b494): 120 fasta tillstånd · 27 källkluster · 240 anrop. Varje tillstånd och fråga gick till Jev och Astra som ett par; ingen actor, inga verktyg och ingen Harbor.

  2. Astra · Jev · samma frågaU3 · panel med fast tillståndAstra-bedömningAstra-bedömare · actor-modell

    Korrekta på samma urval: Astra 90/120, Jev 84/120; median per anrop 10.446 s mot 0.253 s. Det är bara bedömningsanropets latens, inte uppgiftstid eller kostnadsbesparingar.

  3. U3 · panel med fast tillståndpanelresultat · rapportJev-forskningsrapport

    U3:s resultat för träffsäkerhet och latens finns i den offentliga tekniska rapporten. Om denna panel ingår i det offentliga E2E-paketet påstås inte här.

Forskning · E/I-körningar

Med Astra som actor ändrades bara bedömningsvägen, och ett oberoende regelorakel kontrollerade resultat och leverans separat.

  1. Astra-actor · verktyg · reparationE/I · Harbor 0.22generering · verktyg · reparationAstra-bedömare · actor-modell

    I E/I på Harbor 0.22 sköter actorn Astra generering, verktygsanrop och reparation; bara bedömningsvägen ändras.

  2. bedömningsväg · Astra · Jev · Jev-firstE/I · Harbor 0.22väg för slutförandebedömningTypeSafe SystemOne

    E7 (ursprunglig experiment-commit 1f65534): 12 egenskrivna syntetiska uppgifter × 3 konfigurationer × 2 körningar = 72 körningar, 24/24 per konfiguration. Jev-first-konfigurationen hade 0/24 faktiska fallbacks, så dess effekt mättes inte.

  3. E/I · Harbor 0.22oberoende kontrollkorrekthet · leverans separatrule oracle

    Ett oberoende regelorakel kontrollerar slutresultatet, och den faktiska slutleveransen räknas separat. I de 11 paren i efterhand från den avbrutna U8n klarade alla kandidater oraklet, men leveransen var Astra 11/11 och Jev Noul 0/11.

  4. E/I · Harbor 0.22härstamning för fel · reparationE2E-DATA · källa · offentliga hasharjev-v3-20260927

    Det offentliga E2E-paketet bevarar härstamningen för förberedelse, fel och reparation, med hashar för källa och offentlig kopia hållna åtskilda. En maskerad offentlig kopia ersätter inte validering av den oförändrade källan.

  5. REPRODUCE · model-freejev-v3-20260927modellfri omräkningJev-forskningsrapport

    Att räkna om siffror från sparade svar och att köra på nytt är olika operationer. Rapporten är en offentlig teknisk rapport, inte en referentgranskad artikel.

Alla kopplingar med samma tjocklek. Välj ett flöde för att bara markera dess väg, med numrerade steg.

  • Heldragen · riktningen som förfrågningar, kandidater och resultat flödar i
  • Streckad · köra, avgöra, auktorisera, konfigurera
  • Lång streck-punkt · loggar och observation, skilda från domen
  • Kraftig svart linje · det valda flödet; siffrorna anger ordningen
  • Ruta · en kod- eller logggräns, sökvägen i rubriken
  • Inre chip · en komponent inom gränsen
  • Streckad ruta · utanför gränsen
  • loop · exekveringsharness
  • val av väg · dom · orakel
  • loggar · offentligt paket
  • transport · bedömningspanel

Den övre och den nedre delen är olika system. Forskningens konfigurationer och resultat är inte alla påslagna i dagens runtime-väg; den enda gemensamma länken är att båda anropar samma Jev-modell (jev-1.13.0).

Runtime-insläppskontroll
Runtimen håller toleransen för sannolikhetssumman strikt på 1e-5. Anropare från utvärderingen skickar sin egen registrerade tolerans i stället för att lätta på runtimens parser.
Forskningens omfång
U3 mäter bara bedömningsanrop; E/I omfattar actor och reparation. Deras nämnare blandas aldrig, och U8n:s 11 par är en analys i efterhand av en avbruten studie.

Tre beslutskontrakt

Choice

Returnerar
Sannolikhet per kategori eller alternativ
Avgör
Slutförande; en förfrågans avsikt och mål

Noul

Returnerar
P(true) för varje villkor
Avgör
Motsägelse; saknade belägg

Score

Returnerar
Väntevärde och fördelning på en fast ordnad skala
Avgör
Rankning av genererade kandidater

Väntevärdet placerar en kandidat på skalan; det används inte som konfidens.

Utvärdering och koppling

Varje kontrakt utvärderades på sin egen fasta indatapanel, och några kopplades in i experimentharnessens exekveringsväg för att se hur exekveringsagenten konsumerar bedömningen. På kartan ovan visar forskningsdelen de körningarna; runtime-delen är den valbara vägen i dagens GEODE.

Observationer som ändrade designen

  1. I5 → I6 · indatakontrakt
    1. Spårning av ett gemensamt leveransfel visade att bedömningens indata saknade uppgiftskontraktet och beskrev verktygsobservationer från samma förfrågan som tidigare kontext
    2. I6 levererade 6/6 i en separat körning med den reviderade koden och ett nytt konto
  2. U3 · samma 120 tillståndspar
    1. Median per anrop Astra 10.446 s · Jev 0.253 s; korrekta på samma urval 90/120 · 84/120
    2. Hastighet och träffsäkerhet vägs samman för varje beslut för att fastställa delegeringens omfång
  3. U2 · sannolikheter
    1. Jevs sannolikheter var bättre kalibrerade i storlek, men Astra rankade sina felaktiga bedömningar först på ett mer tillförlitligt sätt
    2. Kalibrering och felurval mäts separat, och tröskeln fryses på selection-uppdelningen
  4. U6a · avsikt och mål
    1. På 40 familjer skrivna av designern: Jev 216/220 · Astra 220/220, inom den förregistrerade marginalen −5 pp
    2. Fast klassificering av avsikt och mål avgränsad som nästa tillämpningskandidat
  5. U8n · leverans
    1. 11 par i efterhand från en avbruten körning: reparerade kandidater klarade oraklet i båda armarna; leverans Astra 11/11 · Jev Noul 0/11
    2. Bedömningar om saknade belägg blockerade korrekt leverans; den nuvarande Noul-uppsättningen saknar grund för att fungera som enda bedömare av leverans