CS
Geodi, oficiální pixelová postava GEODE
Zpět do sálu

GEODE

Autonomous Agent Harness

Od pozorování k další akci.

Lokální harness autonomního agenta, kterému lze svěřit výzkum, práci se soubory a plánované úlohy.

2026.02.21 — present

Návrh, posouzení, ověření: autor · implementace: Claude · revize: Codex

  • CLIZveřejněno · PyPI
  • Server MCPImplementováno

Decision Offloading w. Jev

Která z mezilehlých rozhodnutí, jež agent činí během úlohy, lze předat Jev, modelu určenému jen k rozhodování? Tento výzkum ověřuje, zda nezávisle ověřená kvalita úloh vydrží i po takovém předání, včetně přípravy, opakovaných posouzení, oprav a konečného doručení. Rané piloty nešlo vysvětlit pouhou záměnou posuzovacího volání, proto byly kontrakt vstupu, kontrakt rozhodnutí, pravděpodobnostní politika a způsob, jak prováděcí agent rozhodnutí využívá, rozděleny do samostatných experimentů.

Mapa Jev · běhové prostředí z připnutého commitu 9e2c041, výzkum ze záznamů ze September 2026
Cesty posuzování Jev: integrace do běhového prostředí a výzkumHorní část je volitelná cesta posuzování v dnešním běhovém prostředí GEODE. Jen když je judgment_engine nastaven na jev, volají konečné ověření a reflexe jednou Jev na TypeSafe SystemOne a odpověď se použije až po kontrole přijetí typu, rozsahu a součtu pravděpodobností. Konečným ověřením projde jen supported a výsledek jde do politiky PostVerify a Stop z kapitoly o dokončení. Dolní část je výzkum Jev v3 mimo běhové prostředí: panel pevných stavů (U3) porovnal posouzení Astra a Jev, běhy E/I na Harbor 0.22 měnily jen cestu posuzování a výsledky a doručení kontrolovaly zvlášť nezávislým pravidlovým orákulem a veřejný balík drží zdrojové a veřejné hashe odděleně a nabízí přepočet bez modelu.TypeSafe SystemOnejev-1.13.0 · jen posuzováníSoudce Astra · model aktéragpt-6-astra/xhigh · předplatnéVýzkumná zpráva Jevveřejná technická zprávacore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPolitika PostVerify · Stopcore/agent/verify.pykonečné rozhodnutí · jedna otázka Choiceprojde jen supported · jen textadapters/typesafe.pySystemOne · jedno volání · bez fallbackupřijetí · tolerance součtu 1e-5loop/_reflection.pyreflexe · klasifikace dokladůmemory · observabilitytimeline · řádky rozhodnutí v ledgeruU3 · panel pevných stavů120 párů · 27 zdrojů · bez aktéraAstra · Jev · stejná otázkaE/I · Harbor 0.22aktér Astra · nástroje · opravacesta soudce · Astra · Jev · Jev-firstrule oraclesprávnost · doručení zvlášťjev-v3-20260927E2E-DATA · zdrojové · veřejné hasheREPRODUCE · model-freeBěhové prostředí GEODE · 9e2c041volitelné posuzování · výchozí llmVýzkum Jev v3 · Sept 2026mimo běhové prostředí · samostatný harness1volba cesty2 požadavek · kandidát · pozorování · konečné rozhodnutí · jedna otázka Choice → SystemOne · jedno volání · bez fallbacku23 jedno volání SystemOne · SystemOne · jedno volání · bez fallbacku → TypeSafe SystemOne34 přijaté Choice · přijetí · tolerance součtu 1e-5 → projde jen supported · jen text45passed · reflection6řádky rozhodnutí1stejná volba2klasifikace dokladů3 jedno volání SystemOne · SystemOne · jedno volání · bez fallbacku → TypeSafe SystemOne34 klasifikace · přijetí · tolerance součtu 1e-5 → reflexe · klasifikace dokladů41Posouzení Jev2Posouzení Astra3výsledky panelu · zpráva1generování · nástroje · oprava2cesta posuzování dokončení3 nezávislá kontrola · E/I · Harbor 0.22 → správnost · doručení zvlášť34původ selhání · oprav5přepočet bez modelu

Běhové prostředí · konečné rozhodnutí

Při zvoleném Jev volá konečné ověření jednou Jev s jednou otázkou Choice a projde jen přijaté rozhodnutí supported.

  1. judgment_engine · llm | jevcore/config/judgment.pyvolba cestykonečné rozhodnutí · jedna otázka Choicecore/agent/verify.py

    Cesta Jev se používá jen tehdy, když je judgment_engine nastaven na jev (výchozí llm). provider auto zvolí TypeSafe, potom OpenRouter, podle toho, kde je klíč; bez klíče zůstává cesta LLM judge. Nejde o fallback, který by neúspěšný požadavek opakoval jinde.

  2. konečné rozhodnutí · jedna otázka Choicecore/agent/verify.pypožadavek · kandidát · pozorováníSystemOne · jedno volání · bez fallbackuadapters/typesafe.py

    Původní požadavek a kandidát se zamaskují a omezí a pak se odešlou s pozorováními nástrojů jako jedna otázka Choice (supported, contradicted, insufficient_evidence). Posuzovací volání nedostává nástroje (allow_tools=False). Posouzení, které potřebuje obrázky, se do Jev neposílá a stává se verification_error.

  3. SystemOne · jedno volání · bez fallbackuadapters/typesafe.pyjedno volání SystemOneTypeSafe SystemOne

    Jedno volání, přímo na TypeSafe nebo přes OpenRouter, bez přeskoku k jinému poskytovateli. Jev se nikdy nepoužívá jako kořenový model pro generování textu.

  4. přijetí · tolerance součtu 1e-5adapters/typesafe.pypřijaté Choiceprojde jen supported · jen textcore/agent/verify.py

    Odpověď se použije až po kontrole přijetí typu, rozsahu a součtu pravděpodobností (tolerance 1e-5). Projde jen supported; contradicted a insufficient_evidence se stávají signálem k opakování s pevnou další kontrolou. Odpověď, která není end_turn nebo neprojde přijetím, se stává verification_error, což signálem k opakování není (should_retry=False). Skóre je binární projekce, nikoli kalibrovaná pravděpodobnost.

  5. projde jen supported · jen textcore/agent/verify.pypassed · reflectionPolitika PostVerify · Stoploop/_lifecycle.py

    Rozhodnutí jde do politiky PostVerify a Stop z kapitoly o dokončení. Rozhodnutí je vstupem této politiky, nikoli oprávněním; když čeká na revizi, kandidát zůstává jen jako pending_text a konečná odpověď je prázdná, takže se nic nedoručí.

  6. Politika PostVerify · Stoploop/_lifecycle.pyřádky rozhodnutítimeline · řádky rozhodnutí v ledgerumemory · observability

    Rozhodnutí se zaznamenávají do timeline a evidence ledger: záznamy běhového prostředí, oddělené od výzkumných artefaktů.

Běhové prostředí · reflexe

Stejná volba řídí klasifikaci dokladů v reflexi; větu o další kontrole určuje kód.

  1. judgment_engine · llm | jevcore/config/judgment.pystejná volbareflexe · klasifikace dokladůloop/_reflection.py

    Stejná volba platí i pro reflexi.

  2. reflexe · klasifikace dokladůloop/_reflection.pyklasifikace dokladůSystemOne · jedno volání · bez fallbackuadapters/typesafe.py

    Reflexe používá Jev ke klasifikaci omezených dokladů a připojuje další kontrolu danou kódem. Nemění hypotézy přesvědčení ani sebedůvěru.

  3. SystemOne · jedno volání · bez fallbackuadapters/typesafe.pyjedno volání SystemOneTypeSafe SystemOne

    Jedno volání, přímo na TypeSafe nebo přes OpenRouter, bez přeskoku k jinému poskytovateli. Jev se nikdy nepoužívá jako kořenový model pro generování textu.

  4. přijetí · tolerance součtu 1e-5adapters/typesafe.pyklasifikacereflexe · klasifikace dokladůloop/_reflection.py

    Stav reflexe aktualizuje jen přijatá klasifikace; při selhání další kolo opakuje pokus ze stejného předchozího stavu.

Výzkum · pevný panel U3

Bez aktéra se po párech porovnávala posouzení Jev a Astra ke stejnému stavu a otázce.

  1. Astra · Jev · stejná otázkaU3 · panel pevných stavůPosouzení JevTypeSafe SystemOne

    U3 (původní commit experimentu 2f2b494): 120 pevných stavů · 27 zdrojových shluků · 240 volání. Každý stav a otázka šly do Jev a Astra jako jeden pár; bez aktéra, nástrojů a Harbor.

  2. Astra · Jev · stejná otázkaU3 · panel pevných stavůPosouzení AstraSoudce Astra · model aktéra

    Správně na stejném vzorku: Astra 90/120, Jev 84/120; medián na volání 10.446 s oproti 0.253 s. Jde jen o latenci posuzovacího volání, nikoli o čas úlohy ani úsporu nákladů.

  3. U3 · panel pevných stavůvýsledky panelu · zprávaVýzkumná zpráva Jev

    Výsledky U3 k přesnosti a latenci jsou ve veřejné technické zprávě. Zda je tento panel součástí veřejného balíku E2E, se zde netvrdí.

Výzkum · běhy E/I

S Astra jako aktérem se měnila jen cesta posuzování a nezávislé pravidlové orákulum kontrolovalo výsledky a doručení zvlášť.

  1. aktér Astra · nástroje · opravaE/I · Harbor 0.22generování · nástroje · opravaSoudce Astra · model aktéra

    V E/I na Harbor 0.22 má aktér Astra na starosti generování, volání nástrojů a opravy; mění se jen cesta posuzování.

  2. cesta soudce · Astra · Jev · Jev-firstE/I · Harbor 0.22cesta posuzování dokončeníTypeSafe SystemOne

    E7 (původní commit experimentu 1f65534): 12 autorských syntetických úloh × 3 konfigurace × 2 běhy = 72 běhů, 24/24 na konfiguraci. Konfigurace Jev-first měla 0/24 skutečných fallbacků, takže její efekt nebyl změřen.

  3. E/I · Harbor 0.22nezávislá kontrolasprávnost · doručení zvlášťrule oracle

    Nezávislé pravidlové orákulum kontroluje konečný výsledek a skutečné konečné doručení se počítá zvlášť. V 11 párech post hoc z přerušeného U8n prošel orákulem každý kandidát, a přesto bylo doručení Astra 11/11 a Jev Noul 0/11.

  4. E/I · Harbor 0.22původ selhání · opravE2E-DATA · zdrojové · veřejné hashejev-v3-20260927

    Veřejný balík E2E uchovává původ přípravy, selhání a oprav a hashe zdroje a veřejné kopie drží odděleně. Zamaskovaná veřejná kopie nenahrazuje validaci nezměněného zdroje.

  5. REPRODUCE · model-freejev-v3-20260927přepočet bez modeluVýzkumná zpráva Jev

    Přepočet hodnot z uložených odpovědí a nové spuštění jsou různé operace. Zpráva je veřejnou technickou zprávou, nikoli recenzovaným článkem.

Každé spojení se stejnou váhou. Výběr toku zvýrazní jen jeho cestu s očíslovanými kroky.

  • Plná čára · směr toku požadavků, kandidátů a výsledků
  • Přerušovaná čára · spuštění, rozhodnutí, autorizace, konfigurace
  • Dlouhá čerchovaná · záznamy a pozorování, oddělené od rozhodnutí
  • Silná černá čára · zvolený tok; čísla udávají pořadí
  • Rámeček · hranice kódu nebo záznamu, cesta v záhlaví
  • Vnitřní štítek · komponenta v této hranici
  • Přerušovaný rámeček · mimo tuto hranici
  • smyčka · prováděcí harness
  • volba cesty · rozhodnutí · orákulum
  • záznamy · veřejný balík
  • přenos · panel posouzení

Horní a dolní část jsou různé systémy. Konfigurace a výsledky výzkumu nejsou v dnešní cestě běhového prostředí zapnuty celé; jediným společným pojítkem je, že obě volají stejný model Jev (jev-1.13.0).

Přijetí v běhovém prostředí
Běhové prostředí drží přísnou toleranci součtu pravděpodobností 1e-5. Volající na straně evaluace předávají vlastní zaznamenanou toleranci, místo aby uvolňovali parser běhového prostředí.
Rozsah výzkumu
U3 měří jen posuzovací volání; E/I zahrnuje aktéra a opravu. Jejich jmenovatele se nikdy nemísí a 11 párů U8n je analýza post hoc přerušené studie.

Tři kontrakty rozhodnutí

Choice

Vrací
Pravděpodobnost pro každou kategorii nebo možnost
Rozhoduje
Dokončení; záměr a cíl požadavku

Noul

Vrací
P(true) pro každou podmínku
Rozhoduje
Rozpor; chybějící doklady

Score

Vrací
Očekávanou hodnotu a rozdělení na pevné ordinální škále
Rozhoduje
Pořadí vygenerovaných kandidátů

Očekávaná hodnota umisťuje kandidáta na škále; nepoužívá se jako míra jistoty.

Evaluace a zapojení

Každý kontrakt byl hodnocen na vlastním pevném panelu vstupů a některé byly zapojeny do prováděcí cesty experimentálního harnessu, aby se ukázalo, jak prováděcí agent rozhodnutí využívá. Na mapě výše ukazuje výzkumná část tyto běhy; část běhového prostředí je volitelná cesta v dnešním GEODE.

Pozorování, která změnila návrh

  1. I5 → I6 · kontrakt vstupu
    1. Dohledání společného selhání doručení ukázalo, že vstupu posouzení chyběl kontrakt úlohy a pozorování nástrojů ze stejného požadavku byla popsána jako minulý kontext
    2. I6 doručil 6/6 v samostatném běhu s upraveným kódem a novým účtem
  2. U3 · stejných 120 párů stavů
    1. Medián na volání Astra 10.446 s · Jev 0.253 s; správně na stejném vzorku 90/120 · 84/120
    2. Rychlost a přesnost se u každého rozhodnutí váží společně, aby se určil rozsah delegace
  3. U2 · pravděpodobnosti
    1. Pravděpodobnosti Jev byly lépe kalibrované co do velikosti, ale Astra spolehlivěji řadil své chybné posudky dopředu
    2. Kalibrace a výběr chyb se měří zvlášť a práh se zmrazí na rozdělení selection
  4. U6a · záměr a cíl
    1. Na 40 rodinách připravených autorem návrhu Jev 216/220 · Astra 220/220, v rámci předregistrované marže −5 pp
    2. Pevná klasifikace záměru a cíle zúžena jako další kandidát na nasazení
  5. U8n · doručení
    1. 11 párů post hoc z přerušeného běhu: opravení kandidáti prošli orákulem v obou ramenech; doručení Astra 11/11 · Jev Noul 0/11
    2. Posudky o chybějících dokladech blokovaly správné doručení; současná konfigurace Noul nemá podklady, aby sloužila jako jediný soudce doručení