PL
Geodi, oficjalna pikselowa postać GEODE
Powrót do sali

GEODE

Autonomous Agent Harness

Od obserwacji do następnego działania.

Lokalny harness autonomicznego agenta, któremu można powierzyć badania, pracę na plikach i zadania zaplanowane.

2026.02.21 — present

Projektowanie, ocena, weryfikacja: autor · implementacja: Claude · przegląd: Codex

  • CLIOpublikowane · PyPI
  • Serwer MCPZaimplementowane

Decision Offloading w. Jev

Które z pośrednich decyzji podejmowanych przez agenta w trakcie zadania można przekazać Jev, modelowi wyłącznie decyzyjnemu? To badanie sprawdza, czy niezależnie zweryfikowana jakość zadań utrzymuje się po takim przekazaniu, licząc przygotowanie, powtarzane oceny, naprawę i końcowe dostarczenie. Wczesnych pilotaży nie dało się wyjaśnić samą zamianą wywołania oceniającego, dlatego kontrakt wejścia, kontrakt decyzji, polityka prawdopodobieństwa i sposób, w jaki agent wykonawczy wykorzystuje decyzję, zostały rozdzielone na osobne eksperymenty.

Mapa Jev · środowisko wykonawcze z przypiętego commitu 9e2c041, badania z zapisów z September 2026
Ścieżki ocen Jev: integracja ze środowiskiem wykonawczym i badaniaGórna część to opcjonalna ścieżka oceny w obecnym środowisku wykonawczym GEODE. Tylko gdy judgment_engine ustawiono na jev, końcowa weryfikacja i refleksja wywołują raz Jev na TypeSafe SystemOne, a odpowiedź jest używana dopiero po kontroli dopuszczenia typu, zakresu i sumy prawdopodobieństw. Tylko supported zalicza końcową weryfikację, a wynik trafia do polityki PostVerify i Stop z rozdziału o ukończeniu. Dolna część to badania Jev v3 poza środowiskiem wykonawczym: panel stałych stanów (U3) porównał oceny Astra i Jev, przebiegi E/I na Harbor 0.22 zmieniały tylko ścieżkę oceny i osobno sprawdzały wyniki i dostarczenie niezależną wyrocznią regułową, a publiczny pakiet rozdziela hashe źródłowe i publiczne oraz udostępnia przeliczenie bez modelu.TypeSafe SystemOnejev-1.13.0 · tylko ocenaSędzia Astra · model aktoragpt-6-astra/xhigh · subskrypcjaRaport z badań Jevpubliczny raport technicznycore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPolityka PostVerify · Stopcore/agent/verify.pykońcowy werdykt · jedno pytanie Choicezalicza tylko supported · tylko tekstadapters/typesafe.pySystemOne · jedno wywołanie · bez fallbackudopuszczenie · tolerancja sumy 1e-5loop/_reflection.pyrefleksja · klasyfikacja dowodówmemory · observabilitytimeline · wiersze decyzji w ledgerU3 · panel stałych stanów120 par · 27 źródeł · bez aktoraAstra · Jev · to samo pytanieE/I · Harbor 0.22aktor Astra · narzędzia · naprawaścieżka sędziego · Astra · Jev · Jev-firstrule oraclepoprawność · dostarczenie osobnojev-v3-20260927E2E-DATA · hashe źródłowe · publiczneREPRODUCE · model-freeŚrodowisko wykonawcze GEODE · 9e2c041ocena opcjonalna · domyślnie llmBadania Jev v3 · Sept 2026poza środowiskiem wykonawczym · osobny harness1wybór ścieżki2 żądanie · kandydat · obserwacje · końcowy werdykt · jedno pytanie Choice → SystemOne · jedno wywołanie · bez fallbacku23 jedno wywołanie SystemOne · SystemOne · jedno wywołanie · bez fallbacku → TypeSafe SystemOne34 dopuszczone Choice · dopuszczenie · tolerancja sumy 1e-5 → zalicza tylko supported · tylko tekst45passed · reflection6wiersze werdyktów1ten sam wybór2klasyfikacja dowodów3 jedno wywołanie SystemOne · SystemOne · jedno wywołanie · bez fallbacku → TypeSafe SystemOne34 klasyfikacja · dopuszczenie · tolerancja sumy 1e-5 → refleksja · klasyfikacja dowodów41Ocena Jev2Ocena Astra3wyniki panelu · raport1generowanie · narzędzia · naprawa2ścieżka oceny ukończenia3 niezależna kontrola · E/I · Harbor 0.22 → poprawność · dostarczenie osobno34rodowód awarii · naprawy5przeliczenie bez modelu

Środowisko wykonawcze · końcowy werdykt

Przy wybranym Jev końcowa weryfikacja wywołuje raz Jev z jednym pytaniem Choice i zalicza tylko dopuszczony werdykt supported.

  1. judgment_engine · llm | jevcore/config/judgment.pywybór ścieżkikońcowy werdykt · jedno pytanie Choicecore/agent/verify.py

    Ścieżka Jev jest używana tylko wtedy, gdy judgment_engine ustawiono na jev (domyślnie llm). provider auto wybiera TypeSafe, a potem OpenRouter, zależnie od tego, który ma klucz; bez klucza pozostaje ścieżka LLM judge. To nie fallback, który ponawia nieudane żądanie gdzie indziej.

  2. końcowy werdykt · jedno pytanie Choicecore/agent/verify.pyżądanie · kandydat · obserwacjeSystemOne · jedno wywołanie · bez fallbackuadapters/typesafe.py

    Oryginalne żądanie i kandydat są maskowane i przycinane, a następnie wysyłane z obserwacjami narzędzi jako jedno pytanie Choice (supported, contradicted, insufficient_evidence). Wywołanie oceniające nie dostaje narzędzi (allow_tools=False). Ocena wymagająca obrazów nie jest wysyłana do Jev i staje się verification_error.

  3. SystemOne · jedno wywołanie · bez fallbackuadapters/typesafe.pyjedno wywołanie SystemOneTypeSafe SystemOne

    Jedno wywołanie, bezpośrednio do TypeSafe lub przez OpenRouter, bez przeskoku do innego dostawcy. Jev nigdy nie jest używany jako główny model generujący tekst.

  4. dopuszczenie · tolerancja sumy 1e-5adapters/typesafe.pydopuszczone Choicezalicza tylko supported · tylko tekstcore/agent/verify.py

    Odpowiedź jest używana dopiero po kontroli dopuszczenia typu, zakresu i sumy prawdopodobieństw (tolerancja 1e-5). Zalicza tylko supported; contradicted i insufficient_evidence stają się sygnałem ponowienia ze stałą kolejną kontrolą. Odpowiedź, która nie jest end_turn lub nie przechodzi dopuszczenia, staje się verification_error, co nie jest sygnałem ponowienia (should_retry=False). Wynik to rzut binarny, a nie skalibrowane prawdopodobieństwo.

  5. zalicza tylko supported · tylko tekstcore/agent/verify.pypassed · reflectionPolityka PostVerify · Stoploop/_lifecycle.py

    Werdykt trafia do polityki PostVerify i Stop z rozdziału o ukończeniu. Werdykt jest wejściem tej polityki, a nie uprawnieniem; gdy czeka na przegląd, kandydat pozostaje tylko jako pending_text, a końcowa odpowiedź jest pusta, więc nic nie zostaje dostarczone.

  6. Polityka PostVerify · Stoploop/_lifecycle.pywiersze werdyktówtimeline · wiersze decyzji w ledgermemory · observability

    Decyzje werdyktów są zapisywane w timeline i evidence ledger: zapisy środowiska wykonawczego, oddzielne od artefaktów badawczych.

Środowisko wykonawcze · refleksja

Ten sam wybór steruje klasyfikacją dowodów w refleksji; zdanie o kolejnej kontroli ustala kod.

  1. judgment_engine · llm | jevcore/config/judgment.pyten sam wybórrefleksja · klasyfikacja dowodówloop/_reflection.py

    Ten sam wybór dotyczy refleksji.

  2. refleksja · klasyfikacja dowodówloop/_reflection.pyklasyfikacja dowodówSystemOne · jedno wywołanie · bez fallbackuadapters/typesafe.py

    Refleksja używa Jev do klasyfikacji ograniczonych dowodów i dołącza kolejną kontrolę zdefiniowaną w kodzie. Nie zmienia hipotez przekonań ani pewności siebie.

  3. SystemOne · jedno wywołanie · bez fallbackuadapters/typesafe.pyjedno wywołanie SystemOneTypeSafe SystemOne

    Jedno wywołanie, bezpośrednio do TypeSafe lub przez OpenRouter, bez przeskoku do innego dostawcy. Jev nigdy nie jest używany jako główny model generujący tekst.

  4. dopuszczenie · tolerancja sumy 1e-5adapters/typesafe.pyklasyfikacjarefleksja · klasyfikacja dowodówloop/_reflection.py

    Tylko dopuszczona klasyfikacja aktualizuje stan refleksji; przy niepowodzeniu kolejna runda ponawia próbę z tego samego poprzedniego stanu.

Badania · stały panel U3

Bez aktora porównywano parami oceny Jev i Astra dla tego samego stanu i pytania.

  1. Astra · Jev · to samo pytanieU3 · panel stałych stanówOcena JevTypeSafe SystemOne

    U3 (oryginalny commit eksperymentu 2f2b494): 120 stałych stanów · 27 klastrów źródłowych · 240 wywołań. Każdy stan i każde pytanie trafiały do Jev i Astra jako jedna para; bez aktora, narzędzi i Harbor.

  2. Astra · Jev · to samo pytanieU3 · panel stałych stanówOcena AstraSędzia Astra · model aktora

    Poprawne na tej samej próbie: Astra 90/120, Jev 84/120; mediana na wywołanie 10.446 s wobec 0.253 s. To wyłącznie opóźnienie wywołania oceniającego, a nie czas zadania ani oszczędność kosztów.

  3. U3 · panel stałych stanówwyniki panelu · raportRaport z badań Jev

    Wyniki U3 dotyczące trafności i opóźnień są w publicznym raporcie technicznym. Nie twierdzi się tu, czy ten panel jest częścią publicznego pakietu E2E.

Badania · przebiegi E/I

Przy Astra jako aktorze zmieniała się tylko ścieżka oceny, a niezależna wyrocznia regułowa osobno sprawdzała wyniki i dostarczenie.

  1. aktor Astra · narzędzia · naprawaE/I · Harbor 0.22generowanie · narzędzia · naprawaSędzia Astra · model aktora

    W E/I na Harbor 0.22 aktor Astra odpowiada za generowanie, wywołania narzędzi i naprawę; zmienia się tylko ścieżka oceny.

  2. ścieżka sędziego · Astra · Jev · Jev-firstE/I · Harbor 0.22ścieżka oceny ukończeniaTypeSafe SystemOne

    E7 (oryginalny commit eksperymentu 1f65534): 12 autorskich zadań syntetycznych × 3 konfiguracje × 2 przebiegi = 72 przebiegi, 24/24 na konfigurację. Konfiguracja Jev-first miała 0/24 faktycznych fallbacków, więc jej efektu nie zmierzono.

  3. E/I · Harbor 0.22niezależna kontrolapoprawność · dostarczenie osobnorule oracle

    Niezależna wyrocznia regułowa sprawdza wynik końcowy, a faktyczne końcowe dostarczenie liczone jest osobno. W 11 parach post hoc z przerwanego U8n każdy kandydat przeszedł wyrocznię, a jednak dostarczenie wyniosło Astra 11/11 i Jev Noul 0/11.

  4. E/I · Harbor 0.22rodowód awarii · naprawyE2E-DATA · hashe źródłowe · publicznejev-v3-20260927

    Publiczny pakiet E2E zachowuje rodowody przygotowania, awarii i naprawy, a hashe źródła i kopii publicznej są przechowywane osobno. Zamaskowana kopia publiczna nie zastępuje walidacji niezmienionego źródła.

  5. REPRODUCE · model-freejev-v3-20260927przeliczenie bez modeluRaport z badań Jev

    Przeliczanie wartości z zapisanych odpowiedzi i nowe uruchomienie to różne operacje. Raport jest publicznym raportem technicznym, a nie artykułem recenzowanym.

Każde połączenie z tą samą wagą. Wybór przepływu wyróżnia tylko jego ścieżkę z ponumerowanymi krokami.

  • Linia ciągła · kierunek przepływu żądań, kandydatów i wyników
  • Linia przerywana · uruchamianie, rozstrzyganie, autoryzacja, konfiguracja
  • Długa kreska z kropką · zapisy i obserwacja, oddzielnie od werdyktu
  • Gruba czarna linia · wybrany przepływ; liczby podają kolejność
  • Ramka · granica kodu lub zapisu, ścieżka w nagłówku
  • Wewnętrzny element · komponent w tej granicy
  • Przerywana ramka · poza tą granicą
  • pętla · harness wykonawczy
  • wybór ścieżki · werdykt · wyrocznia
  • zapisy · pakiet publiczny
  • transport · panel ocen

Górna i dolna część to różne systemy. Konfiguracje i wyniki badań nie są w całości włączone w obecnej ścieżce środowiska wykonawczego; jedynym wspólnym ogniwem jest to, że obie wywołują ten sam model Jev (jev-1.13.0).

Dopuszczenie w środowisku wykonawczym
Środowisko wykonawcze utrzymuje ścisłą tolerancję sumy prawdopodobieństw 1e-5. Wywołujący po stronie ewaluacji przekazują własną zapisaną tolerancję, zamiast luzować parser środowiska wykonawczego.
Zakres badań
U3 mierzy wyłącznie wywołania oceniające; E/I obejmuje aktora i naprawę. Ich mianowników nigdy się nie miesza, a 11 par U8n to analiza post hoc przerwanego badania.

Trzy kontrakty decyzji

Choice

Zwraca
Prawdopodobieństwo dla każdej kategorii lub opcji
Rozstrzyga
Ukończenie; intencja i cel żądania

Noul

Zwraca
P(true) dla każdego warunku
Rozstrzyga
Sprzeczność; brak dowodów

Score

Zwraca
Wartość oczekiwana i rozkład na stałej skali porządkowej
Rozstrzyga
Ranking wygenerowanych kandydatów

Wartość oczekiwana umieszcza kandydata na skali; nie jest używana jako pewność.

Ewaluacja i podłączenie

Każdy kontrakt oceniano na jego własnym, stałym panelu wejść, a niektóre podłączono do ścieżki wykonania harnessu eksperymentalnego, aby zobaczyć, jak agent wykonawczy wykorzystuje decyzję. Na mapie powyżej część badawcza pokazuje te przebiegi; część środowiska wykonawczego to opcjonalna ścieżka w obecnym GEODE.

Obserwacje, które zmieniły projekt

  1. I5 → I6 · kontrakt wejścia
    1. Prześledzenie wspólnej awarii dostarczenia pokazało, że wejściu oceny brakowało kontraktu zadania, a obserwacje narzędzi z tego samego żądania opisywano jako kontekst z przeszłości
    2. I6 dostarczył 6/6 w osobnym przebiegu z poprawionym kodem i nowym kontem
  2. U3 · te same 120 par stanów
    1. Mediana na wywołanie Astra 10.446 s · Jev 0.253 s; poprawne na tej samej próbie 90/120 · 84/120
    2. Szybkość i trafność są ważone razem dla każdej decyzji, by ustalić zakres delegowania
  3. U2 · prawdopodobieństwa
    1. Prawdopodobieństwa Jev były lepiej skalibrowane co do wielkości, ale Astra pewniej wysuwała na przód swoje błędne oceny
    2. Kalibracja i wychwytywanie błędów są mierzone osobno, a próg jest zamrażany na podziale selection
  4. U6a · intencja i cel
    1. Na 40 rodzinach przygotowanych przez projektanta Jev 216/220 · Astra 220/220, w granicach wstępnie zarejestrowanego marginesu −5 pp
    2. Stała klasyfikacja intencji i celu zawężona jako kolejny kandydat do zastosowania
  5. U8n · dostarczenie
    1. 11 par post hoc z przerwanego przebiegu: naprawieni kandydaci przeszli wyrocznię w obu ramionach; dostarczenie Astra 11/11 · Jev Noul 0/11
    2. Oceny o braku dowodów blokowały poprawne dostarczenie; obecna konfiguracja Noul nie ma podstaw, by służyć jako jedyny sędzia dostarczenia