GEODE
Autonomous Agent Harness
Od obserwacji do następnego działania.
Lokalny harness autonomicznego agenta, któremu można powierzyć badania, pracę na plikach i zadania zaplanowane.
Akceptacja kandydata i uprawnienie do wydania to osobne rozstrzygnięcia.
Crucible to jądro eksperymentalne oddzielone od przeszukiwania polityk. Commit kandydujący jest walidowany względem dozwolonych powierzchni i zamrożonego kontraktu, sparowane zadania są agregowane w osobnym checkoucie pomiarowym, a wynikiem jest KEEP, REJECT lub INVALID.
Werdykt train
Jeden kandydat w obrębie dozwolonej powierzchni jest mierzony na stałym kontrakcie w odizolowanym checkoucie, a wstępnie zarejestrowane reguły rozstrzygają o KEEP, REJECT lub INVALID.
propose → preflight
search/supervisor.pyuruchomienie · rozstrzygnięcie: prośba o kandydatasearch/producersSupervisor przeszukiwania prosi producenta o kandydata. Kandydat r14 był wcześniejszym kandydatem (r13) ponownie zastosowanym przez producenta replay, a nie nowym wygenerowanym przez LLM.
search/producersdane: jeden commit kandydującypropose → preflight
search/supervisor.pyProducent zwraca pojedynczy commit kandydujący w obrębie dozwolonych ścieżek.
propose → preflight
search/supervisor.pyuruchomienie · rozstrzygnięcie: dozwolona powierzchnia · kontrola diffudozwolona powierzchnia · diff kandydatacontract.pyDiff kandydata musi mieścić się w dozwolonej przez kontrakt powierzchni, a zamrożony ewaluator jest weryfikowany. W r14 i r35 dozwolonym celem był jeden plik, tau2_agent_policy.md; core i implementacja Crucible były zablokowane jako ścieżka ewaluatora.
evaluate → decide → record
search/supervisor.pyuruchomienie · rozstrzygnięcie: odizolowany checkoutodizolowany od producentameasurement checkoutKandydat jest sprawdzany w checkoucie pomiarowym oddzielonym od producenta.
odizolowany od producenta
measurement checkouturuchomienie · rozstrzygnięcie: przebieg na stałym kontrakcieprzebieg tau2 · receiptassays/Baseline i kandydat działają z tym samym kontraktem, seedem i zadaniami.
przebieg tau2 · receipt
assays/dane: dialog aktora · użytkownikaŚrodowisko tau2Agent GEODE (aktor) rozmawia w środowisku zadań tau2 z symulowanym użytkownikiem należącym do ewaluatora.
przebieg tau2 · receipt
assays/dane: wywołania modeluModele aktora · użytkownikaW r14 i r35 zarówno aktor, jak i symulowany użytkownik działali na gpt-5.4/high (subskrypcja).
weryfikator zadań
assays/dane: paired evidenceagregacja sparowana · zadanie · rodzinapromotion.pyWyniki weryfikatora zadań są zachowywane jako pary baseline–kandydat.
zamrożony ewaluator · wstępnie zarejestrowany
contract.pyuruchomienie · rozstrzygnięcie: wstępnie zarejestrowana agregacjaagregacja sparowana · zadanie · rodzinapromotion.pySparowane wyniki są agregowane według zadań i wstępnie zarejestrowanych rodzin, a warunki budżetu, pokrycia, infrastruktury i bezpieczeństwa sprawdzane są osobno.
KEEP · REJECT · INVALID
promotion.pyuruchomienie · rozstrzygnięcie: KEEP · head się przesuwasearch/* headrefs/cruciblePrzy KEEP kandydat staje się kolejnym headem refs/crucible/search/*. promotion_authority werdyktu train wynosi none.
Odrzucenie · nieważność · informacja zwrotna
REJECT i INVALID zachowują head, a kolejny kandydat dostaje tylko kody błędów i stałe ID zadań train. INVALID to nie wynik zero.
weryfikator zadań
assays/dane: paired evidenceagregacja sparowana · zadanie · rodzinapromotion.pyWyniki weryfikatora zadań są zachowywane jako pary baseline–kandydat.
zamrożony ewaluator · wstępnie zarejestrowany
contract.pyuruchomienie · rozstrzygnięcie: wstępnie zarejestrowana agregacjaagregacja sparowana · zadanie · rodzinapromotion.pySparowane wyniki są agregowane według zadań i wstępnie zarejestrowanych rodzin, a warunki budżetu, pokrycia, infrastruktury i bezpieczeństwa sprawdzane są osobno.
KEEP · REJECT · INVALID
promotion.pydane: REJECT · INVALIDkody błędów · ID zadań trainattempt/feedback.jsonPrzy odrzuceniu lub nieważności poprzedni head zostaje, a kandydat i jego zapisy są zachowywane. Średnia INVALID to null, nie zero.
kody błędów · ID zadań train
attempt/feedback.jsondane: kody błędów · ID zadańsearch/producersInformacja zwrotna dla kolejnego kandydata ogranicza się do kodów błędów i stałych ID zadań train; żadne trajektorie ani odpowiedzi ewaluatora nie są przekazywane.
Zapieczętowana kwalifikacja · osobne uprawnienie
Train KEEP przesuwa tylko head przeszukiwania. Zapieczętowana kwalifikacja dociera tylko do eligible ref; wydanie i wdrożenie produktu to osobne uprawnienia poza Crucible.
evaluate → decide → record
search/supervisor.pydane: record · ref receipttrain bundle · przeliczony KEEPattestation/bundle.pyTrain bundle obowiązuje tylko wtedy, gdy łączą się kontrakt, dowody baseline i kandydata, przeliczony KEEP, rodowód propozycji, zapis supervisora i receipt zastosowanego ref. To nie inna nazwa poprawy.
train bundle · przeliczony KEEP
attestation/bundle.pyuruchomienie · rozstrzygnięcie: tylko train bundle · razrozłączny test pack · użyty razattestation/sealed.pyZapieczętowana ewaluacja używa test packu rozłącznego z train, jednorazowo, z zerem ponowień infrastrukturalnych.
ELIGIBLE · release_authority none
attestation/sealed.pyuruchomienie · rozstrzygnięcie: tylko eligible refeligible/*refs/crucibleNawet ELIGIBLE zapisuje tylko refs/crucible/eligible/*, a release_authority jest ustalone na none.
Zapisy publiczne · r14 · r35
r14: train KEEP, potem zapieczętowane REJECT; r35 (July 13, 2026): INVALID z powodu niepełnego pokrycia i skażenia infrastruktury (0 sparowanych wierszy, średnia null), head bez zmian.
KEEP · REJECT · INVALID
promotion.pydane: publiczny verdict.jsongeode-eval-artifactsPubliczne artefakty to znormalizowane zapisy przypięte w 23e3428. Wstępnie zarejestrowany hash konfiguracji train w r14 różni się od publicznych bajtów konfiguracji, więc pełny oryginalny łańcuch nie jest ponownie certyfikowany.
attestation/sealed.pydane: sealed decision.jsonr14 · train KEEP → sealed REJECT
geode-eval-artifactsr14: KEEP na telecom train, 6 zadań × 1 próba (6 sparowanych wierszy, bez uprawnienia do promocji), potem osobny zapieczętowany werdykt REJECT (bez uprawnienia do wydania).
Każde połączenie z tą samą wagą. Wybór przepływu wyróżnia tylko jego ścieżkę z ponumerowanymi krokami.
- Linia ciągła · kierunek przepływu żądań, kandydatów i wyników
- Linia przerywana · uruchamianie, rozstrzyganie, autoryzacja, konfiguracja
- Gruba czarna linia · wybrany przepływ; liczby podają kolejność
- Ramka · granica kodu lub zapisu, ścieżka w nagłówku
- Wewnętrzny element · komponent w tej granicy
- Przerywana ramka · poza tą granicą
- supervisor przeszukiwania
- kontrakt · werdykt · atestacja
- refy · zapisy
- producenci · wykonanie
Crucible to jądro oddzielne od SIL; oba przeszukiwania nie tworzą jednego potoku, który promuje kandydatów drugiego. Ramka wydania produktu nie ma żadnego połączenia przychodzącego.
- Trzy uprawnienia
- Train KEEP przesuwa head przeszukiwania, zapieczętowane ELIGIBLE zapisuje eligible ref, a wydanie produktu to osobna decyzja poza Crucible. Wcześniejszy werdykt nigdy nie daje późniejszego uprawnienia.
- Null to nie zero
- r35 planował 9 zadań × 3 próby (27 wierszy na ramię), ale miał 0 porównywalnych par, więc jego średnia i poprawa wynoszą null. To nie 27 nieudanych zadań ani wskaźnik sukcesu 0%.