GEODE
Autonomous Agent Harness
От наблюдението до следващото действие.
Локална рамка за автономни агенти, на която могат да се възлагат проучвания, работа с файлове и планирани задачи.
Приемането на кандидата и правомощието за пускане са отделни преценки.
Crucible е експериментално ядро, отделно от търсенето на политики. Къмит кандидат се валидира спрямо разрешените повърхности и замразен договор, сдвоените задачи се агрегират в отделен измервателен checkout, а резултатът е KEEP, REJECT или INVALID.
Вердикт на train
Един кандидат в рамките на разрешената повърхност се измерва при фиксиран договор в изолиран checkout, а предварително регистрирани правила решават KEEP, REJECT или INVALID.
propose → preflight
search/supervisor.pyизпълнение · решение: искане на кандидатsearch/producersSupervisor на търсенето иска кандидат от производител. Кандидатът на r14 беше по-ранен кандидат (r13), приложен отново от производителя replay, а не нов, генериран от LLM.
search/producersданни: един къмит кандидатpropose → preflight
search/supervisor.pyПроизводителят връща един къмит кандидат в рамките на разрешените пътища.
propose → preflight
search/supervisor.pyизпълнение · решение: разрешена повърхност · проверка на diffразрешена повърхност · diff на кандидатаcontract.pyDiff на кандидата трябва да остане в разрешената от договора повърхност, а замразеният оценител се проверява. В r14 и r35 разрешената цел беше един файл, tau2_agent_policy.md; core и реализацията на Crucible бяха фиксирани като път на оценителя.
evaluate → decide → record
search/supervisor.pyизпълнение · решение: изолиран checkoutизолиран от производителяmeasurement checkoutКандидатът се проверява в измервателен checkout, отделен от производителя.
изолиран от производителя
measurement checkoutизпълнение · решение: изпълнение при фиксиран договоризпълнение на tau2 · receiptassays/Базовата линия и кандидатът се изпълняват със същия договор, същия seed и същите задачи.
изпълнение на tau2 · receipt
assays/данни: диалог actor · потребителСреда tau2Агентът GEODE (actor) разговаря със симулирания потребител, притежаван от оценителя, в средата за задачи tau2.
изпълнение на tau2 · receipt
assays/данни: извиквания на моделаМодели actor · потребителВ r14 и r35 и actor, и симулираният потребител бяха gpt-5.4/high (абонамент).
верификатор на задачата
assays/данни: paired evidenceсдвоено · задача · агрегиране по семействаpromotion.pyРезултатите на верификатора на задачата се пазят като двойки базова линия–кандидат.
замразен оценител · предварително регистриран
contract.pyизпълнение · решение: предварително регистрирано агрегиранесдвоено · задача · агрегиране по семействаpromotion.pyСдвоените резултати се агрегират по задачи и по предварително регистрирани семейства, като условията за бюджет, покритие, инфраструктура и безопасност се проверяват отделно.
KEEP · REJECT · INVALID
promotion.pyизпълнение · решение: KEEP · head се преместваsearch/* headrefs/crucibleПри KEEP следващият head на refs/crucible/search/* става кандидатът. promotion_authority на вердикт на train е none.
Отхвърляне · невалидно · обратна връзка
REJECT и INVALID запазват head, а следващият кандидат получава само кодове за грешки и фиксирани ID на train задачи. INVALID не е нулева оценка.
верификатор на задачата
assays/данни: paired evidenceсдвоено · задача · агрегиране по семействаpromotion.pyРезултатите на верификатора на задачата се пазят като двойки базова линия–кандидат.
замразен оценител · предварително регистриран
contract.pyизпълнение · решение: предварително регистрирано агрегиранесдвоено · задача · агрегиране по семействаpromotion.pyСдвоените резултати се агрегират по задачи и по предварително регистрирани семейства, като условията за бюджет, покритие, инфраструктура и безопасност се проверяват отделно.
KEEP · REJECT · INVALID
promotion.pyданни: REJECT · INVALIDкодове за грешки · ID на train задачиattempt/feedback.jsonПри отхвърляне или невалидност предишният head остава, а кандидатът и записите му се запазват. Средната стойност на INVALID е null, а не нула.
кодове за грешки · ID на train задачи
attempt/feedback.jsonданни: кодове за грешки · ID на задачиsearch/producersОбратната връзка към следващия кандидат се ограничава до кодове за грешки и фиксирани ID на train задачи; траекториите или отговорите на оценителя не се предават.
Запечатана допустимост · отделно правомощие
Train KEEP само премества head на търсенето. Запечатаната допустимост стига само до eligible ref; пускането на продукта и внедряването са отделни правомощия извън Crucible.
evaluate → decide → record
search/supervisor.pyданни: record · ref receipttrain bundle · преизчислен KEEPattestation/bundle.pyTrain bundle е валиден само когато договорът, доказателствата за базовата линия и кандидата, преизчисленият KEEP, произходът на предложението, записът на supervisor и потвърждението за приложения ref са свързани. Той не е друго име за подобрение.
train bundle · преизчислен KEEP
attestation/bundle.pyизпълнение · решение: само train bundle · веднъжнесвързан тестов пакет · използван веднъжattestation/sealed.pyЗапечатаната оценка използва веднъж тестов пакет, несвързан с train, с нула инфраструктурни повторни опити.
ELIGIBLE · release_authority none
attestation/sealed.pyизпълнение · решение: само eligible refeligible/*refs/crucibleДори ELIGIBLE записва само refs/crucible/eligible/*, а release_authority е фиксирано на none.
Публични записи · r14 · r35
r14 беше train KEEP, а след това запечатан REJECT; r35 (13 юли 2026 г.) беше INVALID поради непълно покритие и инфраструктурно замърсяване (0 сдвоени реда, средно null), с непроменен head.
KEEP · REJECT · INVALID
promotion.pyданни: публичен verdict.jsongeode-eval-artifactsПубличните артефакти са нормализирани записи, фиксирани при 23e3428. Предварително регистрираният хеш на train конфигурацията на r14 се различава от байтовете на публичната конфигурация, затова цялата оригинална верига не е сертифицирана отново.
attestation/sealed.pyданни: sealed decision.jsonr14 · train KEEP → sealed REJECT
geode-eval-artifactsr14: KEEP на telecom train, 6 задачи × 1 опит (6 сдвоени реда, без правомощие за повишаване), след това отделен запечатан вердикт REJECT (без правомощие за пускане).
Всички връзки с еднаква дебелина. Изберете поток, за да се откроят само неговият път и номерираните стъпки.
- Плътна · посоката, в която текат заявките, кандидатите и резултатите
- Прекъсната · изпълнение, решение, разрешаване, конфигуриране
- Дебела черна линия · избраният поток; числата показват реда
- Кутия · граница на код или записи, с пътя в заглавието
- Вътрешен етикет · компонент в тази граница
- Прекъсната кутия · извън тази граница
- supervisor на търсенето
- договор · вердикт · удостоверяване
- ref · записи
- производители · изпълнение
Crucible е ядро, отделно от SIL; двете търсения не са един конвейер, който повишава кандидатите на другото. Кутията за пускане на продукта няма входяща връзка.
- Три правомощия
- Train KEEP премества head на търсенето, запечатаният ELIGIBLE записва eligible ref, а пускането на продукта е отделно решение извън Crucible. По-ранен вердикт никога не дава по-късно правомощие.
- Null не е нула
- r35 планираше 9 задачи × 3 опита (27 реда на рамо), но имаше 0 сравними двойки, затова средното и подобрението са null. Това не са 27 неуспешни задачи или 0% успеваемост.