BG
Geodi, официалният пикселен персонаж на GEODE
Обратно в залата

GEODE

Autonomous Agent Harness

От наблюдението до следващото действие.

Локална рамка за автономни агенти, на която могат да се възлагат проучвания, работа с файлове и планирани задачи.

2026.02.21 — present

Проектиране, преценка, проверка: Author · реализация: Claude · преглед: Codex

  • CLIПубликувано · PyPI
  • MCP сървърРеализирано

Decision Offloading w. Jev

Кои от междинните решения, които агентът взема по време на задача, могат да се предадат на Jev, модел само за решения? Това изследване проверява дали независимо провереното качество на задачата се запазва след предаването им, като се отчитат подготовката, повторните преценки, поправката и крайното предаване. Ранните пилоти не можеха да се обяснят само със замяната на извикването за преценка, затова входният договор, договорът за решението, политиката за вероятностите и използването от изпълняващия агент бяха разделени в отделни експерименти.

Карта на Jev · средата за изпълнение по фиксирания къмит 9e2c041, изследването по записите от септември 2026 г.
Пътища на преценката на Jev: интеграция в средата за изпълнение и изследванеГорната част е незадължителният път за преценка в днешната среда за изпълнение на GEODE. Само когато judgment_engine е зададен на jev, крайната проверка и рефлексията извикват веднъж Jev в TypeSafe SystemOne, а отговорът се използва само след проверка за допускане по тип, диапазон и сума на вероятностите. При крайната проверка минава само supported, а резултатът отива към политиката PostVerify и Stop от главата за завършването. Долната част е изследването Jev v3 извън средата за изпълнение: панел с фиксирани състояния (U3) сравни преценките на Astra и Jev, изпълненията E/I в Harbor 0.22 промениха само маршрута на преценката и провериха отделно резултатите и предаването с независим оракул по правила, а публичният пакет държи отделно хешовете на източника и на публичното копие и предлага преизчисляване без модел.TypeSafe SystemOnejev-1.13.0 · само преценкаСъдия Astra · модел actorgpt-6-astra/xhigh · абонаментДоклад от изследването на Jevпубличен технически докладcore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyПолитика PostVerify · Stopcore/agent/verify.pyкраен вердикт · един въпрос Choiceминава само supported · само текстadapters/typesafe.pySystemOne · едно извикване · без fallbackдопускане · допустимо отклонение на сумата 1e-5loop/_reflection.pyрефлексия · класифициране на доказателстватаmemory · observabilityхронология · редове с решения в регистъраU3 · панел с фиксирани състояния120 двойки · 27 източника · без actorAstra · Jev · един и същ въпросE/I · Harbor 0.22actor Astra · инструменти · поправкамаршрут на съдията · Astra · Jev · Jev-firstrule oracleправилност · предаване отделноjev-v3-20260927E2E-DATA · източник · публични хешовеREPRODUCE · model-freeСреда за изпълнение на GEODE · 9e2c041незадължителна преценка · по подразбиране llmИзследване Jev v3 · септ. 2026 г.извън средата за изпълнение · отделна рамка1избор на маршрута2 заявка · кандидат · наблюдения · краен вердикт · един въпрос Choice → SystemOne · едно извикване · без fallback23 едно извикване на SystemOne · SystemOne · едно извикване · без fallback → TypeSafe SystemOne34 допуснат Choice · допускане · допустимо отклонение на сумата 1e-5 → минава само supported · само текст45passed · reflection6редове с вердикти1същият избор2класифициране на доказателства3 едно извикване на SystemOne · SystemOne · едно извикване · без fallback → TypeSafe SystemOne34 класификация · допускане · допустимо отклонение на сумата 1e-5 → рефлексия · класифициране на доказателствата41Преценка на Jev2Преценка на Astra3резултати от панела · доклад1генериране · инструменти · поправка2маршрут на преценката за завършване3 независима проверка · E/I · Harbor 0.22 → правилност · предаване отделно34грешка · произход на поправката5преизчисляване без модел

Среда за изпълнение · краен вердикт

При избран Jev крайната проверка извиква веднъж Jev с един въпрос Choice и минава само допуснат вердикт supported.

  1. judgment_engine · llm | jevcore/config/judgment.pyизбор на маршрутакраен вердикт · един въпрос Choicecore/agent/verify.py

    Маршрутът Jev се използва само когато judgment_engine е зададен на jev (по подразбиране llm). provider auto избира TypeSafe, а след това OpenRouter, според това кой има ключ; без ключ остава маршрутът с LLM съдия. Това не е fallback, който повтаря неуспешна заявка другаде.

  2. краен вердикт · един въпрос Choicecore/agent/verify.pyзаявка · кандидат · наблюденияSystemOne · едно извикване · без fallbackadapters/typesafe.py

    Оригиналната заявка и кандидатът се заличават частично и ограничават по дължина, а после се изпращат заедно с наблюденията от инструментите като един въпрос Choice (supported, contradicted, insufficient_evidence). Извикването за преценка не получава инструменти (allow_tools=False). Преценка, която изисква изображения, не се изпраща на Jev и става verification_error.

  3. SystemOne · едно извикване · без fallbackadapters/typesafe.pyедно извикване на SystemOneTypeSafe SystemOne

    Едно извикване, директно към TypeSafe или чрез OpenRouter, без преход към друг доставчик. Jev никога не се използва като основен модел за генериране на текст.

  4. допускане · допустимо отклонение на сумата 1e-5adapters/typesafe.pyдопуснат Choiceминава само supported · само текстcore/agent/verify.py

    Отговорът се използва само след проверка за допускане по тип, диапазон и сума на вероятностите (допустимо отклонение 1e-5). Минава само supported; contradicted и insufficient_evidence стават сигнал за повторен опит с фиксирана следваща проверка. Отговор, който не е end_turn или не мине допускането, става verification_error, който не е сигнал за повторен опит (should_retry=False). Оценката е двоична проекция, а не калибрирана вероятност.

  5. минава само supported · само текстcore/agent/verify.pypassed · reflectionПолитика PostVerify · Stoploop/_lifecycle.py

    Вердиктът отива към политиката PostVerify и Stop от главата за завършването. Вердиктът е вход за тази политика, а не права; когато чака преглед, кандидатът остава само като pending_text, а крайният отговор е празен, така че нищо не се предава.

  6. Политика PostVerify · Stoploop/_lifecycle.pyредове с вердиктихронология · редове с решения в регистъраmemory · observability

    Решенията по вердиктите се записват в хронологията и в регистъра на доказателствата: записи на средата за изпълнение, отделени от изследователските артефакти.

Среда за изпълнение · рефлексия

Същият избор определя класифицирането на доказателствата в рефлексията; изречението за следващата проверка се задава от кода.

  1. judgment_engine · llm | jevcore/config/judgment.pyсъщият изборрефлексия · класифициране на доказателстватаloop/_reflection.py

    Същият избор важи и за рефлексията.

  2. рефлексия · класифициране на доказателстватаloop/_reflection.pyкласифициране на доказателстваSystemOne · едно извикване · без fallbackadapters/typesafe.py

    Рефлексията използва Jev, за да класифицира ограничени доказателства, и добавя следваща проверка, зададена от кода. Тя не променя хипотезите за убежденията или самоувереността.

  3. SystemOne · едно извикване · без fallbackadapters/typesafe.pyедно извикване на SystemOneTypeSafe SystemOne

    Едно извикване, директно към TypeSafe или чрез OpenRouter, без преход към друг доставчик. Jev никога не се използва като основен модел за генериране на текст.

  4. допускане · допустимо отклонение на сумата 1e-5adapters/typesafe.pyкласификациярефлексия · класифициране на доказателстватаloop/_reflection.py

    Само допусната класификация обновява състоянието на рефлексията; при неуспех следващият рунд опитва отново от същото предишно състояние.

Изследване · фиксиран панел U3

Без actor преценките на Jev и Astra за едно и също състояние и въпрос бяха сравнени по двойки.

  1. Astra · Jev · един и същ въпросU3 · панел с фиксирани състоянияПреценка на JevTypeSafe SystemOne

    U3 (къмит на оригиналния експеримент 2f2b494): 120 фиксирани състояния · 27 клъстера източници · 240 извиквания. Всяко състояние и въпрос отидоха до Jev и Astra като една двойка; без actor, инструменти или Harbor.

  2. Astra · Jev · един и същ въпросU3 · панел с фиксирани състоянияПреценка на AstraСъдия Astra · модел actor

    Верни на същата извадка: Astra 90/120, Jev 84/120; медиана на извикване 10.446 s срещу 0.253 s. Това е само латентността на извикването за преценка, а не време за задачата или спестени разходи.

  3. U3 · панел с фиксирани състояниярезултати от панела · докладДоклад от изследването на Jev

    Резултатите на U3 за точност и латентност са в публичния технически доклад. Тук не се твърди дали този панел е част от публичния пакет E2E.

Изследване · изпълнения E/I

С Astra като actor се промени само маршрутът на преценката, а независим оракул по правила провери отделно резултатите и предаването.

  1. actor Astra · инструменти · поправкаE/I · Harbor 0.22генериране · инструменти · поправкаСъдия Astra · модел actor

    При E/I в Harbor 0.22 actor Astra отговаря за генерирането, извикванията на инструменти и поправката; променя се само маршрутът на преценката.

  2. маршрут на съдията · Astra · Jev · Jev-firstE/I · Harbor 0.22маршрут на преценката за завършванеTypeSafe SystemOne

    E7 (къмит на оригиналния експеримент 1f65534): 12 собственоръчно съставени синтетични задачи × 3 конфигурации × 2 изпълнения = 72 изпълнения, 24/24 за всяка конфигурация. Конфигурацията Jev-first имаше 0/24 реални fallback, затова ефектът ѝ не е измерен.

  3. E/I · Harbor 0.22независима проверкаправилност · предаване отделноrule oracle

    Независим оракул по правила проверява крайния резултат, а реалното крайно предаване се брои отделно. В 11-те двойки post hoc от прекъснатото U8n всеки кандидат премина оракула, но предаването беше Astra 11/11 и Jev Noul 0/11.

  4. E/I · Harbor 0.22грешка · произход на поправкатаE2E-DATA · източник · публични хешовеjev-v3-20260927

    Публичният пакет E2E пази произхода на подготовката, грешките и поправките, като хешовете на източника и на публичното копие се държат отделно. Публично копие със заличени данни не замества валидирането на непроменения източник.

  5. REPRODUCE · model-freejev-v3-20260927преизчисляване без моделДоклад от изследването на Jev

    Преизчисляването на стойностите от съхранените отговори и новото изпълнение са различни операции. Докладът е публичен технически доклад, а не рецензирана статия.

Всички връзки с еднаква дебелина. Изберете поток, за да се откроят само неговият път и номерираните стъпки.

  • Плътна · посоката, в която текат заявките, кандидатите и резултатите
  • Прекъсната · изпълнение, решение, разрешаване, конфигуриране
  • Дълга щрих-пунктирна · записи и наблюдение, отделно от вердикта
  • Дебела черна линия · избраният поток; числата показват реда
  • Кутия · граница на код или записи, с пътя в заглавието
  • Вътрешен етикет · компонент в тази граница
  • Прекъсната кутия · извън тази граница
  • цикъл · рамка за изпълнение
  • избор на маршрут · вердикт · оракул
  • записи · публичен пакет
  • пренос · панел за преценка

Горната и долната част са различни системи. Конфигурациите и резултатите от изследването не са всички включени в днешния път на изпълнение; единствената обща връзка е, че и двете извикват един и същ модел Jev (jev-1.13.0).

Допускане в средата за изпълнение
Средата за изпълнение държи стриктно допустимото отклонение на сумата на вероятностите на 1e-5. Извикващите от оценяването подават собственото си записано отклонение, вместо да разхлабват анализатора на средата.
Обхват на изследването
U3 измерва само извикванията за преценка; E/I включва actor и поправката. Знаменателите им никога не се смесват, а 11-те двойки на U8n са анализ post hoc на прекъснато изследване.

Три договора за решения

Choice

Връща
Вероятност за всяка категория или опция
Решава
Завършване; намерението и целта на заявката

Noul

Връща
P(true) за всяко условие
Решава
Противоречие; липсващи доказателства

Score

Връща
Очаквана стойност и разпределение по фиксирана подредена скала
Решава
Класиране на генерираните кандидати

Очакваната стойност поставя кандидата на скалата; тя не се използва като увереност.

Оценяване и свързване

Всеки договор беше оценен върху собствен фиксиран панел от входове, а някои бяха свързани с пътя на изпълнение на експерименталната рамка, за да се види как изпълняващият агент използва преценката. На картата по-горе изследователската част показва тези изпълнения; частта на средата за изпълнение е незадължителният път в днешния GEODE.

Наблюдения, които промениха дизайна

  1. I5 → I6 · входен договор
    1. Проследяването на обща грешка при предаването показа, че входът за преценката не съдържа договора на задачата и описва наблюденията от инструменти в същата заявка като минал контекст
    2. I6 предаде 6/6 в отделно изпълнение с ревизиран код и нов акаунт
  2. U3 · същите 120 двойки състояния
    1. Медиана на извикване Astra 10.446 s · Jev 0.253 s; верни на същата извадка 90/120 · 84/120
    2. Скоростта и точността се претеглят заедно за всяко решение, за да се определи обхватът на делегирането
  3. U2 · вероятности
    1. Вероятностите на Jev бяха по-добре калибрирани по големина, но Astra по-надеждно извеждаше напред грешните си преценки
    2. Калибрирането и отсяването на грешки се измерват отделно, а прагът се фиксира върху дяла за селекция
  4. U6a · намерение и цел
    1. При 40 семейства, написани от дизайнера, Jev 216/220 · Astra 220/220, в рамките на предварително регистрирания марж от −5 pp
    2. Фиксираното класифициране на намерение и цел беше стеснено като следващ кандидат за прилагане
  5. U8n · предаване
    1. 11 двойки post hoc от прекъснато изпълнение: поправените кандидати минаха оракула и в двете рамена; предаване Astra 11/11 · Jev Noul 0/11
    2. Преценките за липсващи доказателства блокираха правилното предаване; сегашната конфигурация на Noul няма основания да бъде единствен съдия за предаването