BG
Geodi, официалният пикселен персонаж на GEODE
Обратно в залата

GEODE

Autonomous Agent Harness

От наблюдението до следващото действие.

Локална рамка за автономни агенти, на която могат да се възлагат проучвания, работа с файлове и планирани задачи.

2026.02.21 — present

Проектиране, преценка, проверка: Author · реализация: Claude · преглед: Codex

  • CLIПубликувано · PyPI
  • MCP сървърРеализирано

От прогоните до доказателствата

Процентът успешни сам по себе си не може да обясни едно изпълнение. Пазя реда на събитията, извикванията на инструменти и резултатите им, произхода на повторните опити и доказателствата от независими верификатори, а след това свързвам частите, които могат да бъдат публикувани. Тези експерименти показват как са се развили договорите за записване и оценяване.

По експерименти · по дата

Шестте експеримента са подредени по дата; те не са един свързан процес на оптимизация. SIL не захранва автоматично Crucible или Jev, а това не е твърдение, че продуктовият GEODE непрекъснато се е подобрявал. Датите са на експериментите и на публикуваните моментни снимки, а стрелките се използват само за етапите вътре в един експеримент.

  1. June 3, 2026 to June 4, 2026SIL · външно търсене на политики

    KEEP от един одит беше проверен отново с повторни измервания

    ВъпросПодобри ли една мутация на политиката поведението при използване на инструменти отвъд шума на одита?

    Външен експеримент · извън средата за изпълнение на GEODE

    1. Базова линия · K=5
    2. Една мутация на политиката
    3. Одит Petri
    4. Повторно измерване
      • Запазване
      • Връщане
    Какво се промени
    В този експеримент към единичния одит на мутацията бяха добавени повторни измервания преди решението за запазване или връщане. Добавени бяха seed с изравнена трудност и базова линия K=5, а рамената never, random и gate отделят отклонението без промяна от приетите промени.
    Какво подкрепя
    При повторното измерване кандидатът, запазен след един одит, се оказа по-лош от базовата линия (по-ниското е по-добро), затова приемането му беше отменено. Изводът от експеримента: няма устойчиво подобрение. Това е поведенчески одит Petri broken_tool_use, а не награда за изпълнение на задачи.

  2. July 11, 2026 to July 13, 2026Crucible · външно експериментално ядро

    Оставането в търсенето и достигането до продукта са отделни вердикти

    ВъпросДоказателствата за оставяне на кандидата в търсенето същите ли са като доказателствата за повишаването и пускането му в продукта?

    Външно ядро Crucible · отделен измервателен checkout

    1. Кандидат · произход от родителя
    2. Проверка на замразения договор
    3. Сдвоено измерване
      • KEEPсамо до отделен запечатан вердикт
      • REJECT
      • INVALIDnull, а не 0%
    Какво се промени
    Отхвърлените и невалидните кандидати се пазят заедно с произхода си от родителя, а изборът на train, запечатаната допустимост и правомощието за пускане в продукта са отделни записи.
    Какво подкрепя
    r14 беше KEEP на train (шест единици задачи, по един опит, без правомощие за повишаване), но отделният му запечатан вердикт беше REJECT (без правомощие за повишаване в продукта или пускане). r35 е INVALID поради непълно покритие и инфраструктурно замърсяване; без сдвоени редове средното му остава null. Това не е нито самопромяна на средата за изпълнение, нито верига за внедряване SIL → Crucible.

  3. July 21, 2026 · July 31, 2026Изчистване · публикуване

    Останалите записи бяха класифицирани и само това, което може да се сподели, стана неизменима версия

    ВъпросКакво реално може да се реконструира и какво може безопасно да се сподели?

    1. Непубличен източникЗапис на сесията · първични доказателствапървичен резултат · с верификатор
      • Нормализирани събитиязапазване на ред · идентичност
    2. Нормализирани събитияидентичност · ред · двойки извикване–резултат
      • Публичен кандидатсписък с разрешени · заличаване · digest
    3. Публичен кандидатв преглед
      • Проверки за цялост · поверителностпроверка
    4. Проверки за цялост · поверителностсдвояване · произход · обхват
      • Неизменима версиясамо прегледани байтове
    5. Публично хранилищеНеизменима версияманифест · първичните резултати са посочени чрез digest
      • Отдалечено прочитанепроверка на хеша
    6. Отдалечено прочитанефиксиран SHA-256
    Какво се промени
    Инвентаризацията от 21 юли 2026 г. класифицира записите от диалози, инструменти, търсене и решения по източник, а дубликатите от един и същ източник не бяха броени като независими примери. От 31 юли 2026 г. geode.trajectory@1 и geode.trajectory-release@1 правят изрични идентичността, реда на събитията, двойките извикване–резултат, целостта на обхвата и на възпроизвеждането и манифестите, обвързани със съдържанието. Преобразуваните публични копия и оригиналите пазят отделни digest.
    Какво подкрепя
    Изчистването тук означава нормализиране, корелация, изрично заличаване, произход и допускане до публикуване. То не реконструира скрити разсъждения и не обявява набор от данни, готов за обучение. Пълният обхват не е пълно възпроизвеждане на ниво байтове, когато непубличните тела са заменени с digest.

  4. August 25, 2026Learning view

    Един прогон и доказателствата му бяха свързани чрез идентификатори

    ВъпросКои вход, опит, последователност от събития и награда си принадлежат?

    geode.eval-learning-view@2 · свързани чрез ID и проверени digest, а не причинно-следствен ред

    1. example
    2. rollout
    3. trajectory
    4. reward

    Наградата принадлежи на потвържденията от първичния верификатор. Инфраструктурните повторни опити са опити в рамките на един прогон.

    Какво се промени
    Неизменимите траектории се използват повторно чрез обединения с определен обхват, а наградите остават производни етикети, притежавани от оценителя. Инфраструктурните повторни опити не добавят прогони. Наблюдавана 0 се запазва, а липсваща награда е null; невалидните или прекъснатите опити се изключват от избора на награда. Валидността е свойство на прогона и не означава автоматично награда null.
    Какво подкрепя
    Прогонът Terminal-Bench fast-3 с Harbor 0.8.0 (три задачи, 3/3) и диагностика на Tau2 в три домейна (1/3, две валидни нули) са обвързани в една и съща структура. Това са кандидати за последващо обучение, а не набори от данни, използвани за обучение, или доказателство за подобрени тегла, а резултат от три задачи не е точността на целия набор.

  5. August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1

    Един опит създаде отделно резултата и записа за възпроизвеждане

    ВъпросКак реалното изпълнение на задача се превръща в резултат и в проверимо възпроизвеждане?

    1. Замразена задача · спецификацияфиксирана предварително · пет повторения
      • Изолиран опитинструкция · среда · ограничения
    2. Опит в Harbor 0.22.0 · реално изпълнениеИзолиран опитGEODE като actor
      • Действия и крайно състояниеизпълнение
    3. Действия и крайно състояниенаблюдавано поведение
      • Верификатор на задачатапроверка на състоянието на задачата
      • ATIF · проекция на публични събитияпроекция на записаните събития
    4. Верификатор на задачата
      • Първична награда · receiptнаграда
    5. Първична награда · receipt
      • Анализ на избрания опитзамразен избор
    6. ATIF · проекция на публични събитияпоследваща обработка · не ново изпълнение
    7. Анализ на избрания опитзамразено правило за избор
    Какво се промени
    Замразената спецификация, всеки опит, избраният резултат, верификаторът на задачата и вярно, но ограничено възпроизвеждане се пазят като отделни свързани записи. Harbor 0.22.0 изпълни пет повторения с GPT-5.6 Sol/max, като сравни GEODE (тогава адаптер с един терминален инструмент) с Codex.
    Какво подкрепя
    Задачата притежава инструкциите, средата и тестовете; опитът (trial) е един опит; job групира опити. Наградата се решава от верификатора на задачата, а вътрешният съдия за завършване на GEODE е обратна връзка по време на изпълнение. Публичното възпроизвеждане е проекция post hoc на записаните събития от инструменти, а не суров PTY или ново изпълнение, и за липсващите клетки не са измисляни команди. Предварително регистрираната основна метрика не можа да бъде измерена.

  6. September 24, 2026 to September 28, 2026Jev · делегиране на решения

    Правилният кандидат все пак изисква проверка на предаването

    ВъпросЗапазва ли делегираната преценка реално качеството на задачата и крайното предаване?

    1. U8n · изпълнение с Noul · Harbor 0.22 · Astra изпълнява и поправя, променя се само маршрутът на преценкатаСъстояние на решениетодоговор на задачата · кандидат · наблюдения от инструменти
      • Преценка · Noulвход за преценката
    2. Преценка · NoulAstra или Jev
      • GEODE използвавероятности за условията
    3. GEODE използвапотвърдено: предаване; липсващи доказателства: задържане
      • Крайно предаванепотвърдено
      • Поправка от Astraлипсващи доказателства · задържане
    4. Крайно предаване
      • Независима проверка на резултатапредаден резултат
    5. Поправка от Astraследващ кандидат след обратна връзка
      • Преценка · Noulнова преценка
      • Последен кандидат · запазенпоследният кандидат е запазен
    6. Независима проверка на резултатаоракул по правила · предаден резултат
    7. Фиксирани панели U3само преценка · без actor, инструменти или Harbor
    8. Диагноза post hoc · след изпълнениетоПоследен кандидат · запазен
      • Диагноза с оракул post hocпроверка post hoc
    9. Диагноза с оракул post hocправилност на кандидата · без влияние върху предаването
    Какво се промени
    Приемането на преценката, правилността на кандидата и крайното предаване се записват като отделни резултати, а произходът на подготовката, грешките и поправките се пази в публичното копие. Хешовете на оригинала и на преобразуваното публично копие остават отделни.
    Какво подкрепя
    В 11-те двойки post hoc от прекъснатото изследване U8n последният кандидат беше правилен и в двете рамена, но предаването беше Astra 11/11 и Jev Noul 0/11: преценката на Jev Noul за липсващи доказателства задържа предаването. Това е анализ post hoc и не се обобщава. Публичното числово преизчисляване, прегледът на възпроизвеждането и новото реално изпълнение са три различни операции.