GEODE
Autonomous Agent Harness
От наблюдението до следващото действие.
Локална рамка за автономни агенти, на която могат да се възлагат проучвания, работа с файлове и планирани задачи.
Реализации, върнати от прегледа, преизчислени изследователски данни
Два случая, в които прегледът връща реализация, и един, в който изследователските данни са преизчислени при запазени оригинали. Всяка роля съдържа само това, което показва записът на съответния случай.
June 13, 2026
Реализация, преминала по нормалния път, беше върната два пъти от прегледа заради пътищата за грешки
ЧовекAuthor
ДействиеЛипсваща телеметрия · тих fallback за проверка
- предаванеГрешки, които трябва да са видими→ Типизиран ред за активност · маркиран fallback (Claude Fable 5)
Агент за програмиранеClaude Fable 5
ДействиеТипизиран ред за активност · маркиран fallback
- предаване→ commit 64bd223 (Публични къмити)
- предаванеDiff · пътища за грешки→ BLOCKER: общият fallback съхранява сурово details=data (Codex)
АртефактиПублични къмити
Артефактcommit 64bd223
Преглед · проверкаCodex
Наблюдение · констатацияBLOCKER: общият fallback съхранява сурово details=data
- върнатоЗащитата на нормалния път и по пътя за изключения→ Премахване на чувствителните полета и при fallback (Claude Fable 5)
Агент за програмиранеClaude Fable 5
ДействиеПремахване на чувствителните полета и при fallback
- предаване→ c808e78 · проверка за възпроизвеждане K4 (Публични къмити)
- предаванеПоправката прегледана отново→ BLOCKER #2: текстът на ValidationError отново разкрива стойностите (Codex)
АртефактиПублични къмити
Артефактc808e78 · проверка за възпроизвеждане K4
Преглед · проверкаCodex
Наблюдение · констатацияBLOCKER #2: текстът на ValidationError отново разкрива стойностите
- върнатоПричина за грешка без сурови стойности→ Остават само типът на грешката · пътят на полето; args_preview премахнат (Claude Fable 5)
Агент за програмиранеClaude Fable 5
ДействиеОстават само типът на грешката · пътят на полето; args_preview премахнат
- предаване→ 8dcb386 · проверка за възпроизвеждане K5 (Публични къмити)
АртефактиПублични къмити
Артефакт8dcb386 · проверка за възпроизвеждане K5
- не е записано изпълнениеПроверен обхват→ Пълният CI и финалният PASS от прегледа тогава не са прочетени отново (Публични къмити)
АртефактиПублични къмити
Правило · непотвърденоПълният CI и финалният PASS от прегледа тогава не са прочетени отново
- Контекст
- Промяната превърна събитията за наблюдаемост в типизирани редове за активност и спря тихите fallback пътища. Прегледът на Codex остави две отметки BLOCKER и всяка поправка дойде с проверка, която възпроизвежда откритото заобикаляне.
- Резултат
- K4 предизвиква реален fallback с грешен тип и проверява, че не остава сурово поле; K5 проверява, че описанието на грешката съдържа само имена на полета и типове грешки, никога входни стойности. Тези проверки възпроизвеждат заобикалянията, открити при прегледа; те не копират константи от реализацията.
- Ограничение
- Оригиналният разговор от MCP прегледа не е отварян; ролята на прегледа е установена от къмитите и от CHANGELOG, писан по онова време. Този случай не гарантира, че никой лог на GEODE никога не пази чувствителни данни.
Източници и оставащи ограничения
- И трите къмита посочват Claude Fable 5, а c808e78 и 8dcb386 записват съответно BLOCKER от Codex и BLOCKER #2.
- Настоящата (октомври 2026 г.) политика за сътрудници не се прилага със задна дата като указание за този случай.
May 26, 2026
Промяна, която би изтрила оценка, беше стеснена до проверка къде оценката може да се използва
Агент за програмиранеРеализация
Наблюдение · констатацияНужда: стойността да не служи като ос на fitness
- предаванеПърва хипотеза→ Първа чернова: премахване на стойността в baseline writer (Реализация)
Обект на разработкаПотребители в продукта
Наблюдение · констатацияПри първото генериране baseline е единственият източник на scenario_realism
- предаванеПроследен реален потребител→ Констатация: нарушава началния вход на critic (Codex)
Агент за програмиранеРеализация
ДействиеПърва чернова: премахване на стойността в baseline writer
- предаванеПромяната прегледана→ Констатация: нарушава началния вход на critic (Codex)
Преглед · проверкаCodex
Наблюдение · констатацияКонстатация: нарушава началния вход на critic
- върнатоЗапазване на съществуващия договор за входа→ Промяната в writer оттеглена · данните запазени (Реализация)
Агент за програмиранеРеализация
ДействиеПромяната в writer оттеглена · данните запазени
- предаванеКритерият за завършване преместен→ 4 инварианта: липсва само от повърхностите за fitness (Публичен къмит · PR)
АртефактиПубличен къмит · PR
Артефакт4 инварианта: липсва само от повърхностите за fitness
- предаванеФинален diff→ 0792e81 → PR #1690 слят (Публичен къмит · PR)
АртефактиПубличен къмит · PR
Артефакт0792e81 → PR #1690 слят
- Контекст
- Целта на промяната беше scenario_realism да не служи като ос на fitness във външния Scaffold Search. Когато прегледът проследи първия читател на стойността, промяната стана по-малка, а не по-голяма.
- Резултат
- Стойността в baseline остава; четири проверки фиксират, че това измерение липсва в AXIS_TIERS, DIM_WEIGHTS и списъците с tier на външното търсене.
- Ограничение
- Сесията зад оттеглената промяна в writer не е разглеждана; тя е установена от къмита и от описанията на тестовете, писани тогава. Тези проверки не са доказателство за качеството на търсенето или за подобрение на SIL.
Източници и оставащи ограничения
- Critic и evolver са потребители на данни в разработвания продукт, а не агентът за програмиране или рецензентът Codex, използвани за изграждането му.
- Заглавието на PR #1690 все още казва „filter“; реалната промяна са финалният diff и къмит.
September 27, 2026 to September 28, 2026
След поправка на гранична стойност първо бяха възпроизведени оригиналните резултати, а после преизчислени
Работна сесияИзпълнител на анализа
Наблюдение · констатацияОтхвърлени стойности точно на границата на допустимото отклонение
- предаванеГрешка при допускането, а не способност на модела→ Сравнение като десетични числа · допустимите отклонения без промяна (Изпълнител на анализа)
Работна сесияИзпълнител на анализа
ДействиеСравнение като десетични числа · допустимите отклонения без промяна
- предаване→ 4be7a17 · проверки вътре / извън границата (Артефакти)
АртефактиАртефакти
Артефакт4be7a17 · проверки вътре / извън границата
ЧовекAuthor
ДействиеДелегирано: само офлайн корекция на всички запазени U4 · X2
- предаванеПозволен обхват→ contract.json: входове · правила фиксирани, без извиквания на модела (Артефакти)
АртефактиАртефакти
Артефактcontract.json: входове · правила фиксирани, без извиквания на модела
- предаванеФиксирани условия→ Първо възпроизвеждане на предишните резултати · знаменатели · CI (Изпълнител на анализа)
Работна сесияИзпълнител на анализа
ДействиеПърво възпроизвеждане на предишните резултати · знаменатели · CI
- предаванеСлед възпроизвеждането→ Корекцията изчислена отделно от същите входове (Изпълнител на анализа)
Работна сесияИзпълнител на анализа
ДействиеКорекцията изчислена отделно от същите входове
- предаване→ receipt: 24 запазени оригинала · 0 извиквания на модела (Артефакти)
- предаванеВектори на клетките, а не обобщения→ Преизчисляване на победителите · CI от векторите на клетките · сверяване на хешовете (Независим верификатор)
АртефактиАртефакти
Артефактreceipt: 24 запазени оригинала · 0 извиквания на модела
Преглед · проверкаНезависим верификатор
ДействиеПреизчисляване на победителите · CI от векторите на клетките · сверяване на хешовете
- предаване→ independent-review: вердиктите остават, ограниченията са посочени (Артефакти)
АртефактиАртефакти
Артефактindependent-review: вердиктите остават, ограниченията са посочени
- Контекст
- В изследователския инструмент на Jev типизираните числови отговори, попадащи точно на границата на допустимото отклонение, се отхвърляха. След поправката всеки запазен резултат беше преизчислен без нови изпълнения на модели, а изчисляващата и проверяващата страна бяха държани отделно.
- Резултат
- Вердиктите останаха същите след корекцията (U4 not-supported, X2 mixed). Поправката на числова грешка и потвърждаването на изследователска хипотеза бяха разграничени.
- Ограничение
- Корекция post hoc, а не нов експеримент с модели. 640-те клетки listwise на Astra без оригинален отговор запазват записания си победител, а независимият преглед също не анализира отново непубличните тела на отговорите.
Източници и оставащи ограничения
- Допустимото отклонение на оценката 0.03 и допустимото отклонение на сумата на разпределението 0.025 не са променени. Коригираните стойности са U4 58/80 → 59/80 и X2 194/240 → 196/240.
- Публичният запис на корекцията не посочва модел нито за пишещата, нито за проверяващата страна, а 4be7a17 не посочва Claude или Codex, затова нито една колона не получава име на модел.