GEODE
Autonomous Agent Harness
Від спостереження до наступної дії.
Локальна обв’язка автономного агента, якій можна доручити дослідження, роботу з файлами та заплановані завдання.
Реалізації, повернуті рев’ю, і перераховані дослідницькі показники
Два випадки, коли рев’ю повернуло реалізацію, і один, коли дослідницькі показники перерахували, зберігши оригінали. Для кожної ролі наведено лише те, що показує запис відповідного випадку.
June 13, 2026
Реалізацію, що пройшла звичайний шлях, рев’ю двічі повернуло через шляхи помилок
ЛюдинаAuthor
ДіяБракує телеметрії · перевірити тихий fallback
- передачаЗбої, що мають бути видимими→ Типізований рядок активності · fallback позначено (Claude Fable 5)
Агент для програмуванняClaude Fable 5
ДіяТипізований рядок активності · fallback позначено
- передача→ commit 64bd223 (Публічні коміти)
- передачаDiff · шляхи збою→ BLOCKER: generic fallback зберігає сирі details=data (Codex)
АртефактиПублічні коміти
Артефактcommit 64bd223
Рев’ю · верифікаціяCodex
Спостереження · зауваженняBLOCKER: generic fallback зберігає сирі details=data
- повернутоЗахист звичайного шляху — і на шляху винятків→ Прибирати чутливі поля й у fallback (Claude Fable 5)
Агент для програмуванняClaude Fable 5
ДіяПрибирати чутливі поля й у fallback
- передача→ c808e78 · перевірка відтворення K4 (Публічні коміти)
- передачаВиправлення переглянуто повторно→ BLOCKER #2: текст ValidationError знову розкриває значення (Codex)
АртефактиПублічні коміти
Артефактc808e78 · перевірка відтворення K4
Рев’ю · верифікаціяCodex
Спостереження · зауваженняBLOCKER #2: текст ValidationError знову розкриває значення
- повернутоПричина помилки без сирих значень→ Лише тип помилки · шлях поля; args_preview прибрано (Claude Fable 5)
Агент для програмуванняClaude Fable 5
ДіяЛише тип помилки · шлях поля; args_preview прибрано
- передача→ 8dcb386 · перевірка відтворення K5 (Публічні коміти)
АртефактиПублічні коміти
Артефакт8dcb386 · перевірка відтворення K5
- не записане виконанняОбсяг перевірено→ Повний CI і фінальний PASS рев’ю на той час не перечитано (Публічні коміти)
АртефактиПублічні коміти
Правило · не перевіреноПовний CI і фінальний PASS рев’ю на той час не перечитано
- Контекст
- Зміна перетворювала події спостережуваності на типізовані рядки активності й не давала fallback спрацьовувати непомітно. Рев’ю Codex залишило два BLOCKER, і кожне виправлення супроводжувала перевірка, що відтворює знайдений обхід.
- Результат
- K4 примусово викликає справжній fallback із хибним типом і перевіряє, що не лишається жодного сирого поля; K5 перевіряє, що опис помилки містить лише назви полів і типи помилок, а не вхідні значення. Ці перевірки відтворюють обходи, знайдені рев’ю; вони не копіюють константи реалізації.
- Межа
- Оригінальну розмову MCP-рев’ю не відкривали; роль рев’ю встановлено з комітів і CHANGELOG, написаних на той час. Цей випадок не гарантує, що жоден журнал GEODE ніколи не зберігає чутливих даних.
Джерела й залишкові обмеження
- Усі три коміти зазначають Claude Fable 5, а c808e78 і 8dcb386 фіксують відповідно BLOCKER і BLOCKER #2 від Codex.
- Поточну (October 2026) політику для контриб’юторів не застосовано заднім числом як інструкцію для цього випадку.
May 26, 2026
Зміну, яка видалила б оцінку, звужено до перевірки того, де цю оцінку можна використовувати
Агент для програмуванняРеалізація
Спостереження · зауваженняПотреба: не використовувати це значення як вісь fitness
- передачаПерша гіпотеза→ Перша чернетка: прибрати значення в baseline writer (Реалізація)
У розробціСпоживачі в продукті
Спостереження · зауваженняУ першому поколінні baseline — єдине джерело scenario_realism
- передачаПростежено фактичного споживача→ Зауваження: ламає початковий вхід critic (Codex)
Агент для програмуванняРеалізація
ДіяПерша чернетка: прибрати значення в baseline writer
- передачаЗміну переглянуто→ Зауваження: ламає початковий вхід critic (Codex)
Рев’ю · верифікаціяCodex
Спостереження · зауваженняЗауваження: ламає початковий вхід critic
- повернутоЗберегти наявний контракт входу→ Зміну writer відкликано · дані збережено (Реалізація)
Агент для програмуванняРеалізація
ДіяЗміну writer відкликано · дані збережено
- передачаКритерій готовності зміщено→ 4 інваріанти: відсутнє лише на поверхнях fitness (Публічний коміт · PR)
АртефактиПублічний коміт · PR
Артефакт4 інваріанти: відсутнє лише на поверхнях fitness
- передачаФінальний diff→ 0792e81 → PR #1690 злито (Публічний коміт · PR)
АртефактиПублічний коміт · PR
Артефакт0792e81 → PR #1690 злито
- Контекст
- Зміна мала не дати scenario_realism служити віссю fitness у зовнішньому Scaffold Search. Коли рев’ю простежило першого читача цього значення, зміну зробили меншою, а не більшою.
- Результат
- Значення baseline залишається; чотири перевірки фіксують, що цього виміру немає в AXIS_TIERS, DIM_WEIGHTS і списках tier зовнішнього пошуку.
- Межа
- Сесію, що стоїть за відкликаною зміною writer, не переглядали; її встановлено з коміту й описів тестів, написаних на той час. Ці перевірки не є доказом продуктивності пошуку чи покращення SIL.
Джерела й залишкові обмеження
- critic і evolver — споживачі даних усередині продукту, що розробляється, а не агент для програмування чи рецензент Codex, якими його створювали.
- Назва PR #1690 досі містить «filter»; фактична зміна — це фінальний diff і коміт.
September 27, 2026 to September 28, 2026
Після виправлення граничного значення спершу відтворили початкові результати, а потім перерахували їх
Робоча сесіяВиконавець аналізу
Спостереження · зауваженняЗначення точно на межі допуску відхилено
- передачаПомилка приймання, а не здібності моделі→ Порівнювати як десяткові · допуски без змін (Виконавець аналізу)
Робоча сесіяВиконавець аналізу
ДіяПорівнювати як десяткові · допуски без змін
- передача→ 4be7a17 · перевірки всередині / поза межею (Артефакти)
АртефактиАртефакти
Артефакт4be7a17 · перевірки всередині / поза межею
ЛюдинаAuthor
ДіяДелеговано: лише офлайн-виправлення всіх збережених U4 · X2
- передачаДозволений обсяг→ contract.json: входи · правила зафіксовано, без викликів моделі (Артефакти)
АртефактиАртефакти
Артефактcontract.json: входи · правила зафіксовано, без викликів моделі
- передачаЗафіксовані умови→ Спершу відтворити попередні результати · знаменники · ДІ (Виконавець аналізу)
Робоча сесіяВиконавець аналізу
ДіяСпершу відтворити попередні результати · знаменники · ДІ
- передачаПісля відтворення→ Обчислити виправлення окремо з тих самих входів (Виконавець аналізу)
Робоча сесіяВиконавець аналізу
ДіяОбчислити виправлення окремо з тих самих входів
- передача→ receipt: 24 оригінали збережено · 0 викликів моделі (Артефакти)
- передачаВектори комірок, а не зведення→ Перерахувати переможців · ДІ з векторів комірок · звірити хеші (Незалежний верифікатор)
АртефактиАртефакти
Артефактreceipt: 24 оригінали збережено · 0 викликів моделі
Рев’ю · верифікаціяНезалежний верифікатор
ДіяПерерахувати переможців · ДІ з векторів комірок · звірити хеші
- передача→ independent-review: вердикти чинні, обмеження зазначено (Артефакти)
АртефактиАртефакти
Артефактindependent-review: вердикти чинні, обмеження зазначено
- Контекст
- У дослідницькому інструменті Jev типізовані числові відповіді, що лежали точно на межі допуску, відхилялися. Після виправлення всі збережені результати перерахували без нових запусків моделі, а сторону обчислення й сторону перевірки тримали окремо.
- Результат
- Після виправлення вердикти не змінилися (U4 not-supported, X2 mixed). Виправлення числової помилки й підтвердження дослідницької гіпотези розглядали окремо.
- Межа
- Це виправлення постфактум, а не новий експеримент із моделлю. 640 комірок Astra listwise без оригінальної відповіді зберігають збереженого переможця, і незалежне рев’ю також не розбирало повторно закриті тексти відповідей.
Джерела й залишкові обмеження
- Допуск оцінки 0.03 і допуск суми розподілу 0.025 не змінювали. Виправлені показники: U4 58/80 → 59/80 і X2 194/240 → 196/240.
- Публічний запис виправлення не називає моделі ні для сторони написання, ні для сторони перевірки, а 4be7a17 не зазначає ні Claude, ні Codex, тож жодному стовпцю не присвоєно назву моделі.