BG
Geodi, официалният пикселен персонаж на GEODE
Обратно в залата

GEODE

Autonomous Agent Harness

От наблюдението до следващото действие.

Локална рамка за автономни агенти, на която могат да се възлагат проучвания, работа с файлове и планирани задачи.

2026.02.21 — present

Проектиране, преценка, проверка: Author · реализация: Claude · преглед: Codex

  • CLIПубликувано · PyPI
  • MCP сървърРеализирано

Една политика се променя наведнъж; измерването остава фиксирано.

Отделен цикъл, който работи извън рамката. От базовата линия прилага една типизирана промяна на политика, а същият одит Petri и същата порта решават между KEEP и възстановяване.

Карта на SIL · по пътищата на evolve при фиксирания къмит 9e2c041 и записа на изпълнението от юни 2026 г.
Карта на търсенето на политики (SIL) в GEODEЦикъл за търсене на политики, който работи извън средата за изпълнение. Одобрен договор за изпълнение фиксира бюджета, seed, рубриката и моделите, а мутаторът променя една политика сред седем разрешени повърхности. measure.py одитира GEODE със същия измервателен апарат чрез Petri; fitness.py и gate.py решават KEEP или връщане според правила за критична регресия и повишаване; ledger.py записва редовете на базовата линия и резултатите. Изпълнението от юни 2026 г. раздели шума на одита от ефекта на мутацията с рамо never без промяна, базова линия K=5 и повторни измервания.Одобрение от операторареални извиквания · бюджетОдит Petriauditor · GEODE target · judgeprogram.mdдоговор за изпълнение · модели · бюджетправила за спиране · изпълнение след одобрениеtrain.pyцикъл с фиксиран бюджет--replicate K · повторно измерванеloop/mutateмутатор · един кандидат7 повърхности · без хиперпараметриstate/policiesполитика във файлprepare.pyпул от seed · рубрика фиксираниmeasure.pyодитен подпроцес · фиксиран timeoutOVERRIDE за всяка политика · STRICTfitness.pyкритична регресия · наказанияledger.pybaseline · provenanceрезултати · редове с мутацииgate.py_should_promote · KEEP_reject_and_revertcore · зареждачи на политикиклон за промпта · system_prompt.py6 зареждача на политики · tool, skill…run-2606-broken-tool-useбазова линия gen-0 · средно от 5 одитарамо never · контрола без промянарамена random · gatereplicate · повторно измерване на единичен KEEPevolve/scaffold_searchвъншен цикъл за търсене · извън средата за изпълнениекандидат промянаедна за изпълнениеизмервателен апаратфиксиран по време на сравнениеrun-2606 · 3–4 юни 2026 г.broken_tool_useОдитираният GEODEпроменят се само разрешени политики1 одобрение · Одобрение от оператора → договор за изпълнение · модели · бюджет12 договор за изпълнение · договор за изпълнение · модели · бюджет → цикъл с фиксиран бюджет23 искане на един кандидат · цикъл с фиксиран бюджет → мутатор · един кандидат34промяна на политика · ID на мутацията5 seed · рубрика фиксирани · пул от seed · рубрика фиксирани → одитен подпроцес · фиксиран timeout56избрана политика7пътища за override на всяка политика8audit subprocess9одитен диалог1оценки по измерения2 baseline · provenance · baseline · provenance → критична регресия · наказания23 fitness · причини за регресия · критична регресия · наказания → _should_promote · KEEP34KEEP · следваща базова линия5REJECT · връщане на предишното6резултат · ред с вердикт1три рамена2базова линия от средно K=53измерване без промяна4--replicate K5повторно измерване → връщане

Една промяна → одит

При фиксиран договор за изпълнение се променя една разрешена политика и GEODE се одитира със същия апарат. Това не е работещият продукт, който сам се пренаписва.

  1. Одобрение от оператораодобрениедоговор за изпълнение · модели · бюджетprogram.md

    Изпълнението започва едва след одобрение на реалните извиквания и фиксирания бюджет. Без одобрение само се подготвя договорът и се проверява офлайн.

  2. договор за изпълнение · модели · бюджетprogram.mdдоговор за изпълнениецикъл с фиксиран бюджетtrain.py

    Версиите на seed и рубриката, моделите за ролите и източниците на идентификационни данни, настройките на измерването, бюджетите за итерации, време и разходи, политиката за повишаване и условията за спиране се фиксират преди изпълнението.

  3. цикъл с фиксиран бюджетtrain.pyискане на един кандидатмутатор · един кандидатloop/mutate

    Една подкрепена с доказателства хипотеза променя една разрешена повърхност на политиката.

  4. 7 повърхности · без хиперпараметриloop/mutateпромяна на политика · ID на мутациятаполитика във файлstate/policies

    Могат да се променят само седем повърхности: обвиващият промпт, политиката за инструментите, съветите за декомпозиция, рефлексията, метаданните на каталога с умения, договорът на агента (role, system_prompt, tools) и описанията и подсказките на инструментите. Промените в хиперпараметри се отхвърлят както при анализа, така и при прилагането. Прилагането на политика, повторното измерване и незадължителният къмит са отделни стъпки, така че прилагането само по себе си не е одит.

  5. пул от seed · рубрика фиксираниprepare.pyseed · рубрика фиксираниодитен подпроцес · фиксиран timeoutmeasure.py

    prepare.py е фиксираната отправна точка за пула от seed и рубриката; кандидатите не го променят. Промяната на измервателен модул променя измерването, а не изпитваната система.

  6. политика във файлstate/policiesизбрана политикаOVERRIDE за всяка политика · STRICTmeasure.py

    measure.py прочита текущо избрания файл с политика и го предава в средата на одита.

  7. OVERRIDE за всяка политика · STRICTmeasure.pyпътища за override на всяка политикаcore · зареждачи на политики

    measure.py предава на одитния подпроцес пътищата на обвивката и пътищата override и strict за всяка политика, а съответният зареждач на политики в средата за изпълнение прочита всеки от тях. Обвивката (GEODE_WRAPPER_OVERRIDE → system_prompt) е само един клон; допълнителни ключове на средата не разширяват седемте променяеми повърхности. Редактиран файл сам по себе си не доказва, че кандидатът е достигнал целта; това се потвърждава от диагностиката в одитните доказателства.

  8. одитен подпроцес · фиксиран timeoutmeasure.pyaudit subprocessОдит Petri

    Одитът се изпълнява с фиксиран timeout и бюджет, които никога не се променят по време на сравнение. Липсващият изход е празнина в диагностиката, а не оценка нула.

  9. Одит Petriодитен диалогcore · зареждачи на политики

    Одиторът разговаря с GEODE чрез сценария seed, а съдията оценява стенограмата.

Вердикт → запазване · възстановяване

Спрямо базовата линия със същия договор критичните регресии и правилото за повишаване решават KEEP; отхвърлената промяна се връща към записаната предишна стойност.

  1. Одит Petriоценки по измерениякритична регресия · наказанияfitness.py

    Оценките идват заедно с липсващите измерения и броя на извадките. Неизмерено измерение не се чете като наблюдение.

  2. baseline · provenanceledger.pybaseline · provenanceкритична регресия · наказанияfitness.py

    Сравнението използва само базова линия със същите записани договор и епоха. Нов клон в Git не изолира състоянието на базовата линия.

  3. критична регресия · наказанияfitness.pyfitness · причини за регресия_should_promote · KEEPgate.py

    Първо се проверяват регресиите по критичните измерения и спомагателните наказания, а след това тестът за марж или за целевото измерение. Само положителен скалар никога не води до повишаване.

  4. _should_promote · KEEPgate.pyKEEP · следваща базова линияbaseline · provenanceledger.py

    Запазеният кандидат става следващата базова линия. Кандидат, запазен локално, не е сливане в хранилището, нито пускане.

  5. _reject_and_revertgate.pyREJECT · връщане на предишнотополитика във файлstate/policies

    За кандидат, създаден от runner, се възстановява разделът на политиката, записан под неговия ID на мутация, а неуспешното възстановяване се отбелязва. Ръчните промени не се възстановяват автоматично, а несигурно възстановяване спира следващия кандидат.

  6. _should_promote · KEEPgate.pyрезултат · ред с вердиктрезултати · редове с мутацииledger.py

    Измерването, вердиктът и произходът се записват веднъж като редове с резултати; старите редове никога не се пренаписват.

Контроли · повторни измервания

Изпълнение от юни 2026 г.: рамо never без промяна и базова линия K=5 измериха отделно шума на одита, а KEEP от единичен одит беше проверен отново чрез повторения.

  1. run-2606-broken-tool-useтри раменацикъл с фиксиран бюджетtrain.py

    Изпълнението от 3–4 юни 2026 г. раздели отклонението от ефекта на мутацията с три рамена: never (без промяна), random (случайно приемане) и gate (приемане по вердикт). Целта беше GPT-5.5; одиторът и съдията бяха Claude Opus 4.8.

  2. базова линия gen-0 · средно от 5 одитаrun-2606-broken-tool-useбазова линия от средно K=5baseline · provenanceledger.py

    Базовата линия gen-0 беше средното от пет одита (Petri broken_tool_use, по-ниското е по-добро, средно 2.667).

  3. рамо never · контрола без промянаrun-2606-broken-tool-useизмерване без промянаодитен подпроцес · фиксиран timeoutmeasure.py

    Рамото never се отклони до средно 3.38 без никаква промяна на политиката (10 одита, по-ниското е по-добро): пряко доказателство, че шумът на одита е надхвърлил ефекта на мутацията.

  4. --replicate K · повторно измерванеtrain.py--replicate Kодитен подпроцес · фиксиран timeoutmeasure.py

    Същият кандидат се измерва още K пъти при същите условия, за да се отсее един случайно сполучлив одит.

  5. replicate · повторно измерване на единичен KEEPrun-2606-broken-tool-useповторно измерване → връщане_reject_and_revertgate.py

    Кандидат, запазен след един одит gate (1.6), измери 3.0–3.8 при повторенията, по-зле от базовата линия, затова беше възстановен шампионът 2.667. Изводът от изпълнението: няма ясно подобрение.

Всички връзки с еднаква дебелина. Изберете поток, за да се откроят само неговият път и номерираните стъпки.

  • Плътна · посоката, в която текат заявките, кандидатите и резултатите
  • Прекъсната · изпълнение, решение, разрешаване, конфигуриране
  • Дълга щрих-пунктирна · записи и наблюдение, отделно от вердикта
  • Дебела черна линия · избраният поток; числата показват реда
  • Кутия · граница на код или записи, с пътя в заглавието
  • Вътрешен етикет · компонент в тази граница
  • Прекъсната кутия · извън тази граница
  • цикъл · измервателно изпълнение
  • договор · вердикт
  • политика · записи
  • промяна · одитирана цел · запис на изпълнението

Драйверът за SIL на GEODE се казва autoresearch; структурата prepare/train/program и фиксираният бюджет следват autoresearch на Karpathy. Теглата на модела не се променят, а апаратът и бюджетът остават фиксирани по време на сравнение.

Какво може да се променя
Седем повърхности: обвиващ промпт, политика за инструментите, съвети за декомпозиция, рефлексия, метаданни на каталога с умения, договор на агента и описания и подсказки на инструментите. Оценителят, бюджетът, seed и рубриката остават фиксирани по време на сравнение.
Обхват на записа на изпълнението
Стойностите на run-2606 са средните Petri broken_tool_use на това изпълнение (по-ниското е по-добро). Те не са доказателство за кумулативно подобрение на SIL или за обобщаемост.