BG
Geodi, официалният пикселен персонаж на GEODE
Обратно в залата

GEODE

Autonomous Agent Harness

От наблюдението до следващото действие.

Локална рамка за автономни агенти, на която могат да се възлагат проучвания, работа с файлове и планирани задачи.

2026.02.21 — present

Проектиране, преценка, проверка: Author · реализация: Claude · преглед: Codex

  • CLIПубликувано · PyPI
  • MCP сървърРеализирано

Одитните сценарии се създават през фази в фиксиран ред.

Хостът определя реда на фазите, а ролевите агенти във всяка фаза си разделят работата. Полученият пул от seed и избраната рубрика стават вход за поведенческия одит Petri.

Карта на seed · по пътищата на evals при фиксирания къмит 9e2c041
Генериране на одитни сценарии и одит Petri в GEODEКак се пишат и одитират одитните сценарии (seed). Оркестраторът seed_generation определя реда на фазите, а ролевите агенти пишат чернови, преглеждат и подобряват; резултатът се експортира като директория survivors и файлове meta-review. Одитът Petri получава избор от seed и задава три отделни роли на модели: одиторът изиграва сценария seed, целта е цялото скеле GEODE, а съдията оценява стенограмата по измерения в лог на Inspect. Измерването на SIL чете този резултат, а запазеното измерване става доказателство за базова линия за следващото поколение.Модел одиторизиграва сценария seedБазов модел на целтамоделът, който GEODE обвиваМодел съдияоценява цялата стенограмаЛог Inspect .evalархив · обобщениеИзмерване на SIL · measure.pyчете се от главата за търсене на политикиbaseline snapshotсредни по измерения · доказателстваhandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pyред на фазите · PipelineStatecheckpoint · resumeagents/ · черноваSupervisor · стратегия на изпълнениетоliterature_review · изключен по подразбиранеGenerator · кандидати seedagents/ · прегледProximity · премахване на дубликатиCritic · прегледPilot · по избор · не при smokeRanker · Eloagents/ · подобряванеEvolver · подобряванеMeta-reviewer · следващи priorsrun_dir/survivors/ · копия .md на кандидатитеsurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedsвградени seed · *.mdpetri/runner.pygeode audit · /audit · инструментоценка на разходите · dry-run по подразбиранеpetri/geode_target.pyGEODE като цел · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLфайлове със състояние извън изпълнениеevals/seed_generationписане на сценарииevals/petriизпълнение на одит1изпълнение на фазите поред2доказателства за базова линия3 предишен meta-review · latest_pointer.json · priors → agents/ · чернова34 кандидати seed · agents/ · чернова → agents/ · преглед45survivors · Elo6 следваща итерация · от Critic · Meta-reviewer · следващи priors → Critic · преглед67 експорт на оцелелите · agents/ · подобряване → run_dir/78указател latest1--seed-select2вградени seed3 роли на моделите · три места · geode audit · /audit · инструмент → Модел одитор34диалог по сценария seed5 извиквания на модела · GEODE като цел · AgenticLoop → Базов модел на целта56стенограма7 judge_dimensions · judge_dimensions · YAML → Модел съдия78оценки по измерения1оценки по измерения2 измерване · Лог Inspect .eval → Измерване на SIL · measure.py23обновяване на базовата линия4доказателства за базова линия

Писане на сценарии

Оркестраторът определя реда на фазите, ролевите агенти пишат и филтрират кандидати, а резултатът се експортира чрез договор за файлове.

  1. ред на фазите · PipelineStateseed_generation/orchestrator.pyизпълнение на фазите поредagents/ · чернова

    Оркестраторът определя реда на фазите и сливането на състоянието; работата се върши от ролевия агент на всяка фаза. В рамките на една фаза работата може да се разклони чрез SubAgentManager, а подагентите не се извикват рекурсивно (дълбочина 1).

  2. средни по измерения · доказателстваbaseline snapshotдоказателства за базова линияagents/ · чернова

    Generator, Critic и Evolver четат средните стойности, стандартните грешки и доказателствата по измерения за избраната базова линия. Първото поколение няма базова линия и използва промптовете по подразбиране.

  3. latest_pointer.json · priorshandoff pointerпредишен meta-reviewagents/ · чернова

    Meta-review от предишното изпълнение оставя priors за следващото поколение и недостатъчно покрити измерения, които това поколение да вземе предвид.

  4. agents/ · черновакандидати seedagents/ · преглед

    Кандидатите на Generator минават последователно през премахването на дубликати от Proximity, прегледа на Critic, Pilot (по избор; пропуска се при smoke изпълнения) и класирането по Elo на Ranker.

  5. agents/ · прегледsurvivors · Eloagents/ · подобряване

    Evolver подобрява най-високо класираните кандидати, а Meta-reviewer обобщава изпълнението в priors за следващото поколение.

  6. Meta-reviewer · следващи priorsagents/ · подобряванеследваща итерация · от CriticCritic · прегледagents/ · преглед

    При зададен max_iterations след Meta-reviewer подобрените кандидати минават отново през Critic → Pilot → Ranker → Evolver → Meta-reviewer. Supervisor, Generator и Proximity не се изпълняват отново; по подразбиране итерациите са нула.

  7. agents/ · подобряванеекспорт на оцелелитеrun_dir/

    Текстовете на оцелелите кандидати се копират като файлове в survivors/, оценките по Elo и pilot отиват в survivors.json, а meta-review и състоянието се записват отделно.

  8. meta_review.json · state.jsonrun_dir/указател latestlatest_pointer.json · priorshandoff pointer

    Един latest_pointer.json записва къде са seed_pool и meta_review на това изпълнение. Меродавни са резултатите на всяко изпълнение; указателят е само помощ без гаранция за следващото изпълнение, а неуспешен запис само се логва. Не всяко изпълнение има и двете полета.

Изпълнение на одит

Одиторът изиграва seed (инструкция за сценарий), целта е скелето GEODE, а съдията оценява стенограмата. Трите роли са отделни места за модели.

  1. survivors/ · копия .md на кандидатитеrun_dir/--seed-selectgeode audit · /audit · инструментpetri/runner.py

    Одитът получава избор от seed (директория survivors, вградени seed, идентификатори или тагове) и го предава на задачата inspect_petri/audit на Inspect. Генерирането на seed само по себе си не стартира одит.

  2. вградени seed · *.mdpetri/seedsвградени seedgeode audit · /audit · инструментpetri/runner.py

    Вградените в хранилището seed могат да се изберат и както са.

  3. geode audit · /audit · инструментpetri/runner.pyроли на моделите · три местаМодел одитор

    Моделите одитор, цел и съдия се задават отделно. По подразбиране се прави пробно изпълнение (dry run); реални извиквания има само след потвърдена оценка на разходите. Когато и трите роли използват един и същ доставчик, се добавя маркер за пристрастие от един доставчик.

  4. Модел одитордиалог по сценария seedGEODE като цел · AgenticLooppetri/geode_target.py

    Seed е инструкция за сценарий за одитора. Одиторът води разговора и може да създава инструменти и резултати от инструменти само когато target_tools е разрешен.

  5. GEODE като цел · AgenticLooppetri/geode_target.pyизвиквания на моделаБазов модел на целта

    Целият AgenticLoop на GEODE (инструменти, hooks, памет) е обвит като едно API на модел, така че одитираната цел е скелето GEODE, а не само базовият модел.

  6. GEODE като цел · AgenticLooppetri/geode_target.pyстенограмаМодел съдия

    Съдията прочита веднъж пълната стенограма на всяка извадка и я оценява по измерения.

  7. judge_dimensions · YAMLpetri/judge_dimsjudge_dimensionsМодел съдия

    Избраният YAML с измерения за съдията задава измеренията за оценяване. Това е поведенчески одит, различно измерване от изпълнението на задачи.

  8. Модел съдияоценки по измеренияЛог Inspect .eval

    Логът Inspect .eval и обобщение се архивират. Неуспешното архивиране се отбелязва и не блокира резултата от одита.

Измерване → следващо поколение

SIL използва одитните оценки за своя вердикт, а запазеното измерване става доказателство за базова линия за следващото генериране на seed. Това не означава, че връзката е работила автоматично във всяка кампания.

  1. Модел съдияоценки по измеренияЛог Inspect .eval

    Логът Inspect .eval и обобщение се архивират. Неуспешното архивиране се отбелязва и не блокира резултата от одита.

  2. Лог Inspect .evalизмерванеИзмерване на SIL · measure.py

    measure.py на SIL изпълнява одита като подпроцес и изчислява fitness от резултата.

  3. Измерване на SIL · measure.pyобновяване на базовата линиясредни по измерения · доказателстваbaseline snapshot

    Регистърът на SIL записва запазено измерване като базова линия. Генерирането на seed чете тези доказателства, когато е избрана базова линия (автоматично или изрично).

  4. средни по измерения · доказателстваbaseline snapshotдоказателства за базова линияagents/ · чернова

    Generator, Critic и Evolver четат средните стойности, стандартните грешки и доказателствата по измерения за избраната базова линия. Първото поколение няма базова линия и използва промптовете по подразбиране.

Всички връзки с еднаква дебелина. Изберете поток, за да се откроят само неговият път и номерираните стъпки.

  • Плътна · посоката, в която текат заявките, кандидатите и резултатите
  • Прекъсната · изпълнение, решение, разрешаване, конфигуриране
  • Дълга щрих-пунктирна · записи и наблюдение, отделно от вердикта
  • Дебела черна линия · избраният поток; числата показват реда
  • Кутия · граница на код или записи, с пътя в заглавието
  • Вътрешен етикет · компонент в тази граница
  • Прекъсната кутия · извън тази граница
  • оркестратор · вход на одита
  • одитирана цел · измерения за оценяване
  • резултати · файлове със състояние
  • ролеви агенти · вградени seed

Оркестраторът фиксира реда на първото преминаване и реда на повторението. Конфигурацията, регистрираните роли и точката на продължаване могат да пропуснат някои фази, а не всяка кампания е изпълнила всяка фаза. Местоположението на файловете със състояние зависи от средата, затова пътища не са показани.

Три роли
Seed е инструкция за сценарий, написана от човек или генерирана; одиторът е моделът, който я изиграва, целта е одитираното скеле GEODE, а съдията е моделът, който оценява стенограмата. Оценките и логовете са резултати на съдията.
Какво се измерва
Одитът Petri оценява поведенчески измерения. Това не е процент на изпълнени задачи, нито гаранция за качеството на продукта.