Geodi, GEODE'nin resmî piksel karakteri
Salona dön

GEODE

Autonomous Agent Harness

Gözlemden bir sonraki eyleme.

Araştırma, dosya işleri ve zamanlanmış görevler devredilebilen yerel bir otonom ajan düzeneği.

2026.02.21 — present

Tasarım, yargı, doğrulama: Author · uygulama: Claude · inceleme: Codex

  • CLIYayında · PyPI
  • MCP sunucusuUygulandı

Denetim senaryoları, sırası sabit aşamalardan geçerek üretilir.

Aşama sırası host'a aittir; her aşamada rol ajanları işi paylaşır. Ortaya çıkan seed havuzu ve seçilen rubrik, Petri davranış denetiminin girdileri olur.

Seed haritası · sabitlenmiş 9e2c041 commit'indeki evals yollarından çizildi
GEODE denetim senaryosu üretimi ve Petri denetimiDenetim senaryolarının (seed'lerin) nasıl yazılıp denetlendiği. seed_generation orkestratörü aşama sırasının sahibidir; rol ajanları taslak, inceleme ve iyileştirme yapar ve sonuç bir survivors dizini ile meta-review dosyaları olarak dışa aktarılır. Bir Petri denetimi bir seed seçimini alır ve üç ayrı model rolü atar: denetçi seed senaryosunu canlandırır, hedef GEODE iskelesinin tamamıdır ve hakem konuşma dökümünü boyut bazında puanlayıp bir Inspect günlüğüne yazar. SIL ölçümü bu sonucu okur ve korunan bir ölçüm bir sonraki üretimin baseline kanıtı olur.Denetçi modelseed senaryosunu canlandırırHedefin temel modeliGEODE'nin sardığı modelHakem modeldökümün tamamını puanlarInspect .eval günlüğüarşiv · özetSIL ölçümü · measure.py“Politika araması” bölümü okurbaseline snapshotboyut ortalamaları · kanıthandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pyaşama sırası · PipelineStatecheckpoint · resumeagents/ · taslakSupervisor · çalıştırma stratejisiliterature_review · varsayılan olarak kapalıGenerator · aday seed'leragents/ · incelemeProximity · tekilleştirmeCritic · incelemePilot · isteğe bağlı · smoke'ta yokRanker · Eloagents/ · iyileştirmeEvolver · iyileştirmeMeta-reviewer · sonraki priorsrun_dir/survivors/ · aday .md kopyalarısurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedspaketli seed'ler · *.mdpetri/runner.pygeode audit · /audit · araçmaliyet tahmini · varsayılan dry-runpetri/geode_target.pyHedef olarak GEODE · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLçalıştırma dışındaki durum dosyalarıevals/seed_generationsenaryo yazımıevals/petridenetim çalıştırması1aşamaları sırayla çalıştır2baseline kanıtı3 önceki meta-review · latest_pointer.json · priors → agents/ · taslak34 aday seed'ler · agents/ · taslak → agents/ · inceleme45survivors · Elo6 sonraki yineleme · Critic'ten · Meta-reviewer · sonraki priors → Critic · inceleme67 survivors'ı dışa aktar · agents/ · iyileştirme → run_dir/78latest işaretçisi1--seed-select2paketli seed'ler3 model rolleri · üç yer · geode audit · /audit · araç → Denetçi model34seed senaryosu diyaloğu5 model çağrıları · Hedef olarak GEODE · AgenticLoop → Hedefin temel modeli56döküm7 judge_dimensions · judge_dimensions · YAML → Hakem model78boyut puanları1boyut puanları2 ölçüm · Inspect .eval günlüğü → SIL ölçümü · measure.py23baseline güncellemesi4baseline kanıtı

Senaryo yazımı

Aşama sırası orkestratöre aittir; rol ajanları adayları hazırlar ve süzer, sonuç bir dosya sözleşmesiyle dışa aktarılır.

  1. aşama sırası · PipelineStateseed_generation/orchestrator.pyçalıştırma · karar: aşamaları sırayla çalıştıragents/ · taslak

    Orkestratör aşama sırasının ve durum birleştirmenin sahibidir; her aşamanın rol ajanı işi yapar. Bir aşama içinde iş SubAgentManager aracılığıyla dağıtılabilir ve alt ajanlar daha alta inmez (depth 1).

  2. boyut ortalamaları · kanıtbaseline snapshotveri: baseline kanıtıagents/ · taslak

    Generator, Critic ve Evolver seçilen baseline'ın boyut bazında ortalamalarını, standart hatalarını ve kanıtlarını okur. İlk üretimde baseline yoktur ve varsayılan istemler kullanılır.

  3. latest_pointer.json · priorshandoff pointerveri: önceki meta-reviewagents/ · taslak

    Önceki çalıştırmanın meta-review'u, bu üretimin dikkate alması için sonraki nesil priors'ını ve yeterince ele alınmamış boyutları bırakır.

  4. agents/ · taslakveri: aday seed'leragents/ · inceleme

    Generator adayları sırasıyla Proximity tekilleştirmesinden, Critic incelemesinden, Pilot'tan (isteğe bağlı; smoke çalıştırmalarında atlanır) ve Ranker'ın Elo sıralamasından geçer.

  5. agents/ · incelemeveri: survivors · Eloagents/ · iyileştirme

    Evolver en üst sıradaki adayları iyileştirir; Meta-reviewer çalıştırmayı sonraki nesil için priors olarak özetler.

  6. Meta-reviewer · sonraki priorsagents/ · iyileştirmeçalıştırma · karar: sonraki yineleme · Critic'tenCritic · incelemeagents/ · inceleme

    max_iterations ayarlandığında, Meta-reviewer'dan sonra iyileştirilmiş adaylar yeniden Critic → Pilot → Ranker → Evolver → Meta-reviewer yolundan geçer. Supervisor, Generator ve Proximity yeniden çalışmaz; varsayılan sıfır yinelemedir.

  7. agents/ · iyileştirmeveri: survivors'ı dışa aktarrun_dir/

    Hayatta kalan aday gövdeleri dosya olarak survivors/ dizinine kopyalanır, Elo ve pilot puanları survivors.json'a gider; meta-review ve durum ayrı yazılır.

  8. meta_review.json · state.jsonrun_dir/veri: latest işaretçisilatest_pointer.json · priorshandoff pointer

    Tek bir latest_pointer.json bu çalıştırmanın seed_pool ve meta_review konumunu kaydeder. Esas olan çalıştırma başına çıktılardır; işaretçi bir sonraki çalıştırmaya best-effort bir yardımdır ve yazma hatası yalnızca günlüğe kaydedilir. Her çalıştırmada iki alan da bulunmaz.

Denetim çalıştırması

Denetçi seed'i (bir senaryo talimatı) canlandırır, hedef GEODE iskelesidir ve hakem dökümü puanlar. Üç rol ayrı model yerleridir.

  1. survivors/ · aday .md kopyalarırun_dir/veri: --seed-selectgeode audit · /audit · araçpetri/runner.py

    Bir denetim bir seed seçimini (bir survivors dizini, paketli seed'ler, id'ler ya da etiketler) alır ve Inspect'in inspect_petri/audit görevine aktarır. Seed üretimi bir denetimi kendisi başlatmaz.

  2. paketli seed'ler · *.mdpetri/seedsveri: paketli seed'lergeode audit · /audit · araçpetri/runner.py

    Depodaki paketli seed'ler olduğu gibi seçilebilir.

  3. geode audit · /audit · araçpetri/runner.pyçalıştırma · karar: model rolleri · üç yerDenetçi model

    Denetçi, hedef ve hakem modelleri ayrı ayrı belirlenir. Varsayılan dry run'dır; gerçek çağrılar yalnızca bir maliyet tahmini onaylandıktan sonra yapılır. Üç rol de aynı sağlayıcıyı paylaştığında aynı sağlayıcı yanlılığı işareti eklenir.

  4. Denetçi modelveri: seed senaryosu diyaloğuHedef olarak GEODE · AgenticLooppetri/geode_target.py

    Bir seed, denetçiye verilen bir senaryo talimatıdır. Denetçi konuşmayı yönetir ve yalnızca target_tools etkinse araç ve araç sonucu oluşturabilir.

  5. Hedef olarak GEODE · AgenticLooppetri/geode_target.pyveri: model çağrılarıHedefin temel modeli

    GEODE AgenticLoop'un tamamı (araçlar, hook'lar, bellek) tek bir model API'si olarak sarılır; böylece denetlenen hedef yalnızca temel model değil, GEODE iskelesidir.

  6. Hedef olarak GEODE · AgenticLooppetri/geode_target.pyveri: dökümHakem model

    Hakem her örneğin tam dökümünü bir kez okur ve boyut bazında puanlar.

  7. judge_dimensions · YAMLpetri/judge_dimsçalıştırma · karar: judge_dimensionsHakem model

    Seçilen hakem boyutu YAML'ı puanlama boyutlarını belirler. Bu bir davranış denetimidir; görev tamamlamadan farklı bir ölçümdür.

  8. Hakem modelveri: boyut puanlarıInspect .eval günlüğü

    Inspect .eval günlüğü ve bir özet arşivlenir. Arşivleme hatası not edilir ve denetim sonucunu engellemez.

Ölçüm → sonraki üretim

SIL hükmü için denetim puanlarını kullanır ve korunan bir ölçüm bir sonraki seed üretiminin baseline kanıtı olur. Bu, bağlantının her kampanyada otomatik çalıştığı anlamına gelmez.

  1. Hakem modelveri: boyut puanlarıInspect .eval günlüğü

    Inspect .eval günlüğü ve bir özet arşivlenir. Arşivleme hatası not edilir ve denetim sonucunu engellemez.

  2. Inspect .eval günlüğükayıt · gözlem: ölçümSIL ölçümü · measure.py

    SIL'in measure.py'ı denetim alt sürecini çalıştırır ve sonucundan fitness hesaplar.

  3. SIL ölçümü · measure.pyveri: baseline güncellemesiboyut ortalamaları · kanıtbaseline snapshot

    SIL'in ledger'ı korunan bir ölçümü baseline olarak yazar. Seed üretimi, bir baseline seçildiğinde (otomatik ya da açıkça) o kanıtı okur.

  4. boyut ortalamaları · kanıtbaseline snapshotveri: baseline kanıtıagents/ · taslak

    Generator, Critic ve Evolver seçilen baseline'ın boyut bazında ortalamalarını, standart hatalarını ve kanıtlarını okur. İlk üretimde baseline yoktur ve varsayılan istemler kullanılır.

Her bağlantı aynı kalınlıkta. Yalnızca yolunu numaralı adımlarla vurgulamak için bir akış seçin.

  • Düz çizgi · isteklerin, adayların ve sonuçların akış yönü
  • Kesikli · çalıştırma, karar, yetkilendirme, yapılandırma
  • Uzun çizgi-nokta · kayıtlar ve gözlem, hükümden ayrı
  • Kalın siyah çizgi · seçilen akış; numaralar sırayı verir
  • Kutu · bir kod ya da kayıt sınırı, başlığında yolu
  • İç çip · o sınırdaki bir bileşen
  • Kesikli kutu · o sınırın dışı
  • orkestratör · denetim girişi
  • denetim hedefi · puanlama boyutları
  • çıktılar · durum dosyaları
  • rol ajanları · paketli seed'ler

Orkestratör ilk geçiş sırasını ve tekrar sırasını sabitler. Yapılandırma, kayıtlı roller ve sürdürme noktası bazı aşamaları atlatabilir; her kampanya her aşamayı çalıştırmadı. Durum dosyalarının konumu ortama bağlı olduğu için yol gösterilmez.

Üç rol
Seed, bir insanın yazdığı ya da üretilmiş bir senaryo talimatıdır; denetçi onu canlandıran model, hedef denetlenen GEODE iskelesi, hakem ise dökümü puanlayan modeldir. Puanlar ve günlükler hakemin çıktılarıdır.
Ölçülen şey
Bir Petri denetimi davranış boyutlarını puanlar. Görev tamamlama oranı ya da ürün kalitesi garantisi değildir.