GEODE
Autonomous Agent Harness
Gözlemden bir sonraki eyleme.
Araştırma, dosya işleri ve zamanlanmış görevler devredilebilen yerel bir otonom ajan düzeneği.
Her seferinde tek politika değişir, ölçüm sabit kalır.
Düzeneğin dışında çalışan ayrı bir döngü. Baseline'dan yola çıkarak türü belirli tek bir politika değişikliği uygular; KEEP ile geri yükleme arasında aynı Petri denetimi ve aynı geçit karar verir.
Tek değişiklik → denetim
Çalıştırma sözleşmesi sabitken izin verilen tek bir politika değişir ve GEODE aynı ölçüm aygıtıyla denetlenir. Bu, çalışan ürünün kendini yeniden yazması değildir.
Operatör onayıçalıştırma · karar: onayçalıştırma sözleşmesi · modeller · bütçe
program.mdBir çalıştırma ancak canlı çağrılar ve sabit bütçe onaylandıktan sonra başlar. Onay yoksa yalnızca sözleşme hazırlanır ve çevrimdışı kontrol edilir.
çalıştırma sözleşmesi · modeller · bütçe
program.mdçalıştırma · karar: çalıştırma sözleşmesisabit bütçeli döngütrain.pySeed ve rubrik revizyonları, rol modelleri ve kimlik bilgisi kaynakları, ölçüm ayarları, yineleme, süre ve maliyet bütçeleri, terfi politikası ve durma koşulları çalıştırmadan önce sabitlenir.
sabit bütçeli döngü
train.pyçalıştırma · karar: tek aday istemutator · tek adayloop/mutateKanıta dayalı tek bir hipotez, izin verilen tek bir politika yüzeyini değiştirir.
7 yüzey · hiperparametre yok
loop/mutateveri: politika değişikliği · mutation IDdosya tabanlı politikastate/policiesYalnızca yedi yüzey değişebilir: wrapper istemi, araç politikası, ayrıştırma önerisi, reflection, beceri kataloğu meta verisi, ajan sözleşmesi (role, system_prompt, tools) ve araç açıklamaları ile ipuçları. Hiperparametre değişiklikleri hem ayrıştırmada hem uygulamada reddedilir. Bir politikayı uygulamak, yeniden ölçmek ve isteğe bağlı commit ayrı adımlardır; dolayısıyla uygulama kendi başına bir denetim değildir.
seed havuzu · rubrik sabit
prepare.pyçalıştırma · karar: seed'ler · rubrik sabitdenetim alt süreci · sabit zaman aşımımeasure.pyprepare.py seed havuzu ve rubrik için sabit referanstır; adaylar onu değiştirmez. Bir ölçüm modülünü değiştirmek test edilen sistemi değil, ölçümün kendisini değiştirir.
dosya tabanlı politika
state/policiesveri: seçili politikapolitika başına OVERRIDE · STRICTmeasure.pymeasure.py şu anda seçili politika dosyasını okur ve denetim ortamına aktarır.
politika başına OVERRIDE · STRICT
measure.pyçalıştırma · karar: politika başına override yollarıcore · politika yükleyicilerimeasure.py wrapper yolunu ve politika başına override ve strict yollarını denetim alt sürecine aktarır; çalışma zamanının ilgili politika yükleyicisi her birini okur. Wrapper (GEODE_WRAPPER_OVERRIDE → system_prompt) bunlardan yalnızca bir daldır; ek ortam anahtarları değiştirilebilir yedi yüzeyi genişletmez. Düzenlenmiş bir dosya tek başına adayın hedefe ulaştığını kanıtlamaz; bunu denetim kanıtının tanılaması doğrular.
denetim alt süreci · sabit zaman aşımı
measure.pyçalıştırma · karar: audit subprocessPetri denetimiDenetim sabit bir zaman aşımı ve bütçeyle çalışır; bunlar karşılaştırmanın ortasında asla değiştirilmez. Eksik çıktı sıfır puan değil, bir tanılama boşluğudur.
Petri denetimiveri: denetim diyaloğucore · politika yükleyicileri
Denetçi seed senaryosu üzerinden GEODE ile konuşur, hakem dökümü puanlar.
Hüküm → koruma · geri yükleme
Aynı sözleşmeli baseline ile karşılaştırmada KEEP'e critical gerilemeler ve terfi kuralı karar verir; reddedilen bir değişiklik kayıtlı önceki değerine geri yüklenir.
Petri denetimiveri: boyut puanlarıcritical gerileme · cezalar
fitness.pyPuanlar eksik boyutlar ve örnek sayılarıyla birlikte gelir. Ölçülmemiş bir boyut gözlem olarak okunmaz.
baseline · provenance
ledger.pyveri: baseline · provenancecritical gerileme · cezalarfitness.pyKarşılaştırma yalnızca kayıtlı sözleşmesi ve epoch'u aynı olan bir baseline ile yapılır. Yeni bir Git dalı baseline durumunu yalıtmaz.
critical gerileme · cezalar
fitness.pyveri: fitness · gerileme nedenleri_should_promote · KEEPgate.pyÖnce critical boyut gerilemeleri ve yardımcı cezalar, ardından margin ya da hedef boyut testi kontrol edilir. Tek başına pozitif bir skaler değer asla terfi ettirmez.
_should_promote · KEEP
gate.pyveri: KEEP · sonraki baselinebaseline · provenanceledger.pyKorunan aday bir sonraki baseline olur. Yerelde korunan bir aday, depoya merge ya da bir sürüm değildir.
_reject_and_revert
gate.pyçalıştırma · karar: REJECT · öncekini geri yükledosya tabanlı politikastate/policiesRunner'ın oluşturduğu bir adayda, mutation ID'si altında kaydedilmiş politika bölümü geri yüklenir ve başarısız geri yükleme işaretlenir. Elle yapılan değişiklikler otomatik geri yüklenmez; belirsiz bir geri yükleme bir sonraki adayı durdurur.
_should_promote · KEEP
gate.pykayıt · gözlem: sonuç · hüküm satırıresults · mutation satırlarıledger.pyÖlçüm, hüküm ve köken bilgisi sonuç satırları olarak bir kez yazılır; geçmiş satırlar asla yeniden yazılmaz.
Kontroller · replicate ölçüm
June 2026 çalıştırması: değişikliksiz never arm ve K=5 baseline denetim gürültüsünü ayrıca ölçtü; tek denetimli bir KEEP replicate ölçümlerle yeniden kontrol edildi.
run-2606-broken-tool-useçalıştırma · karar: üç armsabit bütçeli döngü
train.pyJune 3–4, 2026 çalıştırması kaymayı değişiklik etkisinden üç arm ile ayırdı: never (değişiklik yok), random (rastgele kabul) ve gate (hükümle kabul). Hedef GPT-5.5, denetçi ve hakem Claude Opus 4.8 idi.
gen-0 baseline · 5 denetimin ortalaması
run-2606-broken-tool-useveri: K=5 ortalama baselinebaseline · provenanceledger.pygen-0 baseline beş denetimin ortalamasıydı (Petri broken_tool_use, düşük olan daha iyi, ortalama 2.667).
never arm · değişikliksiz kontrol
run-2606-broken-tool-useçalıştırma · karar: değişiklik olmadan ölçümdenetim alt süreci · sabit zaman aşımımeasure.pyNever arm hiçbir politika değişikliği olmadan 3.38 ortalamaya kaydı (10 denetim, düşük olan daha iyi): denetim gürültüsünün değişiklik etkisini aştığının doğrudan kanıtı.
--replicate K · yeniden ölçüm
train.pyçalıştırma · karar: --replicate Kdenetim alt süreci · sabit zaman aşımımeasure.pyTek bir şanslı denetimi elemek için aynı aday aynı koşullarda K kez daha ölçülür.
replicate · tek bir KEEP'in yeniden ölçümü
run-2606-broken-tool-useçalıştırma · karar: yeniden ölçüm → geri alma_reject_and_revertgate.pyTek bir gate denetimiyle (1.6) korunan bir aday, replicate ölçümlerde 3.0–3.8 verdi ve baseline'dan kötü çıktı; bu yüzden champion 2.667 geri yüklendi. Çalıştırmanın sonucu: belirgin bir iyileşme yok.
Her bağlantı aynı kalınlıkta. Yalnızca yolunu numaralı adımlarla vurgulamak için bir akış seçin.
- Düz çizgi · isteklerin, adayların ve sonuçların akış yönü
- Kesikli · çalıştırma, karar, yetkilendirme, yapılandırma
- Uzun çizgi-nokta · kayıtlar ve gözlem, hükümden ayrı
- Kalın siyah çizgi · seçilen akış; numaralar sırayı verir
- Kutu · bir kod ya da kayıt sınırı, başlığında yolu
- İç çip · o sınırdaki bir bileşen
- Kesikli kutu · o sınırın dışı
- döngü · ölçüm çalıştırması
- sözleşme · hüküm
- politika · kayıtlar
- değişiklik · denetlenen hedef · çalıştırma kaydı
GEODE'nin SIL sürücüsünün adı autoresearch'tür; prepare/train/program yapısı ve sabit bütçesi Karpathy'nin autoresearch'ünden esinlenir. Hiçbir model ağırlığı değişmez; ölçüm aygıtı ve bütçe karşılaştırma boyunca sabit kalır.
- Değişebilecekler
- Yedi yüzey: wrapper istemi, araç politikası, ayrıştırma önerisi, reflection, beceri kataloğu meta verisi, ajan sözleşmesi ve araç açıklamaları ile ipuçları. Değerlendirici, bütçe, seed'ler ve rubrik karşılaştırma boyunca sabit kalır.
- Çalıştırma kaydının kapsamı
- run-2606 değerleri o çalıştırmanın Petri broken_tool_use ortalamalarıdır (düşük olan daha iyi). SIL'in birikimli iyileşmesinin ya da genellemenin kanıtı değildir.