GEODE
Autonomous Agent Harness
Gözlemden bir sonraki eyleme.
Araştırma, dosya işleri ve zamanlanmış görevler devredilebilen yerel bir otonom ajan düzeneği.
Rollout'lardan kanıta
Geçme oranı tek başına bir yürütmeyi açıklayamaz. Olay sırasını, araç çağrılarını ve sonuçlarını, yeniden deneme soy kaydını ve bağımsız doğrulayıcı kanıtını koruyor, ardından yayımlanabilecek parçaları birbirine bağlıyorum. Bu deneyler kayıt ve değerlendirme sözleşmelerinin nasıl geliştiğini gösterir.
Deneye göre · tarih sırasıyla
Altı deney tarih sırasına göre yerleştirilmiştir; birbirine bağlı tek bir optimizasyon süreci değildir. SIL, Crucible'ı ya da Jev'i otomatik olarak beslemez ve bu, üretimdeki GEODE'nin sürekli iyileştiği iddiası değildir. Tarihler deney ve yayın anlık görüntüsü tarihleridir; oklar yalnızca tek bir deney içindeki aşamalar için kullanılır.
June 3, 2026 to June 4, 2026SIL · harici politika araması
Tek denetimden gelen bir KEEP, tekrarlanan ölçümle yeniden kontrol edildi
SoruBir politika değişikliği, araç kullanım davranışını denetim gürültüsünün ötesinde iyileştirdi mi?
Harici deney · GEODE çalışma zamanının dışında
- Baseline · K=5
- Tek politika değişikliği
- Petri denetimi
- Tekrarlanan ölçüm
- Koru
- Geri al
- Ne değişti
- Bu deneyde, koruma ya da geri alma kararından önce bir değişikliğin tek denetimine tekrarlanan ölçüm eklendi. Zorluğu eşleştirilmiş seed'ler ve K=5 baseline eklendi; never, random ve gate arm'ları hiçbir değişiklik olmadan oluşan kaymayı kabul edilen değişikliklerden ayırır.
- Neyi destekliyor
- Yeniden ölçüldüğünde, tek denetimle korunan aday baseline'dan kötü çıktı (düşük olan daha iyi), bu yüzden benimsenmesi geri alındı. Bu deney sağlam bir iyileşme olmadığı sonucuna vardı. Bu bir Petri broken_tool_use davranış denetimidir, görev tamamlama ödülü değildir.
July 11, 2026 to July 13, 2026Crucible · harici deney çekirdeği
Aramada kalmak ve ürüne ulaşmak ayrı hükümlerdir
SoruBir adayı aramada tutmanın kanıtı, onu ürüne terfi ettirip yayımlamanın kanıtıyla aynı mıdır?
Harici Crucible çekirdeği · ayrı ölçüm checkout'u
- Aday · üst soy
- Dondurulmuş sözleşme kontrolü
- Eşli ölçüm
- KEEPyalnızca ayrı bir sealed hükme
- REJECT
- INVALIDnull, %0 değil
- Ne değişti
- Reddedilen ve geçersiz adaylar üst soylarıyla birlikte tutulur; train seçimi, sealed uygunluk ve ürün sürümü yetkisi ayrı kayıtlardır.
- Neyi destekliyor
- r14 train'de KEEP oldu (altı görev birimi, her biri tek deneme, terfi yetkisi yok), ancak ayrı sealed hükmü REJECT oldu (ürüne terfi ya da sürüm yetkisi yok). r35, eksik coverage ve altyapı kirlenmesi nedeniyle INVALID'dir; eşli satır olmadığından ortalaması null kalır. Bu ne çalışma zamanının kendini değiştirmesidir ne de bir SIL → Crucible dağıtım zinciri.
July 21, 2026 · July 31, 2026Arıtma · yayın
Kalan kayıtlar sınıflandırıldı ve yalnızca paylaşılabilecek olanlar değişmez bir sürüm oldu
SoruGerçekte ne yeniden kurulabilir ve ne güvenle paylaşılabilir?
- Özel kaynakOturum kaydı · native kanıtnative sonuç · doğrulayıcı dahil
- hedef: Normalleştirilmiş olaylarsırayı · kimliği koru
- Normalleştirilmiş olaylarkimlik · sıra · çağrı-sonuç çiftleri
- hedef: Herkese açık adayallowlist · maskeleme · digest
- Herkese açık adayincelemede
- hedef: Bütünlük · gizlilik kontrollerikontrol
- Bütünlük · gizlilik kontrollerieşleştirme · soy · kapsam
- hedef: Değişmez sürümyalnızca incelenmiş baytlar
- Herkese açık depoDeğişmez sürümmanifest · native sonuçlara digest ile başvurulur
- hedef: Uzaktan geri okumahash'i doğrula
- Uzaktan geri okumasabitlenmiş SHA-256
Orijinal yürütmeden sırayı ve tanımlayıcıları koruyan olaylar oluşturulur; herkese açık adaydaki hassas içerik kaldırılır ya da hash'lerle değiştirilir. Çağrı-sonuç çiftleri, kapsam ve soy kontrol edildikten sonra onaylı dosyalar ve manifest değişmez bir sürüm olarak yayımlanır ve uzak hash'ler yeniden kontrol edilir. - Ne değişti
- July 21, 2026 envanteri diyalog, araç, arama ve karar kayıtlarını kaynağa göre sınıflandırdı; aynı kaynağın kopyaları bağımsız örnek sayılmadı. July 31, 2026 tarihinden itibaren geode.trajectory@1 ve geode.trajectory-release@1; kimliği, olay sırasını, çağrı-sonuç çiftlerini, kapsam ve yeniden oynatma bütünlüğünü ve içeriğe bağlı manifest'leri açıkça tanımlar. Dönüştürülmüş herkese açık kopyalar ve orijinaller ayrı digest'ler taşır.
- Neyi destekliyor
- Burada arıtma; normalleştirme, ilişkilendirme, açık maskeleme, soy kaydı ve yayın kabulü anlamına gelir. Gizli akıl yürütmeyi yeniden kurmaz ve eğitime hazır bir veri kümesi ilan etmez. Özel gövdeler digest'lerle değiştirildiğinde eksiksiz bir kapsam, bayt düzeyinde eksiksiz bir yeniden oynatma değildir.
- Özel kaynakOturum kaydı · native kanıtnative sonuç · doğrulayıcı dahil
August 25, 2026Learning view
Tek bir rollout ve kanıtı tanımlayıcılarla birbirine bağlandı
SoruHangi girdi, deneme, olay dizisi ve ödül birbirine aittir?
geode.eval-learning-view@2 · ID'ler ve doğrulanmış digest'lerle bağlanır, nedensel bir sıra değildir
- example
- rollout
- trajectory
- reward
Ödülün sahibi native verifier receipt'leridir. Altyapı yeniden denemeleri tek bir rollout içindeki denemelerdir.
- Ne değişti
- Değişmez yörüngeler kapsamı belirli join'ler aracılığıyla yeniden kullanılır ve ödüller değerlendiriciye ait türetilmiş etiketler olarak kalır. Altyapı yeniden denemeleri rollout eklemez. Gözlenen 0 korunur, eksik ödül null'dır; geçersiz ya da yarıda kesilmiş denemeler ödül seçiminden çıkarılır. Geçerlilik rollout'un bir özelliğidir, otomatik olarak null ödül anlamına gelmez.
- Neyi destekliyor
- Harbor 0.8.0 ile yapılan Terminal-Bench fast-3 çalıştırması (üç görev, 3/3) ve Tau2 üç alanlı tanılaması (1/3, iki geçerli sıfır) aynı yapıda bağlandı. Bunlar eğitim sonrası adaylardır; eğitimde kullanılmış veri kümeleri ya da ağırlıkların iyileştiğinin kanıtı değildir ve üç görevlik bir sonuç paket doğruluğu değildir.
August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1
Tek bir trial, sonucu ve yeniden oynatma kaydını ayrı ayrı üretti
SoruGerçek bir görev yürütmesi nasıl bir sonuca ve incelenebilir bir yeniden oynatmaya dönüşür?
- Dondurulmuş görev · specönceden sabit · beş tekrar
- hedef: Yalıtılmış trialtalimat · ortam · limitler
- Harbor 0.22.0 trial · gerçek yürütmeYalıtılmış trialActor olarak GEODE
- hedef: Eylemler ve son durumyürüt
- Eylemler ve son durumgözlenen davranış
- hedef: Görevin doğrulayıcısıgörev durumunu kontrol et
- hedef: ATIF · herkese açık olay yansıtmasıkaydedilen olayları yansıt
- Görevin doğrulayıcısı
- hedef: Native ödül · receiptödül
- Native ödül · receipt
- hedef: Seçilen deneme analizidondurulmuş seçim
- ATIF · herkese açık olay yansıtmasıson işleme · yeni çalıştırma değil
- Seçilen deneme analizidondurulmuş seçim kuralı
Dondurulmuş bir görev ve spec, yalıtılmış bir trial'a talimatını, ortamını ve limitlerini verir; görevin sahip olduğu doğrulayıcı GEODE'nin bıraktığı durumu kontrol eder ve ödülü üretir. Analiz yalnızca dondurulmuş bir kuralın seçtiği denemeyi kullanır. Aynı çalıştırmada kaydedilen olaylar ayrıca ATIF'e ve herkese açık olaylara yansıtılır; bu yeni bir çalıştırma değil, son işlemedir. - Ne değişti
- Dondurulmuş spec, her deneme, seçilen sonuç, görevin doğrulayıcısı ve sadık ama sınırlı bir yeniden oynatma ayrı ve bağlantılı kayıtlar olarak tutulur. Harbor 0.22.0, GPT-5.6 Sol/max ile beş tekrar yaparak GEODE'yi (o zaman tek terminal araçlı bir adaptör) Codex ile karşılaştırdı.
- Neyi destekliyor
- Görev talimatların, ortamın ve testlerin sahibidir; trial tek bir denemedir; job trial'ları gruplar. Ödülü görevin doğrulayıcısı belirler; GEODE'nin içindeki tamamlanma hakemi çalışma zamanı geri bildirimidir. Herkese açık yeniden oynatma, kaydedilmiş araç olaylarının sonradan yapılmış bir yansıtmasıdır; ham bir PTY ya da yeni bir çalıştırma değildir ve eksik hücreler için komut uydurulmadı. Önceden kaydedilmiş primary ölçülemedi.
- Dondurulmuş görev · specönceden sabit · beş tekrar
September 24, 2026 to September 28, 2026Jev · karar devri
Doğru bir aday da teslim doğrulaması ister
SoruDevredilen bir yargı, görev kalitesini ve nihai teslimi gerçekten korur mu?
- U8n · Noul çalıştırması · Harbor 0.22 · Astra yürütür ve onarır, yalnızca yargı yönlendirmesi değişirKarar durumugörev sözleşmesi · aday · araç gözlemleri
- hedef: Yargı · Noulyargı girdisi
- Yargı · NoulAstra ya da Jev
- hedef: GEODE tüketirkoşul olasılıkları
- GEODE tüketirdestekleniyor: teslim; kanıt eksik: beklet
- hedef: Nihai teslimdestekleniyor
- hedef: Astra onarımıkanıt eksik · beklet
- Nihai teslim
- hedef: Bağımsız sonuç kontrolüteslim edilen sonuç
- Astra onarımıgeri bildirimden sonraki aday
- hedef: Yargı · Noulyeniden yargıla
- hedef: Son aday · korunduson aday saklandı
- Bağımsız sonuç kontrolükural oracle'ı · teslim edilen sonuç
- U3 sabit panelleriyalnızca yargı · actor, araç ya da Harbor yok
- Sonradan teşhis · çalıştırmadan sonraSon aday · korundu
- hedef: Sonradan oracle teşhisisonradan kontrol
- Sonradan oracle teşhisiaday doğruluğu · teslime etkisi yok
Gerçek çalıştırmada karar durumu bir yargıya gider; GEODE onu tüketir, destekleniyorsa teslim eder, kanıt eksikse sonucu bekletir; bu arada Astra onarır ve yargı yeniden çalışır. Teslim edilen sonucu bağımsız bir kural oracle'ı doğrular. Ayrıca, çalıştırmadan sonra korunan son aday sonradan bir oracle ile teşhis edildi; bu teşhisin teslim üzerinde etkisi yoktur. U3 sabit panelleri; actor, araç ya da Harbor olmadan yalnızca yargıları karşılaştıran ayrı bir deneydir. - Ne değişti
- Yargı kabulü, aday doğruluğu ve nihai teslim ayrı sonuçlar olarak kaydedilir; hazırlık, hata ve onarım soy kayıtları herkese açık kopyada tutulur. Orijinal ve dönüştürülmüş herkese açık hash'ler ayrı kalır.
- Neyi destekliyor
- Yarıda kesilen U8n çalışmasının sonradan incelenen 11 çiftinde son aday iki arm'da da doğruydu, ancak teslim Astra 11/11 ve Jev Noul 0/11 oldu: Jev Noul'un kanıt eksikliği yargısı teslimi engelledi. Bu sonradan yapılmış bir analizdir ve genellenmez. Herkese açık sayısal yeniden hesaplama, yeniden oynatma incelemesi ve yeni canlı yürütme üç farklı işlemdir.
- U8n · Noul çalıştırması · Harbor 0.22 · Astra yürütür ve onarır, yalnızca yargı yönlendirmesi değişirKarar durumugörev sözleşmesi · aday · araç gözlemleri