TR
Geodi, GEODE'nin resmî piksel karakteri
Salona dön

GEODE

Autonomous Agent Harness

Gözlemden bir sonraki eyleme.

Araştırma, dosya işleri ve zamanlanmış görevler devredilebilen yerel bir otonom ajan düzeneği.

2026.02.21 — present

Tasarım, yargı, doğrulama: Author · uygulama: Claude · inceleme: Codex

  • CLIYayında · PyPI
  • MCP sunucusuUygulandı

Decision Offloading w. Jev

Bir ajanın görev sırasında verdiği ara kararlardan hangileri yalnızca karar veren bir model olan Jev'e devredilebilir? Bu araştırma, kararlar devredildiğinde bağımsız olarak doğrulanan görev kalitesinin korunup korunmadığını; hazırlığı, tekrarlanan yargıları, onarımı ve nihai teslimi de sayarak kontrol eder. İlk pilotlar yalnızca yargı çağrısını değiştirmekle açıklanamadı; bu yüzden girdi sözleşmesi, karar sözleşmesi, olasılık politikası ve yürütme ajanının tüketimi ayrı deneylere bölündü.

Jev haritası · çalışma zamanı sabitlenmiş 9e2c041 commit'inden, araştırma September 2026 kayıtlarından
Jev yargı yolları: çalışma zamanı entegrasyonu ve araştırmaÜst kısım, bugünkü GEODE çalışma zamanındaki isteğe bağlı yargı yoludur. Yalnızca judgment_engine jev olarak ayarlandığında nihai doğrulama ve reflection, TypeSafe SystemOne üzerindeki Jev'i bir kez çağırır; yanıt ancak tür, aralık ve olasılık toplamı kabul kontrolünden sonra kullanılır. Nihai doğrulamayı yalnızca supported geçer ve sonuç “Tamamlanma” bölümündeki PostVerify ve Stop politikasına gider. Alt kısım çalışma zamanı dışındaki Jev v3 araştırmasıdır: sabit durumlu bir panel (U3) Astra ve Jev yargılarını karşılaştırdı, Harbor 0.22 E/I çalıştırmaları yalnızca yargı yolunu değiştirip sonuçları ve teslimi bağımsız bir kural oracle'ı ile ayrı ayrı kontrol etti; herkese açık paket kaynak ve herkese açık kopya hash'lerini ayrı tutar ve model-free bir yeniden hesaplama sunar.TypeSafe SystemOnejev-1.13.0 · yalnızca yargıAstra hakemi · actor modeligpt-6-astra/xhigh · abonelikJev araştırma raporuherkese açık teknik raporcore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPostVerify · Stop politikasıcore/agent/verify.pynihai hüküm · tek Choice sorusuyalnızca supported geçer · yalnızca metinadapters/typesafe.pySystemOne · tek çağrı · fallback yokkabul kontrolü · toplam toleransı 1e-5loop/_reflection.pyreflection · kanıt sınıflandırmasımemory · observabilitytimeline · ledger karar satırlarıU3 · sabit durumlu panel120 çift · 27 kaynak · actor yokAstra · Jev · aynı soruE/I · Harbor 0.22Astra actor · araçlar · onarımhakem yolu · Astra · Jev · Jev-firstrule oracledoğruluk · teslim ayrıjev-v3-20260927E2E-DATA · kaynak · herkese açık hash'lerREPRODUCE · model-freeGEODE çalışma zamanı · 9e2c041isteğe bağlı yargı · varsayılan llmJev v3 araştırması · Sept 2026çalışma zamanı dışında · ayrı düzenek1yolu seç2 istek · aday · gözlemler · nihai hüküm · tek Choice sorusu → SystemOne · tek çağrı · fallback yok23 tek SystemOne çağrısı · SystemOne · tek çağrı · fallback yok → TypeSafe SystemOne34 kabul edilmiş Choice · kabul kontrolü · toplam toleransı 1e-5 → yalnızca supported geçer · yalnızca metin45passed · reflection6hüküm satırları1aynı seçim2kanıtı sınıflandır3 tek SystemOne çağrısı · SystemOne · tek çağrı · fallback yok → TypeSafe SystemOne34 sınıflandırma · kabul kontrolü · toplam toleransı 1e-5 → reflection · kanıt sınıflandırması41Jev yargısı2Astra yargısı3panel sonuçları · rapor1üretim · araçlar · onarım2tamamlanma yargısı yolu3 bağımsız kontrol · E/I · Harbor 0.22 → doğruluk · teslim ayrı34hata · onarım soy kaydı5model-free yeniden hesaplama

Çalışma zamanı · nihai hüküm

Jev seçildiğinde nihai doğrulama Jev'i tek bir Choice sorusuyla bir kez çağırır ve yalnızca kabul edilmiş bir supported hükmü geçer.

  1. judgment_engine · llm | jevcore/config/judgment.pyyolu seçnihai hüküm · tek Choice sorusucore/agent/verify.py

    Jev yolu yalnızca judgment_engine jev olarak ayarlandığında kullanılır (varsayılan llm). provider auto, anahtarı olanı önce TypeSafe, sonra OpenRouter sırasıyla seçer; anahtar yoksa LLM judge yolu kalır. Bu, başarısız bir isteği başka yerde yeniden deneyen bir fallback değildir.

  2. nihai hüküm · tek Choice sorusucore/agent/verify.pyistek · aday · gözlemlerSystemOne · tek çağrı · fallback yokadapters/typesafe.py

    Orijinal istek ve aday maskelenip uzunlukları sınırlandırılır, ardından araç gözlemleriyle birlikte tek bir Choice sorusu olarak (supported, contradicted, insufficient_evidence) gönderilir. Yargı çağrısına araç verilmez (allow_tools=False). Görsel gerektiren bir yargı Jev'e gönderilmez ve verification_error olur.

  3. SystemOne · tek çağrı · fallback yokadapters/typesafe.pytek SystemOne çağrısıTypeSafe SystemOne

    TypeSafe'e doğrudan ya da OpenRouter üzerinden tek bir çağrı; başka bir sağlayıcıya geçiş yoktur. Jev asla kök metin üretim modeli olarak kullanılmaz.

  4. kabul kontrolü · toplam toleransı 1e-5adapters/typesafe.pykabul edilmiş Choiceyalnızca supported geçer · yalnızca metincore/agent/verify.py

    Yanıt ancak tür, aralık ve olasılık toplamı (tolerans 1e-5) kabul kontrolünden sonra kullanılır. Yalnızca supported geçer; contradicted ve insufficient_evidence sabit bir sonraki kontrolle birlikte yeniden deneme sinyali olur. end_turn olmayan ya da kabul kontrolünü geçemeyen bir yanıt verification_error olur ve bu bir yeniden deneme sinyali değildir (should_retry=False). Puan kalibre edilmiş bir olasılık değil, ikili bir izdüşümdür.

  5. yalnızca supported geçer · yalnızca metincore/agent/verify.pypassed · reflectionPostVerify · Stop politikasıloop/_lifecycle.py

    Hüküm “Tamamlanma” bölümündeki PostVerify ve Stop politikasına gider. Hüküm bir yetki değil, o politikanın girdisidir; inceleme beklendiğinde aday yalnızca pending_text olarak kalır ve nihai yanıt boştur, yani hiçbir şey teslim edilmez.

  6. PostVerify · Stop politikasıloop/_lifecycle.pyhüküm satırlarıtimeline · ledger karar satırlarımemory · observability

    Hüküm kararları timeline'a ve evidence ledger'a kaydedilir: araştırma artefaktlarından ayrı çalışma zamanı kayıtları.

Çalışma zamanı · reflection

Aynı seçim reflection'ın kanıt sınıflandırmasını da yönlendirir; sonraki kontrol cümlesini kod belirler.

  1. judgment_engine · llm | jevcore/config/judgment.pyaynı seçimreflection · kanıt sınıflandırmasıloop/_reflection.py

    Aynı seçim reflection için de geçerlidir.

  2. reflection · kanıt sınıflandırmasıloop/_reflection.pykanıtı sınıflandırSystemOne · tek çağrı · fallback yokadapters/typesafe.py

    Reflection, sınırlı kanıtı sınıflandırmak için Jev'i kullanır ve kodun belirlediği bir sonraki kontrolü ekler. İnanç hipotezlerini ya da öz güveni değiştirmez.

  3. SystemOne · tek çağrı · fallback yokadapters/typesafe.pytek SystemOne çağrısıTypeSafe SystemOne

    TypeSafe'e doğrudan ya da OpenRouter üzerinden tek bir çağrı; başka bir sağlayıcıya geçiş yoktur. Jev asla kök metin üretim modeli olarak kullanılmaz.

  4. kabul kontrolü · toplam toleransı 1e-5adapters/typesafe.pysınıflandırmareflection · kanıt sınıflandırmasıloop/_reflection.py

    Reflection durumunu yalnızca kabul edilmiş bir sınıflandırma günceller; başarısızlıkta bir sonraki raunt aynı önceki durumdan yeniden dener.

Araştırma · sabit panel U3

Actor olmadan, aynı durum ve soru üzerindeki Jev ve Astra yargıları çiftler hâlinde karşılaştırıldı.

  1. Astra · Jev · aynı soruU3 · sabit durumlu panelJev yargısıTypeSafe SystemOne

    U3 (orijinal deney commit'i 2f2b494): 120 sabit durum · 27 kaynak kümesi · 240 çağrı. Her durum ve soru Jev'e ve Astra'ya bir çift olarak gönderildi; actor, araç ya da Harbor yoktu.

  2. Astra · Jev · aynı soruU3 · sabit durumlu panelAstra yargısıAstra hakemi · actor modeli

    Aynı örneklemde doğru: Astra 90/120, Jev 84/120; çağrı başına medyan 10.446 s ve 0.253 s. Bu yalnızca yargı çağrısı gecikmesidir; görev süresi ya da maliyet tasarrufu değildir.

  3. U3 · sabit durumlu panelpanel sonuçları · raporJev araştırma raporu

    U3'ün doğruluk ve gecikme sonuçları herkese açık teknik raporda yer alır. Bu panelin E2E herkese açık paketinin parçası olup olmadığı burada iddia edilmez.

Araştırma · E/I çalıştırmaları

Actor olarak Astra ile yalnızca yargı yolu değişti; bağımsız bir kural oracle'ı sonuçları ve teslimi ayrı ayrı kontrol etti.

  1. Astra actor · araçlar · onarımE/I · Harbor 0.22üretim · araçlar · onarımAstra hakemi · actor modeli

    Harbor 0.22 üzerindeki E/I'da actor Astra üretimi, araç çağrılarını ve onarımı üstlenir; yalnızca yargı yolu değişir.

  2. hakem yolu · Astra · Jev · Jev-firstE/I · Harbor 0.22tamamlanma yargısı yoluTypeSafe SystemOne

    E7 (orijinal deney commit'i 1f65534): elle yazılmış 12 sentetik görev × 3 yapılandırma × 2 çalıştırma = 72 çalıştırma, yapılandırma başına 24/24. Jev-first yapılandırmasında gerçek fallback 0/24 olduğundan etkisi ölçülmedi.

  3. E/I · Harbor 0.22bağımsız kontroldoğruluk · teslim ayrırule oracle

    Nihai sonucu bağımsız bir kural oracle'ı kontrol eder; gerçek nihai teslim ayrıca sayılır. Yarıda kesilen U8n'in sonradan incelenen 11 çiftinde her aday oracle'dan geçti, ancak teslim Astra 11/11 ve Jev Noul 0/11 oldu.

  4. E/I · Harbor 0.22hata · onarım soy kaydıE2E-DATA · kaynak · herkese açık hash'lerjev-v3-20260927

    E2E herkese açık paketi hazırlık, hata ve onarım soy kayıtlarını korur; kaynak ve herkese açık kopya hash'leri ayrı tutulur. Maskelenmiş bir herkese açık kopya, değiştirilmemiş kaynağın doğrulanmasının yerini tutmaz.

  5. REPRODUCE · model-freejev-v3-20260927model-free yeniden hesaplamaJev araştırma raporu

    Kayıtlı yanıtlardan rakamları yeniden hesaplamak ile yeniden çalıştırmak farklı işlemlerdir. Rapor, hakemli bir makale değil, herkese açık bir teknik rapordur.

Her bağlantı aynı kalınlıkta. Yalnızca yolunu numaralı adımlarla vurgulamak için bir akış seçin.

  • Düz çizgi · isteklerin, adayların ve sonuçların akış yönü
  • Kesikli · çalıştırma, karar, yetkilendirme, yapılandırma
  • Uzun çizgi-nokta · kayıtlar ve gözlem, hükümden ayrı
  • Kalın siyah çizgi · seçilen akış; numaralar sırayı verir
  • Kutu · bir kod ya da kayıt sınırı, başlığında yolu
  • İç çip · o sınırdaki bir bileşen
  • Kesikli kutu · o sınırın dışı
  • döngü · yürütme düzeneği
  • yol seçimi · hüküm · oracle
  • kayıtlar · herkese açık paket
  • iletim · yargı paneli

Üst ve alt kısımlar farklı sistemlerdir. Araştırmanın yapılandırmaları ve sonuçlarının hepsi bugünkü çalışma zamanı yolunda açık değildir; tek ortak bağ, ikisinin de aynı Jev modelini (jev-1.13.0) çağırmasıdır.

Çalışma zamanı kabul kontrolü
Çalışma zamanı olasılık toplamı toleransını 1e-5'te katı tutar. Değerlendirme tarafındaki çağıranlar, çalışma zamanı ayrıştırıcısını gevşetmek yerine kendi kayıtlı toleranslarını iletir.
Araştırma kapsamı
U3 yalnızca yargı çağrılarını ölçer; E/I actor'ı ve onarımı içerir. Paydaları asla karıştırılmaz ve U8n'in 11 çifti yarıda kesilmiş bir çalışmanın sonradan yapılan analizidir.

Üç karar sözleşmesi

Choice

Döndürür
Kategori ya da seçenek başına olasılık
Karar verir
Tamamlanma; isteğin amacı ve hedefi

Noul

Döndürür
Her koşul için P(true)
Karar verir
Çelişki; eksik kanıt

Score

Döndürür
Sabit sıralı bir ölçek üzerinde beklenen değer ve dağılım
Karar verir
Üretilen adayların sıralaması

Beklenen değer adayın ölçekteki yerini belirler; güven düzeyi olarak kullanılmaz.

Değerlendirme ve bağlantı

Her sözleşme kendi sabit girdi panelinde değerlendirildi; bazıları yürütme ajanının yargıyı nasıl tükettiğini görmek için deney düzeneğinin yürütme yoluna bağlandı. Yukarıdaki haritada araştırma kısmı bu çalıştırmaları gösterir; çalışma zamanı kısmı ise bugünkü GEODE'deki isteğe bağlı yoldur.

Tasarımı değiştiren gözlemler

  1. I5 → I6 · girdi sözleşmesi
    1. Ortak bir teslim hatasının izi sürülünce, yargı girdisinde görev sözleşmesinin eksik olduğu ve aynı isteğin araç gözlemlerinin geçmiş bağlam gibi tanımlandığı görüldü
    2. I6, revize kod ve yeni bir hesapla yapılan ayrı bir çalıştırmada 6/6 teslim etti
  2. U3 · aynı 120 durum çifti
    1. Çağrı başına medyan Astra 10.446 s · Jev 0.253 s; aynı örneklemde doğru 90/120 · 84/120
    2. Devir kapsamını belirlemek için her kararda hız ve doğruluk birlikte tartılır
  3. U2 · olasılıklar
    1. Jev'in olasılıkları büyüklük olarak daha iyi kalibre edildi, ancak yanlış yargılarını öne sıralamada Astra daha güvenilirdi
    2. Kalibrasyon ve hata seçimi ayrı ölçülür; eşik selection bölmesinde dondurulur
  4. U6a · amaç ve hedef
    1. Tasarımcının yazdığı 40 ailede Jev 216/220 · Astra 220/220; önceden kaydedilmiş −5 pp marjı karşılandı
    2. Sabit amaç ve hedef sınıflandırması bir sonraki uygulama adayı olarak daraltıldı
  5. U8n · teslim
    1. Yarıda kesilmiş bir çalıştırmadan sonradan incelenen 11 çift: onarılmış adaylar iki arm'da da oracle'dan geçti; teslim Astra 11/11 · Jev Noul 0/11
    2. Eksik kanıt yargıları doğru teslimi engelledi; mevcut Noul kurulumunun tek teslim hakemi olarak kullanılması için dayanak yok