ID
Geodi, karakter piksel resmi GEODE
Kembali ke ruang pamer

GEODE

Autonomous Agent Harness

Dari observasi ke tindakan berikutnya.

Harness agen otonom lokal yang dapat diserahi riset, pekerjaan berkas, dan tugas terjadwal.

2026.02.21 — present

Desain, penilaian, verifikasi: Author · implementasi: Claude · tinjauan: Codex

  • CLIDipublikasikan · PyPI
  • Server MCPDiimplementasikan

Decision Offloading w. Jev

Keputusan antara mana yang diambil agen di tengah tugas yang dapat diserahkan kepada Jev, model khusus penilaian? Riset ini memeriksa apakah kualitas tugas yang diverifikasi secara independen tetap terjaga setelah diserahkan, dengan menghitung persiapan, penilaian berulang, perbaikan, dan penyerahan akhir. Uji coba awal tidak dapat dijelaskan hanya dengan menukar pemanggilan penilaian, sehingga kontrak input, kontrak keputusan, kebijakan probabilitas, dan cara agen eksekusi memakai penilaian dipisahkan ke dalam eksperimennya masing-masing.

Peta Jev · runtime dari commit tetap 9e2c041, riset dari catatan September 2026
Jalur penilaian Jev: integrasi runtime dan risetBagian atas adalah jalur penilaian opsional di runtime GEODE saat ini. Hanya bila judgment_engine diatur ke jev, verifikasi akhir dan reflection memanggil Jev di TypeSafe SystemOne sekali, dan respons hanya dipakai setelah lolos pemeriksaan penerimaan tipe, rentang, dan jumlah probabilitas. Hanya supported yang lolos verifikasi akhir, dan hasilnya menuju kebijakan PostVerify dan Stop di bab penentuan selesai. Bagian bawah adalah riset Jev v3 di luar runtime: panel status tetap (U3) membandingkan penilaian Astra dan Jev, eksekusi E/I pada Harbor 0.22 hanya mengubah jalur penilaian dan memeriksa hasil serta penyerahan secara terpisah dengan rule oracle independen, dan paket publik memisahkan hash sumber dan hash publik serta menyediakan perhitungan ulang tanpa model.TypeSafe SystemOnejev-1.13.0 · khusus penilaianAstra judge · model actorgpt-6-astra/xhigh · langgananLaporan riset Jevlaporan teknis publikcore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pykebijakan PostVerify · Stopcore/agent/verify.pyputusan akhir · satu pertanyaan Choicehanya supported lolos · teks sajaadapters/typesafe.pySystemOne · satu panggilan · tanpa fallbackpenerimaan · toleransi jumlah 1e-5loop/_reflection.pyreflection · klasifikasi buktimemory · observabilitytimeline · baris keputusan ledgerU3 · panel status tetap120 pasangan · 27 sumber · tanpa actorAstra · Jev · pertanyaan samaE/I · Harbor 0.22Astra actor · alat · perbaikanjalur judge · Astra · Jev · Jev-firstrule oraclekebenaran · penyerahan terpisahjev-v3-20260927E2E-DATA · hash sumber · publikREPRODUCE · model-freeRuntime GEODE · 9e2c041penilaian opsional · bawaan llmRiset Jev v3 · Sept 2026di luar runtime · harness terpisah1pilih jalur2 permintaan · kandidat · observasi · putusan akhir · satu pertanyaan Choice → SystemOne · satu panggilan · tanpa fallback23 satu panggilan SystemOne · SystemOne · satu panggilan · tanpa fallback → TypeSafe SystemOne34 Choice yang diterima · penerimaan · toleransi jumlah 1e-5 → hanya supported lolos · teks saja45passed · reflection6baris putusan1pilihan sama2klasifikasikan bukti3 satu panggilan SystemOne · SystemOne · satu panggilan · tanpa fallback → TypeSafe SystemOne34 klasifikasi · penerimaan · toleransi jumlah 1e-5 → reflection · klasifikasi bukti41Penilaian Jev2Penilaian Astra3hasil panel · laporan1hasilkan · alat · perbaiki2jalur penentuan selesai3 pemeriksaan independen · E/I · Harbor 0.22 → kebenaran · penyerahan terpisah34kegagalan · silsilah perbaikan5perhitungan ulang tanpa model

Runtime · putusan akhir

Bila Jev dipilih, verifikasi akhir memanggil Jev sekali dengan satu pertanyaan Choice, dan hanya putusan supported yang diterima yang lolos.

  1. judgment_engine · llm | jevcore/config/judgment.pypilih jalurputusan akhir · satu pertanyaan Choicecore/agent/verify.py

    Jalur Jev hanya dipakai bila judgment_engine diatur ke jev (bawaan llm). provider auto memilih TypeSafe, lalu OpenRouter, mana yang memiliki kunci; tanpa kunci, jalur LLM judge tetap dipakai. Ini bukan fallback yang mencoba ulang permintaan gagal di tempat lain.

  2. putusan akhir · satu pertanyaan Choicecore/agent/verify.pypermintaan · kandidat · observasiSystemOne · satu panggilan · tanpa fallbackadapters/typesafe.py

    Permintaan asli dan kandidat disamarkan dan dibatasi panjangnya, lalu dikirim bersama observasi alat sebagai satu pertanyaan Choice (supported, contradicted, insufficient_evidence). Pemanggilan penilaian tidak mendapat alat (allow_tools=False). Penilaian yang memerlukan gambar tidak dikirim ke Jev dan menjadi verification_error.

  3. SystemOne · satu panggilan · tanpa fallbackadapters/typesafe.pysatu panggilan SystemOneTypeSafe SystemOne

    Satu panggilan, langsung ke TypeSafe atau melalui OpenRouter, tanpa berpindah ke penyedia lain. Jev tidak pernah dipakai sebagai model pembuat teks utama.

  4. penerimaan · toleransi jumlah 1e-5adapters/typesafe.pyChoice yang diterimahanya supported lolos · teks sajacore/agent/verify.py

    Respons hanya dipakai setelah lolos pemeriksaan penerimaan tipe, rentang, dan jumlah probabilitas (toleransi 1e-5). Hanya supported yang lolos; contradicted dan insufficient_evidence menjadi sinyal coba ulang dengan pemeriksaan berikutnya yang tetap. Respons yang bukan end_turn atau gagal penerimaan menjadi verification_error, yang bukan sinyal coba ulang (should_retry=False). Skornya adalah proyeksi biner, bukan probabilitas terkalibrasi.

  5. hanya supported lolos · teks sajacore/agent/verify.pypassed · reflectionkebijakan PostVerify · Stoploop/_lifecycle.py

    Putusan menuju kebijakan PostVerify dan Stop di bab penentuan selesai. Putusan adalah input bagi kebijakan itu, bukan otoritas; saat menunggu tinjauan, kandidat hanya tersimpan sebagai pending_text dan respons akhir kosong, sehingga tidak ada yang diserahkan.

  6. kebijakan PostVerify · Stoploop/_lifecycle.pybaris putusantimeline · baris keputusan ledgermemory · observability

    Keputusan putusan dicatat di timeline dan evidence ledger: catatan runtime, terpisah dari artefak riset.

Runtime · reflection

Pilihan yang sama menggerakkan klasifikasi bukti pada reflection; kalimat pemeriksaan berikutnya ditetapkan oleh kode.

  1. judgment_engine · llm | jevcore/config/judgment.pypilihan samareflection · klasifikasi buktiloop/_reflection.py

    Pilihan yang sama berlaku untuk reflection.

  2. reflection · klasifikasi buktiloop/_reflection.pyklasifikasikan buktiSystemOne · satu panggilan · tanpa fallbackadapters/typesafe.py

    Reflection memakai Jev untuk mengklasifikasikan bukti yang dibatasi dan menambahkan pemeriksaan berikutnya yang ditetapkan kode. Ini tidak mengubah hipotesis keyakinan atau kepercayaan diri.

  3. SystemOne · satu panggilan · tanpa fallbackadapters/typesafe.pysatu panggilan SystemOneTypeSafe SystemOne

    Satu panggilan, langsung ke TypeSafe atau melalui OpenRouter, tanpa berpindah ke penyedia lain. Jev tidak pernah dipakai sebagai model pembuat teks utama.

  4. penerimaan · toleransi jumlah 1e-5adapters/typesafe.pyklasifikasireflection · klasifikasi buktiloop/_reflection.py

    Hanya klasifikasi yang diterima yang memperbarui status reflection; bila gagal, ronde berikutnya mencoba ulang dari status sebelumnya yang sama.

Riset · panel tetap U3

Tanpa actor, penilaian Jev dan Astra atas status dan pertanyaan yang sama dibandingkan secara berpasangan.

  1. Astra · Jev · pertanyaan samaU3 · panel status tetapPenilaian JevTypeSafe SystemOne

    U3 (commit eksperimen asli 2f2b494): 120 status tetap · 27 klaster sumber · 240 panggilan. Setiap status dan pertanyaan dikirim ke Jev dan Astra sebagai satu pasangan; tanpa actor, alat, atau Harbor.

  2. Astra · Jev · pertanyaan samaU3 · panel status tetapPenilaian AstraAstra judge · model actor

    Benar pada sampel yang sama: Astra 90/120, Jev 84/120; median per panggilan 10.446 s vs 0.253 s. Ini hanya latensi pemanggilan penilaian, bukan waktu tugas atau penghematan biaya.

  3. U3 · panel status tetaphasil panel · laporanLaporan riset Jev

    Hasil akurasi dan latensi U3 dimuat dalam laporan teknis publik. Apakah panel ini bagian dari paket publik E2E tidak diklaim di sini.

Riset · eksekusi E/I

Dengan Astra sebagai actor, hanya jalur penilaian yang berubah, dan rule oracle independen memeriksa hasil dan penyerahan secara terpisah.

  1. Astra actor · alat · perbaikanE/I · Harbor 0.22hasilkan · alat · perbaikiAstra judge · model actor

    Pada E/I di Harbor 0.22, actor Astra menangani pembuatan, pemanggilan alat, dan perbaikan; hanya jalur penilaian yang berubah.

  2. jalur judge · Astra · Jev · Jev-firstE/I · Harbor 0.22jalur penentuan selesaiTypeSafe SystemOne

    E7 (commit eksperimen asli 1f65534): 12 tugas sintetis yang ditulis sendiri × 3 konfigurasi × 2 eksekusi = 72 eksekusi, 24/24 per konfigurasi. Konfigurasi Jev-first mengalami 0/24 fallback aktual, sehingga efeknya tidak terukur.

  3. E/I · Harbor 0.22pemeriksaan independenkebenaran · penyerahan terpisahrule oracle

    Rule oracle independen memeriksa hasil akhir, dan penyerahan akhir yang sebenarnya dihitung terpisah. Pada 11 pasangan post-hoc dari U8n yang terhenti, setiap kandidat lolos oracle, tetapi penyerahan adalah Astra 11/11 dan Jev Noul 0/11.

  4. E/I · Harbor 0.22kegagalan · silsilah perbaikanE2E-DATA · hash sumber · publikjev-v3-20260927

    Paket publik E2E menyimpan silsilah persiapan, kegagalan, dan perbaikan, dengan hash sumber dan hash salinan publik dipisahkan. Salinan publik yang disamarkan tidak menggantikan validasi sumber yang tidak diubah.

  5. REPRODUCE · model-freejev-v3-20260927perhitungan ulang tanpa modelLaporan riset Jev

    Menghitung ulang angka dari respons yang tersimpan dan menjalankan ulang adalah operasi yang berbeda. Laporan ini adalah laporan teknis publik, bukan makalah yang ditelaah sejawat.

Setiap koneksi dengan bobot yang sama. Pilih alur untuk menyorot hanya jalurnya, dengan langkah bernomor.

  • Garis utuh · arah aliran permintaan, kandidat, dan hasil
  • Garis putus · jalankan, putuskan, otorisasi, konfigurasi
  • Garis titik-strip panjang · catatan dan observasi, terpisah dari putusan
  • Garis hitam tebal · alur yang dipilih; angka menunjukkan urutan
  • Kotak · batas kode atau catatan, path-nya di bagian kepala
  • Chip dalam · komponen di dalam batas itu
  • Kotak putus-putus · di luar batas itu
  • loop · harness eksekusi
  • pilihan jalur · putusan · oracle
  • catatan · paket publik
  • transport · panel penilaian

Bagian atas dan bawah adalah sistem yang berbeda. Konfigurasi dan hasil riset tidak semuanya diaktifkan di jalur runtime saat ini; satu-satunya kaitan bersama adalah keduanya memanggil model Jev yang sama (jev-1.13.0).

Penerimaan runtime
Runtime menjaga toleransi jumlah probabilitas tetap ketat pada 1e-5. Pemanggil evaluasi meneruskan toleransi tercatat mereka sendiri alih-alih melonggarkan parser runtime.
Cakupan riset
U3 hanya mengukur pemanggilan penilaian; E/I mencakup actor dan perbaikan. Penyebut keduanya tidak pernah dicampur, dan 11 pasangan U8n adalah analisis post-hoc atas studi yang terhenti.

Tiga kontrak keputusan

Choice

Mengembalikan
Probabilitas per kategori atau opsi
Memutuskan
Penyelesaian; maksud dan sasaran permintaan

Noul

Mengembalikan
P(true) untuk setiap kondisi
Memutuskan
Kontradiksi; bukti yang kurang

Score

Mengembalikan
Nilai harapan dan distribusi pada skala berurutan yang tetap
Memutuskan
Peringkat kandidat yang dihasilkan

Nilai harapan menempatkan kandidat pada skala; nilai ini tidak dipakai sebagai keyakinan.

Evaluasi dan penyambungan

Setiap kontrak dievaluasi pada panel input tetapnya sendiri, dan sebagian disambungkan ke jalur eksekusi harness eksperimen untuk melihat bagaimana agen eksekusi memakai penilaian. Pada peta di atas, bagian riset menunjukkan eksekusi tersebut; bagian runtime adalah jalur opsional di GEODE saat ini.

Observasi yang mengubah desain

  1. I5 → I6 · kontrak input
    1. Penelusuran kegagalan penyerahan bersama menunjukkan input penilaian tidak memuat kontrak tugas dan menggambarkan observasi alat dari permintaan yang sama sebagai konteks masa lalu
    2. I6 menyerahkan 6/6 dalam eksekusi terpisah dengan kode yang direvisi dan akun baru
  2. U3 · 120 pasangan status yang sama
    1. Median per panggilan Astra 10.446 s · Jev 0.253 s; benar pada sampel yang sama 90/120 · 84/120
    2. Kecepatan dan akurasi ditimbang bersama untuk setiap keputusan guna menetapkan cakupan delegasi
  3. U2 · probabilitas
    1. Probabilitas Jev lebih terkalibrasi dalam besarannya, tetapi Astra lebih andal menempatkan penilaiannya yang salah di urutan depan
    2. Kalibrasi dan seleksi kesalahan diukur terpisah, dan ambang dibekukan pada pembagian selection
  4. U6a · maksud dan sasaran
    1. Pada 40 kelompok yang ditulis perancang, Jev 216/220 · Astra 220/220, memenuhi margin −5 pp yang terdaftar sebelumnya
    2. Klasifikasi maksud dan sasaran yang tetap dipersempit sebagai kandidat penerapan berikutnya
  5. U8n · penyerahan
    1. 11 pasangan post-hoc dari eksekusi yang terhenti: kandidat yang diperbaiki lolos oracle di kedua arm; penyerahan Astra 11/11 · Jev Noul 0/11
    2. Penilaian bukti kurang menghalangi penyerahan yang benar; konfigurasi Noul saat ini belum memiliki dasar untuk menjadi satu-satunya penilai penyerahan