ID
Geodi, karakter piksel resmi GEODE
Kembali ke ruang pamer

GEODE

Autonomous Agent Harness

Dari observasi ke tindakan berikutnya.

Harness agen otonom lokal yang dapat diserahi riset, pekerjaan berkas, dan tugas terjadwal.

2026.02.21 — present

Desain, penilaian, verifikasi: Author · implementasi: Claude · tinjauan: Codex

  • CLIDipublikasikan · PyPI
  • Server MCPDiimplementasikan

Dari rollout ke bukti

Tingkat kelulusan saja tidak dapat menjelaskan sebuah eksekusi. Saya menyimpan urutan event, pemanggilan alat dan hasilnya, silsilah percobaan ulang, serta bukti verifier independen, lalu menghubungkan bagian yang dapat dipublikasikan. Eksperimen-eksperimen ini menunjukkan bagaimana kontrak pencatatan dan evaluasi berkembang.

Per eksperimen · urut tanggal

Keenam eksperimen disusun menurut tanggal; semuanya bukan satu proses optimasi yang tersambung. SIL tidak mengalir otomatis ke Crucible atau Jev, dan ini bukan klaim bahwa GEODE produksi terus membaik. Tanggal adalah tanggal eksperimen dan snapshot publikasi, dan panah hanya dipakai untuk tahapan di dalam satu eksperimen.

  1. June 3, 2026 to June 4, 2026SIL · pencarian kebijakan eksternal

    KEEP dari satu audit diperiksa ulang dengan pengukuran berulang

    PertanyaanApakah mutasi kebijakan memperbaiki perilaku penggunaan alat melampaui noise audit?

    Eksperimen eksternal · di luar runtime GEODE

    1. Baseline · K=5
    2. Satu mutasi kebijakan
    3. Audit Petri
    4. Pengukuran berulang
      • Pertahankan
      • Kembalikan
    Apa yang berubah
    Dalam eksperimen ini, pengukuran berulang ditambahkan pada audit tunggal suatu mutasi sebelum memutuskan untuk mempertahankan atau mengembalikan. Seed yang disetarakan tingkat kesulitannya dan baseline K=5 ditambahkan, dan arm never, random, dan gate memisahkan pergeseran tanpa perubahan apa pun dari perubahan yang diterima.
    Apa yang didukungnya
    Saat diukur ulang, kandidat yang dipertahankan dari satu audit lebih buruk daripada baseline (makin rendah makin baik), sehingga adopsinya dibatalkan. Eksperimen ini menyimpulkan tidak ada perbaikan yang kokoh. Ini adalah audit perilaku Petri broken_tool_use, bukan imbalan penyelesaian tugas.

  2. July 11, 2026 to July 13, 2026Crucible · kernel eksperimen eksternal

    Bertahan dalam pencarian dan mencapai produk adalah putusan yang terpisah

    PertanyaanApakah bukti untuk mempertahankan kandidat dalam pencarian sama dengan bukti untuk mempromosikan dan merilisnya ke produk?

    Kernel Crucible eksternal · checkout pengukuran terpisah

    1. Kandidat · silsilah induk
    2. Pemeriksaan kontrak beku
    3. Pengukuran berpasangan
      • KEEPhanya ke putusan sealed terpisah
      • REJECT
      • INVALIDnull, bukan 0%
    Apa yang berubah
    Kandidat yang ditolak dan tidak sah disimpan bersama silsilah induknya, dan seleksi train, kelayakan sealed, serta otoritas rilis produk adalah catatan terpisah.
    Apa yang didukungnya
    r14 berstatus KEEP di train (enam unit tugas, masing-masing satu percobaan, tanpa otoritas promosi), tetapi putusan sealed terpisahnya REJECT (tanpa otoritas promosi atau rilis ke produk). r35 INVALID karena cakupan tidak lengkap dan kontaminasi infrastruktur; tanpa baris berpasangan, rata-ratanya tetap null. Ini bukan modifikasi diri runtime dan bukan rantai deployment SIL → Crucible.

  3. July 21, 2026 · July 31, 2026Penyempurnaan · publikasi

    Catatan yang tersisa diklasifikasikan, dan hanya yang dapat dibagikan yang menjadi rilis tak berubah

    PertanyaanApa yang benar-benar dapat direkonstruksi, dan apa yang aman untuk dibagikan?

    1. Sumber privatCatatan sesi · bukti aslihasil native · termasuk verifier
      • Event ternormalisasijaga urutan · identitas
    2. Event ternormalisasiidentitas · urutan · pasangan panggilan-hasil
      • Kandidat publikallowlist · samarkan · digest
    3. Kandidat publiksedang ditinjau
      • Pemeriksaan integritas · privasiperiksa
    4. Pemeriksaan integritas · privasipemasangan · silsilah · cakupan
      • Rilis tak berubahhanya byte yang ditinjau
    5. Repositori publikRilis tak berubahmanifest · hasil native dirujuk lewat digest
      • Pembacaan ulang remoteverifikasi hash
    6. Pembacaan ulang remoteSHA-256 terkunci
    Apa yang berubah
    Inventaris July 21, 2026 mengklasifikasikan catatan dialog, alat, pencarian, dan keputusan menurut sumber, dan duplikat dari sumber yang sama tidak dihitung sebagai contoh independen. Sejak July 31, 2026, geode.trajectory@1 dan geode.trajectory-release@1 menyatakan secara eksplisit identitas, urutan event, pasangan panggilan-hasil, integritas cakupan dan replay, serta manifest yang terikat konten. Salinan publik yang ditransformasi dan aslinya memiliki digest terpisah.
    Apa yang didukungnya
    Penyempurnaan di sini berarti normalisasi, korelasi, penyamaran eksplisit, silsilah, dan persetujuan publikasi. Ini tidak merekonstruksi penalaran tersembunyi atau menyatakan dataset siap latih. Cakupan yang lengkap bukan replay byte yang lengkap bila isi privat diganti digest.

  4. August 25, 2026Learning view

    Satu rollout dan buktinya diikat bersama oleh identitas

    PertanyaanInput, percobaan, urutan event, dan imbalan mana yang saling berpasangan?

    geode.eval-learning-view@2 · digabung lewat ID dan digest terverifikasi, bukan urutan kausal

    1. example
    2. rollout
    3. trajectory
    4. reward

    Receipt verifier native memiliki imbalan. Percobaan ulang infrastruktur adalah percobaan di dalam satu rollout.

    Apa yang berubah
    Trajectory tak berubah dipakai ulang lewat join bercakupan, dan imbalan tetap berupa label turunan milik evaluator. Percobaan ulang infrastruktur tidak menambah rollout. Nilai 0 yang teramati dipertahankan dan imbalan yang hilang bernilai null; percobaan yang tidak sah atau dibatalkan dikecualikan dari pemilihan imbalan. Keabsahan adalah properti rollout, bukan otomatis imbalan null.
    Apa yang didukungnya
    Eksekusi Terminal-Bench fast-3 dengan Harbor 0.8.0 (tiga tugas, 3/3) dan diagnostik Tau2 tiga domain (1/3, dua nol yang sah) diikat dalam struktur yang sama. Ini adalah kandidat post-training, bukan dataset yang dipakai untuk pelatihan atau bukti bobot yang membaik, dan hasil tiga tugas bukan akurasi seluruh suite.

  5. August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1

    Satu trial menghasilkan hasil dan catatan replay secara terpisah

    PertanyaanBagaimana eksekusi tugas nyata menjadi hasil dan replay yang dapat diperiksa?

    1. Tugas beku · specdikunci sebelumnya · lima pengulangan
      • Trial terisolasiinstruksi · lingkungan · batas
    2. Trial Harbor 0.22.0 · eksekusi nyataTrial terisolasiGEODE sebagai actor
      • Tindakan dan status akhireksekusi
    3. Tindakan dan status akhirperilaku yang teramati
      • Verifier milik tugasperiksa status tugas
      • ATIF · proyeksi event publikproyeksikan event tercatat
    4. Verifier milik tugas
      • Imbalan native · receiptimbalan
    5. Imbalan native · receipt
      • Analisis percobaan terpilihpemilihan beku
    6. ATIF · proyeksi event publikpascapemrosesan · bukan eksekusi baru
    7. Analisis percobaan terpilihaturan pemilihan beku
    Apa yang berubah
    Spec beku, setiap percobaan, hasil terpilih, verifier milik tugas, dan replay yang setia namun terbatas disimpan sebagai catatan terpisah yang saling tertaut. Harbor 0.22.0 menjalankan lima pengulangan dengan GPT-5.6 Sol/max, membandingkan GEODE (saat itu adapter satu alat terminal) dengan Codex.
    Apa yang didukungnya
    Tugas memiliki instruksi, lingkungan, dan tes; trial adalah satu percobaan; job mengelompokkan trial. Verifier milik tugas memutuskan imbalan, sedangkan penilai penyelesaian internal GEODE adalah umpan balik runtime. Replay publik adalah proyeksi post-hoc dari event alat yang tercatat, bukan PTY mentah atau eksekusi baru, dan tidak ada perintah yang dikarang untuk sel yang kosong. Metrik utama yang terdaftar sebelumnya tidak dapat diukur.

  6. September 24, 2026 to September 28, 2026Jev · pelimpahan keputusan

    Kandidat yang benar tetap perlu verifikasi penyerahan

    PertanyaanApakah penilaian yang didelegasikan benar-benar menjaga kualitas tugas dan penyerahan akhir?

    1. U8n · eksekusi Noul · Harbor 0.22 · Astra mengeksekusi dan memperbaiki, hanya jalur penilaian yang berubahStatus keputusankontrak tugas · kandidat · observasi alat
      • Penilaian · Noulinput penilaian
    2. Penilaian · NoulAstra atau Jev
      • GEODE memakaiprobabilitas kondisi
    3. GEODE memakaiterpenuhi: serahkan; bukti kurang: tahan
      • Penyerahan akhirterpenuhi
      • Perbaikan Astrabukti kurang · tahan
    4. Penyerahan akhir
      • Pemeriksaan hasil independenhasil yang diserahkan
    5. Perbaikan Astrakandidat berikutnya setelah umpan balik
      • Penilaian · Noulnilai lagi
      • Kandidat terakhir · disimpankandidat terakhir disimpan
    6. Pemeriksaan hasil independenrule oracle · hasil yang diserahkan
    7. Panel tetap U3hanya penilaian · tanpa actor, alat, atau Harbor
    8. Diagnosis post-hoc · setelah eksekusiKandidat terakhir · disimpan
      • Diagnosis oracle post-hocpemeriksaan post-hoc
    9. Diagnosis oracle post-hockebenaran kandidat · tidak memengaruhi penyerahan
    Apa yang berubah
    Penerimaan penilaian, kebenaran kandidat, dan penyerahan akhir dicatat sebagai hasil terpisah, dan silsilah persiapan, kegagalan, dan perbaikan disimpan dalam salinan publik. Hash asli dan hash publik yang ditransformasi tetap terpisah.
    Apa yang didukungnya
    Pada 11 pasangan post-hoc dari studi U8n yang terhenti, kandidat terakhir benar di kedua arm, tetapi penyerahannya Astra 11/11 dan Jev Noul 0/11: penilaian bukti kurang dari Jev Noul menahan penyerahan. Ini analisis post-hoc dan tidak digeneralisasi. Perhitungan ulang angka publik, pemeriksaan replay, dan eksekusi langsung yang baru adalah tiga operasi berbeda.