ID
Geodi, karakter piksel resmi GEODE
Kembali ke ruang pamer

GEODE

Autonomous Agent Harness

Dari observasi ke tindakan berikutnya.

Harness agen otonom lokal yang dapat diserahi riset, pekerjaan berkas, dan tugas terjadwal.

2026.02.21 — present

Desain, penilaian, verifikasi: Author · implementasi: Claude · tinjauan: Codex

  • CLIDipublikasikan · PyPI
  • Server MCPDiimplementasikan

Ubah satu kebijakan setiap kali; pengukuran tetap.

Loop terpisah yang berjalan di luar harness. Dari baseline, loop ini menerapkan satu perubahan kebijakan bertipe, dan audit Petri serta gerbang yang sama memutuskan antara KEEP dan pemulihan.

Peta SIL · digambar dari jalur evolve pada commit tetap 9e2c041 dan catatan eksekusi June 2026
Peta pencarian kebijakan (SIL) GEODELoop pencarian kebijakan yang berjalan di luar runtime. Kontrak eksekusi yang disetujui mengunci anggaran, seed, rubrik, dan model, dan mutator mengubah satu kebijakan di antara tujuh permukaan yang diizinkan. measure.py mengaudit GEODE dengan perangkat yang sama melalui Petri; fitness.py dan gate.py memutuskan KEEP atau pengembalian dengan aturan regresi kritis dan promosi; ledger.py menulis baseline dan baris hasil. Eksekusi June 2026 memisahkan noise audit dari efek mutasi dengan never arm tanpa perubahan, baseline K=5, dan pengukuran replikasi.Persetujuan operatorpemanggilan langsung · anggaranAudit Petriauditor · GEODE target · judgeprogram.mdkontrak eksekusi · model · anggaranaturan berhenti · jalan setelah disetujuitrain.pyloop anggaran tetap--replicate K · ukur ulangloop/mutatemutator · satu kandidat7 permukaan · tanpa hyperparamstate/policieskebijakan berbasis berkasprepare.pykumpulan seed · rubrik tetapmeasure.pysubproses audit · timeout tetapOVERRIDE per kebijakan · STRICTfitness.pyregresi kritis · penaltiledger.pybaseline · provenancehasil · baris mutasigate.py_should_promote · KEEP_reject_and_revertcore · pemuat kebijakancabang prompt · system_prompt.py6 pemuat kebijakan · tool, skill…run-2606-broken-tool-usebaseline gen-0 · rata-rata 5 auditnever arm · kontrol tanpa perubahanrandom · gate armreplicate · ukur ulang satu KEEPevolve/scaffold_searchloop pencarian eksternal · di luar runtimeperubahan kandidatsatu per eksekusiperangkat pengukurantetap selama perbandinganrun-2606 · June 3–4, 2026broken_tool_useGEODE yang diaudithanya kebijakan yang diizinkan berubah1 persetujuan · Persetujuan operator → kontrak eksekusi · model · anggaran12 kontrak eksekusi · kontrak eksekusi · model · anggaran → loop anggaran tetap23 minta satu kandidat · loop anggaran tetap → mutator · satu kandidat34perubahan kebijakan · mutation ID5 seed · rubrik tetap · kumpulan seed · rubrik tetap → subproses audit · timeout tetap56kebijakan terpilih7path override per kebijakan8audit subprocess9dialog audit1skor dimensi2 baseline · provenance · baseline · provenance → regresi kritis · penalti23 fitness · alasan regresi · regresi kritis · penalti → _should_promote · KEEP34KEEP · baseline berikutnya5REJECT · pulihkan nilai sebelumnya6hasil · baris putusan1tiga arm2baseline rata-rata K=53ukur tanpa perubahan4--replicate K5ukur ulang → kembalikan

Satu perubahan → audit

Dengan kontrak eksekusi terkunci, satu kebijakan yang diizinkan berubah dan GEODE diaudit dengan perangkat yang sama. Ini bukan produk yang sedang berjalan menulis ulang dirinya sendiri.

  1. Persetujuan operatorpersetujuankontrak eksekusi · model · anggaranprogram.md

    Eksekusi baru dimulai setelah pemanggilan langsung dan anggaran tetap disetujui. Tanpa persetujuan, hanya kontrak yang disiapkan dan diperiksa secara offline.

  2. kontrak eksekusi · model · anggaranprogram.mdkontrak eksekusiloop anggaran tetaptrain.py

    Revisi seed dan rubrik, model per peran dan sumber kredensial, pengaturan pengukuran, anggaran iterasi, waktu, dan biaya, kebijakan promosi, serta kondisi berhenti dikunci sebelum eksekusi.

  3. loop anggaran tetaptrain.pyminta satu kandidatmutator · satu kandidatloop/mutate

    Satu hipotesis berbasis bukti mengubah satu permukaan kebijakan yang diizinkan.

  4. 7 permukaan · tanpa hyperparamloop/mutateperubahan kebijakan · mutation IDkebijakan berbasis berkasstate/policies

    Hanya tujuh permukaan yang boleh berubah: prompt wrapper, kebijakan alat, saran dekomposisi, reflection, metadata katalog skill, kontrak agen (role, system_prompt, tools), serta deskripsi dan petunjuk alat. Perubahan hyperparameter ditolak saat parsing maupun saat penerapan. Penerapan kebijakan, pengukuran ulang, dan commit opsional adalah langkah terpisah, sehingga penerapan bukanlah audit dengan sendirinya.

  5. kumpulan seed · rubrik tetapprepare.pyseed · rubrik tetapsubproses audit · timeout tetapmeasure.py

    prepare.py adalah acuan tetap untuk kumpulan seed dan rubrik; kandidat tidak mengubahnya. Mengubah modul pengukuran berarti mengubah pengukurannya, bukan sistem yang diuji.

  6. kebijakan berbasis berkasstate/policieskebijakan terpilihOVERRIDE per kebijakan · STRICTmeasure.py

    measure.py membaca berkas kebijakan yang sedang dipilih dan meneruskannya ke lingkungan audit.

  7. OVERRIDE per kebijakan · STRICTmeasure.pypath override per kebijakancore · pemuat kebijakan

    measure.py meneruskan path wrapper serta path override dan strict per kebijakan ke subproses audit, dan pemuat kebijakan yang sesuai di runtime membaca masing-masing. Wrapper (GEODE_WRAPPER_OVERRIDE → system_prompt) adalah satu cabang; kunci lingkungan tambahan tidak memperluas tujuh permukaan yang dapat diubah. Berkas yang diedit saja tidak membuktikan kandidat mencapai target; diagnostik dalam bukti audit yang mengonfirmasinya.

  8. subproses audit · timeout tetapmeasure.pyaudit subprocessAudit Petri

    Audit berjalan dengan timeout dan anggaran tetap, tidak pernah diubah di tengah perbandingan. Output yang hilang adalah celah diagnostik, bukan skor nol.

  9. Audit Petridialog auditcore · pemuat kebijakan

    Auditor berbicara dengan GEODE melalui skenario seed, dan judge menilai transkripnya.

Putusan → pertahankan · pulihkan

Dibandingkan dengan baseline berkontrak sama, regresi kritis dan aturan promosi memutuskan KEEP; perubahan yang ditolak dipulihkan ke nilai sebelumnya yang tercatat.

  1. Audit Petriskor dimensiregresi kritis · penaltifitness.py

    Skor disertai dimensi yang hilang dan jumlah sampel. Dimensi yang tidak terukur tidak dibaca sebagai observasi.

  2. baseline · provenanceledger.pybaseline · provenanceregresi kritis · penaltifitness.py

    Perbandingan hanya memakai baseline dengan kontrak dan epoch tercatat yang sama. Branch Git baru tidak mengisolasi status baseline.

  3. regresi kritis · penaltifitness.pyfitness · alasan regresi_should_promote · KEEPgate.py

    Regresi dimensi kritis dan penalti tambahan diperiksa lebih dahulu, lalu uji margin atau dimensi target. Skalar positif saja tidak pernah membuat promosi.

  4. _should_promote · KEEPgate.pyKEEP · baseline berikutnyabaseline · provenanceledger.py

    Kandidat yang dipertahankan menjadi baseline berikutnya. Kandidat yang dipertahankan secara lokal bukanlah merge ke repositori atau rilis.

  5. _reject_and_revertgate.pyREJECT · pulihkan nilai sebelumnyakebijakan berbasis berkasstate/policies

    Untuk kandidat buatan runner, bagian kebijakan yang tercatat di bawah mutation ID-nya dipulihkan, dan pemulihan yang gagal ditandai. Perubahan manual tidak dipulihkan otomatis, dan pemulihan yang tidak pasti menghentikan kandidat berikutnya.

  6. _should_promote · KEEPgate.pyhasil · baris putusanhasil · baris mutasiledger.py

    Pengukuran, putusan, dan asal-usul ditulis sekali sebagai baris hasil; baris lama tidak pernah ditulis ulang.

Kontrol · pengukuran replikasi

Eksekusi June 2026: never arm tanpa perubahan dan baseline K=5 mengukur noise audit secara terpisah, dan KEEP dari satu audit diperiksa ulang dengan replikasi.

  1. run-2606-broken-tool-usetiga armloop anggaran tetaptrain.py

    Eksekusi June 3–4, 2026 memisahkan pergeseran dari efek mutasi dengan tiga arm: never (tanpa perubahan), random (penerimaan acak), dan gate (diterima oleh putusan). Targetnya GPT-5.5; auditor dan judge-nya Claude Opus 4.8.

  2. baseline gen-0 · rata-rata 5 auditrun-2606-broken-tool-usebaseline rata-rata K=5baseline · provenanceledger.py

    Baseline gen-0 adalah rata-rata lima audit (Petri broken_tool_use, makin rendah makin baik, rata-rata 2.667).

  3. never arm · kontrol tanpa perubahanrun-2606-broken-tool-useukur tanpa perubahansubproses audit · timeout tetapmeasure.py

    Never arm bergeser ke rata-rata 3.38 tanpa perubahan kebijakan apa pun (10 audit, makin rendah makin baik): bukti langsung bahwa noise audit melampaui efek mutasi.

  4. --replicate K · ukur ulangtrain.py--replicate Ksubproses audit · timeout tetapmeasure.py

    Kandidat yang sama diukur K kali lagi dalam kondisi yang sama untuk menyaring satu audit yang kebetulan beruntung.

  5. replicate · ukur ulang satu KEEPrun-2606-broken-tool-useukur ulang → kembalikan_reject_and_revertgate.py

    Kandidat yang di-KEEP pada satu audit gate (1.6) terukur 3.0–3.8 pada replikasi, lebih buruk dari baseline, sehingga champion 2.667 dipulihkan. Eksekusi ini menyimpulkan tidak ada perbaikan yang jelas.

Setiap koneksi dengan bobot yang sama. Pilih alur untuk menyorot hanya jalurnya, dengan langkah bernomor.

  • Garis utuh · arah aliran permintaan, kandidat, dan hasil
  • Garis putus · jalankan, putuskan, otorisasi, konfigurasi
  • Garis titik-strip panjang · catatan dan observasi, terpisah dari putusan
  • Garis hitam tebal · alur yang dipilih; angka menunjukkan urutan
  • Kotak · batas kode atau catatan, path-nya di bagian kepala
  • Chip dalam · komponen di dalam batas itu
  • Kotak putus-putus · di luar batas itu
  • loop · eksekusi pengukuran
  • kontrak · putusan
  • kebijakan · catatan
  • perubahan · target yang diaudit · catatan eksekusi

Driver SIL GEODE bernama autoresearch; bentuk prepare/train/program dan anggaran tetapnya meniru autoresearch milik Karpathy. Tidak ada bobot model yang berubah, dan perangkat serta anggaran tetap selama perbandingan.

Yang boleh berubah
Tujuh permukaan: prompt wrapper, kebijakan alat, saran dekomposisi, reflection, metadata katalog skill, kontrak agen, serta deskripsi dan petunjuk alat. Evaluator, anggaran, seed, dan rubrik tetap selama perbandingan.
Cakupan catatan eksekusi
Nilai run-2606 adalah rata-rata Petri broken_tool_use dari eksekusi itu (makin rendah makin baik). Nilai ini bukan bukti perbaikan kumulatif atau generalisasi SIL.