ID
Geodi, karakter piksel resmi GEODE
Kembali ke ruang pamer

GEODE

Autonomous Agent Harness

Dari observasi ke tindakan berikutnya.

Harness agen otonom lokal yang dapat diserahi riset, pekerjaan berkas, dan tugas terjadwal.

2026.02.21 — present

Desain, penilaian, verifikasi: Author · implementasi: Claude · tinjauan: Codex

  • CLIDipublikasikan · PyPI
  • Server MCPDiimplementasikan

Skenario audit dihasilkan melalui fase dengan urutan tetap.

Host memegang urutan fase, dan agen peran di setiap fase membagi pekerjaan. Kumpulan seed yang dihasilkan dan rubrik yang dipilih menjadi input audit perilaku Petri.

Peta seed · digambar dari jalur evals pada commit tetap 9e2c041
Pembuatan skenario audit dan audit Petri GEODEBagaimana skenario audit (seed) ditulis dan diaudit. Orkestrator seed_generation memegang urutan fase sementara agen peran menyusun draf, meninjau, dan menyempurnakan, lalu hasilnya diekspor sebagai direktori survivors dan berkas meta-review. Audit Petri menerima pilihan seed dan menetapkan tiga peran model terpisah: auditor memerankan skenario seed, target adalah seluruh scaffold GEODE, dan judge menilai transkrip per dimensi ke dalam log Inspect. Pengukuran SIL membaca hasil itu, dan pengukuran yang dipertahankan menjadi bukti baseline untuk generasi berikutnya.Model auditormemerankan skenario seedModel dasar targetmodel yang dibungkus GEODEModel judgemenilai seluruh transkripLog Inspect .evalarsip · ringkasanPengukuran SIL · measure.pydibaca oleh bab pencarian kebijakanbaseline snapshotrata-rata dimensi · buktihandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pyurutan fase · PipelineStatecheckpoint · resumeagents/ · drafSupervisor · strategi eksekusiliterature_review · nonaktif secara bawaanGenerator · seed kandidatagents/ · tinjauanProximity · deduplikasiCritic · tinjauanPilot · opsional · tidak di smokeRanker · Eloagents/ · penyempurnaanEvolver · penyempurnaanMeta-reviewer · priors berikutnyarun_dir/survivors/ · salinan .md kandidatsurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedsseed terbundel · *.mdpetri/runner.pygeode audit · /audit · alatestimasi biaya · dry-run secara bawaanpetri/geode_target.pyGEODE sebagai target · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLberkas status di luar eksekusievals/seed_generationpenulisan skenarioevals/petrieksekusi audit1jalankan fase berurutan2bukti baseline3 meta-review sebelumnya · latest_pointer.json · priors → agents/ · draf34 seed kandidat · agents/ · draf → agents/ · tinjauan45survivors · Elo6 iterasi berikutnya · dari Critic · Meta-reviewer · priors berikutnya → Critic · tinjauan67 ekspor survivors · agents/ · penyempurnaan → run_dir/78pointer latest1--seed-select2seed terbundel3 peran model · tiga kursi · geode audit · /audit · alat → Model auditor34dialog skenario seed5 pemanggilan model · GEODE sebagai target · AgenticLoop → Model dasar target56transkrip7 judge_dimensions · judge_dimensions · YAML → Model judge78skor dimensi1skor dimensi2 pengukuran · Log Inspect .eval → Pengukuran SIL · measure.py23pembaruan baseline4bukti baseline

Penulisan skenario

Orkestrator memegang urutan fase, agen peran menyusun dan menyaring kandidat, dan hasilnya diekspor melalui kontrak berkas.

  1. urutan fase · PipelineStateseed_generation/orchestrator.pyjalankan fase berurutanagents/ · draf

    Orkestrator memegang urutan fase dan penggabungan status; agen peran di setiap fase melakukan pekerjaannya. Di dalam satu fase, pekerjaan dapat disebar melalui SubAgentManager, dan sub-agen tidak berulang ke bawah (depth 1).

  2. rata-rata dimensi · buktibaseline snapshotbukti baselineagents/ · draf

    Generator, Critic, dan Evolver membaca rata-rata per dimensi, galat baku, dan bukti dari baseline yang dipilih. Generasi pertama tidak memiliki baseline dan memakai prompt bawaan.

  3. latest_pointer.json · priorshandoff pointermeta-review sebelumnyaagents/ · draf

    Meta-review dari eksekusi sebelumnya meninggalkan priors generasi berikutnya dan dimensi yang kurang tercakup untuk dipertimbangkan generasi ini.

  4. agents/ · drafseed kandidatagents/ · tinjauan

    Kandidat Generator melewati deduplikasi Proximity, tinjauan Critic, Pilot (opsional; dilewati pada eksekusi smoke), dan peringkat Elo dari Ranker secara berurutan.

  5. agents/ · tinjauansurvivors · Eloagents/ · penyempurnaan

    Evolver menyempurnakan kandidat berperingkat tertinggi, dan Meta-reviewer merangkum eksekusi menjadi priors generasi berikutnya.

  6. Meta-reviewer · priors berikutnyaagents/ · penyempurnaaniterasi berikutnya · dari CriticCritic · tinjauanagents/ · tinjauan

    Dengan max_iterations diatur, setelah Meta-reviewer kandidat yang disempurnakan kembali melewati Critic → Pilot → Ranker → Evolver → Meta-reviewer. Supervisor, Generator, dan Proximity tidak dijalankan ulang; bawaannya nol iterasi.

  7. agents/ · penyempurnaanekspor survivorsrun_dir/

    Isi kandidat yang bertahan disalin sebagai berkas ke survivors/, skor Elo dan pilot ke survivors.json, sedangkan meta-review dan status ditulis terpisah.

  8. meta_review.json · state.jsonrun_dir/pointer latestlatest_pointer.json · priorshandoff pointer

    Satu latest_pointer.json mencatat lokasi seed_pool dan meta_review eksekusi ini. Keluaran per eksekusi adalah acuan; pointer adalah bantuan best-effort untuk eksekusi berikutnya, dan penulisan yang gagal hanya dicatat di log. Tidak setiap eksekusi memiliki kedua field itu.

Eksekusi audit

Auditor memerankan seed (instruksi skenario), target adalah scaffold GEODE, dan judge menilai transkrip. Ketiga peran adalah kursi model yang terpisah.

  1. survivors/ · salinan .md kandidatrun_dir/--seed-selectgeode audit · /audit · alatpetri/runner.py

    Audit menerima pilihan seed (direktori survivors, seed terbundel, id, atau tag) dan meneruskannya ke tugas inspect_petri/audit milik Inspect. Pembuatan seed tidak memulai audit sendiri.

  2. seed terbundel · *.mdpetri/seedsseed terbundelgeode audit · /audit · alatpetri/runner.py

    Seed terbundel di repositori dapat dipilih apa adanya.

  3. geode audit · /audit · alatpetri/runner.pyperan model · tiga kursiModel auditor

    Model auditor, target, dan judge ditetapkan terpisah. Bawaannya dry run; pemanggilan nyata hanya terjadi setelah estimasi biaya dikonfirmasi. Bila ketiga peran memakai penyedia yang sama, penanda bias penyedia-sama dilampirkan.

  4. Model auditordialog skenario seedGEODE sebagai target · AgenticLooppetri/geode_target.py

    Seed adalah instruksi skenario untuk auditor. Auditor memimpin percakapan dan dapat membuat alat serta hasil alat hanya bila target_tools diaktifkan.

  5. GEODE sebagai target · AgenticLooppetri/geode_target.pypemanggilan modelModel dasar target

    Seluruh AgenticLoop GEODE (alat, hook, memori) dibungkus sebagai satu API model, sehingga target yang diaudit adalah scaffold GEODE, bukan model dasar saja.

  6. GEODE sebagai target · AgenticLooppetri/geode_target.pytranskripModel judge

    Judge membaca transkrip lengkap setiap sampel sekali dan menilainya per dimensi.

  7. judge_dimensions · YAMLpetri/judge_dimsjudge_dimensionsModel judge

    YAML dimensi judge yang dipilih menetapkan dimensi penilaian. Ini adalah audit perilaku, pengukuran yang berbeda dari penyelesaian tugas.

  8. Model judgeskor dimensiLog Inspect .eval

    Log Inspect .eval dan ringkasannya diarsipkan. Kegagalan arsip dicatat dan tidak menghalangi hasil audit.

Pengukuran → generasi berikutnya

SIL memakai skor audit untuk putusannya, dan pengukuran yang dipertahankan menjadi bukti baseline untuk pembuatan seed berikutnya. Ini tidak berarti tautan itu berjalan otomatis di setiap kampanye.

  1. Model judgeskor dimensiLog Inspect .eval

    Log Inspect .eval dan ringkasannya diarsipkan. Kegagalan arsip dicatat dan tidak menghalangi hasil audit.

  2. Log Inspect .evalpengukuranPengukuran SIL · measure.py

    measure.py milik SIL menjalankan subproses audit dan menghitung fitness dari hasilnya.

  3. Pengukuran SIL · measure.pypembaruan baselinerata-rata dimensi · buktibaseline snapshot

    Ledger SIL menulis pengukuran yang dipertahankan sebagai baseline. Pembuatan seed membaca bukti itu bila baseline dipilih (otomatis atau eksplisit).

  4. rata-rata dimensi · buktibaseline snapshotbukti baselineagents/ · draf

    Generator, Critic, dan Evolver membaca rata-rata per dimensi, galat baku, dan bukti dari baseline yang dipilih. Generasi pertama tidak memiliki baseline dan memakai prompt bawaan.

Setiap koneksi dengan bobot yang sama. Pilih alur untuk menyorot hanya jalurnya, dengan langkah bernomor.

  • Garis utuh · arah aliran permintaan, kandidat, dan hasil
  • Garis putus · jalankan, putuskan, otorisasi, konfigurasi
  • Garis titik-strip panjang · catatan dan observasi, terpisah dari putusan
  • Garis hitam tebal · alur yang dipilih; angka menunjukkan urutan
  • Kotak · batas kode atau catatan, path-nya di bagian kepala
  • Chip dalam · komponen di dalam batas itu
  • Kotak putus-putus · di luar batas itu
  • orkestrator · masuk audit
  • target audit · dimensi penilaian
  • keluaran · berkas status
  • agen peran · seed terbundel

Orkestrator mengunci urutan putaran pertama dan urutan pengulangan. Konfigurasi, peran terdaftar, dan titik lanjutan dapat melewati beberapa fase, dan tidak setiap kampanye menjalankan setiap fase. Lokasi berkas status bergantung pada lingkungan, sehingga path tidak ditampilkan.

Tiga peran
Seed adalah instruksi skenario, ditulis manusia atau dihasilkan; auditor adalah model yang memerankannya, target adalah scaffold GEODE yang diaudit, dan judge adalah model yang menilai transkrip. Skor dan log adalah keluaran judge.
Yang diukur
Audit Petri menilai dimensi perilaku. Ini bukan tingkat penyelesaian tugas atau jaminan kualitas produk.