GEODE
Autonomous Agent Harness
Dari observasi ke tindakan berikutnya.
Harness agen otonom lokal yang dapat diserahi riset, pekerjaan berkas, dan tugas terjadwal.
Implementasi yang dikembalikan tinjauan, angka riset yang dihitung ulang
Dua kasus ketika tinjauan mengembalikan implementasi, dan satu kasus ketika angka riset dihitung ulang dengan data asli tetap disimpan. Setiap peran hanya sebatas yang ditunjukkan catatan kasus tersebut.
June 13, 2026
Implementasi yang lolos jalur normal dikembalikan dua kali oleh tinjauan, di jalur kesalahan
OrangAuthor
TindakanTelemetri hilang · fallback diam-diam perlu diperiksa
- serah terimaKegagalan yang harus terlihat→ Baris aktivitas bertipe · fallback ditandai (Claude Fable 5)
Agen pemrogramanClaude Fable 5
TindakanBaris aktivitas bertipe · fallback ditandai
- serah terima→ commit 64bd223 (Commit publik)
- serah terimaDiff · jalur kegagalan→ BLOCKER: generic fallback menyimpan details=data mentah (Codex)
ArtefakCommit publik
Artefakcommit 64bd223
Tinjauan · verifikasiCodex
Observasi · temuanBLOCKER: generic fallback menyimpan details=data mentah
- dikembalikanPerlindungan jalur normal pada jalur exception→ Hapus field sensitif saat fallback juga (Claude Fable 5)
Agen pemrogramanClaude Fable 5
TindakanHapus field sensitif saat fallback juga
- serah terima→ c808e78 · pemeriksaan reproduksi K4 (Commit publik)
- serah terimaPerbaikan ditinjau ulang→ BLOCKER #2: teks ValidationError membuka kembali nilai (Codex)
ArtefakCommit publik
Artefakc808e78 · pemeriksaan reproduksi K4
Tinjauan · verifikasiCodex
Observasi · temuanBLOCKER #2: teks ValidationError membuka kembali nilai
- dikembalikanAlasan kesalahan tanpa nilai mentah→ Simpan hanya jenis kesalahan · jalur field; hapus args_preview (Claude Fable 5)
Agen pemrogramanClaude Fable 5
TindakanSimpan hanya jenis kesalahan · jalur field; hapus args_preview
- serah terima→ 8dcb386 · pemeriksaan reproduksi K5 (Commit publik)
ArtefakCommit publik
Artefak8dcb386 · pemeriksaan reproduksi K5
- bukan eksekusi yang tercatatCakupan yang diperiksa→ CI penuh dan PASS tinjauan akhir saat itu tidak dibaca ulang (Commit publik)
ArtefakCommit publik
Aturan · belum diverifikasiCI penuh dan PASS tinjauan akhir saat itu tidak dibaca ulang
- Konteks
- Perubahan ini mengubah event observabilitas menjadi baris aktivitas bertipe dan menghentikan fallback yang terjadi diam-diam. Tinjauan Codex meninggalkan dua BLOCKER, dan setiap perbaikan disertai pemeriksaan yang mereproduksi celah yang ditemukannya.
- Hasil
- K4 memaksa fallback sungguhan dengan tipe yang salah dan memeriksa tidak ada field mentah yang tersisa; K5 memeriksa bahwa deskripsi kesalahan hanya memuat nama field dan jenis kesalahan, tidak pernah nilai input. Pemeriksaan ini mereproduksi celah yang ditemukan tinjauan; keduanya tidak menyalin konstanta implementasi.
- Batasan
- Percakapan tinjauan MCP aslinya tidak dibuka; peran tinjauan ditetapkan dari commit dan CHANGELOG yang ditulis saat itu. Kasus ini tidak menjamin bahwa tidak ada log GEODE yang menyimpan data sensitif.
Sumber dan batasan yang tersisa
- Ketiga commit mencantumkan Claude Fable 5, dan c808e78 serta 8dcb386 masing-masing mencatat BLOCKER dan BLOCKER #2 dari Codex.
- Kebijakan kontributor saat ini (October 2026) tidak diberlakukan surut sebagai instruksi untuk kasus ini.
May 26, 2026
Perubahan yang akan menghapus sebuah skor dipersempit menjadi pemeriksaan tempat skor itu boleh dipakai
Agen pemrogramanImplementasi
Observasi · temuanKebutuhan: jangan pakai nilai ini sebagai sumbu fitness
- serah terimaHipotesis pertama→ Draf pertama: hapus nilai di baseline writer (Implementasi)
Dalam pengembanganKonsumen di dalam produk
Observasi · temuanPada generasi pertama, baseline adalah satu-satunya sumber scenario_realism
- serah terimaKonsumen sebenarnya dilacak→ Temuan: merusak input awal critic (Codex)
Agen pemrogramanImplementasi
TindakanDraf pertama: hapus nilai di baseline writer
- serah terimaPerubahan ditinjau→ Temuan: merusak input awal critic (Codex)
Tinjauan · verifikasiCodex
Observasi · temuanTemuan: merusak input awal critic
- dikembalikanPertahankan kontrak input yang ada→ Perubahan writer ditarik · data dipertahankan (Implementasi)
Agen pemrogramanImplementasi
TindakanPerubahan writer ditarik · data dipertahankan
- serah terimaKriteria selesai dipindahkan→ 4 invarian: absen hanya dari permukaan fitness (Commit publik · PR)
ArtefakCommit publik · PR
Artefak4 invarian: absen hanya dari permukaan fitness
- serah terimaDiff akhir→ 0792e81 → PR #1690 di-merge (Commit publik · PR)
ArtefakCommit publik · PR
Artefak0792e81 → PR #1690 di-merge
- Konteks
- Perubahan ini dimaksudkan agar scenario_realism tidak berfungsi sebagai sumbu fitness dalam Scaffold Search eksternal. Saat tinjauan melacak pembaca pertama nilai tersebut, perubahan dibuat lebih kecil, bukan lebih besar.
- Hasil
- Nilai baseline tetap ada; empat pemeriksaan mengunci bahwa dimensi ini tidak ada di AXIS_TIERS, DIM_WEIGHTS, dan daftar tier pencarian eksternal.
- Batasan
- Sesi di balik perubahan writer yang ditarik tidak dilihat; hal itu ditetapkan dari commit dan deskripsi tes yang ditulis saat itu. Pemeriksaan ini bukan bukti kinerja pencarian atau perbaikan SIL.
Sumber dan batasan yang tersisa
- Critic dan evolver adalah konsumen data di dalam produk yang sedang dikembangkan, bukan agen pemrograman atau peninjau Codex yang dipakai untuk membangunnya.
- Judul PR #1690 masih menyebut “filter”; diff dan commit akhir adalah perubahan yang sebenarnya.
September 27, 2026 to September 28, 2026
Setelah perbaikan nilai batas, hasil asli direproduksi dahulu, lalu dihitung ulang
Sesi kerjaPelaksana analisis
Observasi · temuanNilai yang tepat di batas toleransi ditolak
- serah terimaKesalahan penerimaan, bukan kemampuan model→ Bandingkan sebagai desimal · toleransi tidak berubah (Pelaksana analisis)
Sesi kerjaPelaksana analisis
TindakanBandingkan sebagai desimal · toleransi tidak berubah
- serah terima→ 4be7a17 · pemeriksaan di dalam / di luar batas (Keluaran)
ArtefakKeluaran
Artefak4be7a17 · pemeriksaan di dalam / di luar batas
OrangAuthor
TindakanDidelegasikan: koreksi offline atas seluruh U4 · X2 tersimpan saja
- serah terimaCakupan yang diizinkan→ contract.json: input · aturan dikunci, tanpa pemanggilan model (Keluaran)
ArtefakKeluaran
Artefakcontract.json: input · aturan dikunci, tanpa pemanggilan model
- serah terimaKondisi tetap→ Reproduksi hasil sebelumnya · penyebut · CI lebih dahulu (Pelaksana analisis)
Sesi kerjaPelaksana analisis
TindakanReproduksi hasil sebelumnya · penyebut · CI lebih dahulu
- serah terimaSetelah reproduksi→ Hitung koreksi secara terpisah dari input yang sama (Pelaksana analisis)
Sesi kerjaPelaksana analisis
TindakanHitung koreksi secara terpisah dari input yang sama
- serah terima→ receipt: 24 data asli disimpan · 0 pemanggilan model (Keluaran)
- serah terimaVektor cell, bukan ringkasan→ Hitung ulang winner · CI dari vektor cell · cocokkan hash (Verifikator independen)
ArtefakKeluaran
Artefakreceipt: 24 data asli disimpan · 0 pemanggilan model
Tinjauan · verifikasiVerifikator independen
TindakanHitung ulang winner · CI dari vektor cell · cocokkan hash
- serah terima→ independent-review: putusan bertahan, batasan dinyatakan (Keluaran)
ArtefakKeluaran
Artefakindependent-review: putusan bertahan, batasan dinyatakan
- Konteks
- Di alat riset Jev, jawaban numerik typed yang tepat berada di batas toleransi ditolak. Setelah perbaikan, setiap hasil yang tersimpan dihitung ulang tanpa eksekusi model baru, dan pihak yang menghitung dipisahkan dari pihak yang memverifikasi.
- Hasil
- Putusan bertahan setelah koreksi (U4 not-supported, X2 mixed). Memperbaiki kesalahan numerik dan mendukung hipotesis riset dipisahkan.
- Batasan
- Koreksi post-hoc, bukan eksperimen model baru. 640 cell listwise Astra tanpa respons asli mempertahankan winner yang tersimpan, dan tinjauan independen juga tidak mem-parse ulang isi respons privat.
Sumber dan batasan yang tersisa
- Toleransi skor 0.03 dan toleransi jumlah distribusi 0.025 tidak diubah. Angka setelah koreksi adalah U4 58/80 → 59/80 dan X2 194/240 → 196/240.
- Catatan koreksi publik tidak menyebut model untuk pihak penulis maupun pemverifikasi, dan 4be7a17 tidak mencantumkan Claude atau Codex, sehingga tidak ada kolom yang diberi nama model.