GEODE
Autonomous Agent Harness
Od opažanja do sljedeće radnje.
Lokalni okvir za autonomnog agenta kojemu se mogu prepustiti istraživanje, rad s datotekama i zakazani zadaci.
Prihvaćanje kandidata i ovlast za izdanje zasebne su odluke.
Crucible je eksperimentalna jezgra odvojena od pretraživanja politika. Commit-kandidat provjerava se prema dopuštenim površinama i zamrznutom ugovoru, upareni zadaci agregiraju se u zasebnom mjernom checkoutu, a rezultat je KEEP, REJECT ili INVALID.
Presuda na trainu
Jedan kandidat unutar dopuštene površine mjeri se prema fiksnom ugovoru u izoliranom checkoutu, a unaprijed registrirana pravila odlučuju o KEEP, REJECT ili INVALID.
propose → preflight
search/supervisor.pypokretanje · odluka: zatražiti kandidatasearch/producersSupervisor pretraživanja traži kandidata od proizvođača. Kandidat r14 bio je raniji kandidat (r13) koji je proizvođač replay ponovno primijenio, a ne novi kandidat koji je generirao LLM.
search/producerspodaci: jedan commit-kandidatpropose → preflight
search/supervisor.pyProizvođač vraća jedan commit-kandidat unutar dopuštenih putanja.
propose → preflight
search/supervisor.pypokretanje · odluka: dopuštena površina · provjera diffadopuštena površina · diff kandidatacontract.pyDiff kandidata mora ostati unutar površine koju ugovor dopušta, a zamrznuti evaluator se provjerava. U r14 i r35 dopušteni cilj bila je jedna datoteka, tau2_agent_policy.md; core i implementacija Cruciblea fiksirani su kao putanja evaluatora.
evaluate → decide → record
search/supervisor.pypokretanje · odluka: izolirani checkoutizolirano od proizvođačameasurement checkoutKandidat se provjerava u mjernom checkoutu odvojenom od proizvođača.
izolirano od proizvođača
measurement checkoutpokretanje · odluka: izvođenje prema fiksnom ugovoruizvođenje tau2 · receiptassays/Osnovica i kandidat izvode se s istim ugovorom, sjemenom i zadacima.
izvođenje tau2 · receipt
assays/podaci: dijalog actor · userOkruženje tau2Agent GEODE (actor) razgovara sa simuliranim korisnikom koji pripada evaluatoru u okruženju zadataka tau2.
izvođenje tau2 · receipt
assays/podaci: pozivi modelaModeli actor · userU r14 i r35 i actor i simulirani korisnik bili su gpt-5.4/high (pretplata).
verifikator zadataka
assays/podaci: paired evidenceupareno · zadatak · agregat po obiteljipromotion.pyRezultati verifikatora zadataka čuvaju se kao parovi osnovica–kandidat.
zamrznuti evaluator · unaprijed registriran
contract.pypokretanje · odluka: unaprijed registrirana agregacijaupareno · zadatak · agregat po obiteljipromotion.pyUpareni rezultati agregiraju se po zadatku i unaprijed registriranoj obitelji, a uvjeti proračuna, pokrivenosti, infrastrukture i sigurnosti provjeravaju se zasebno.
KEEP · REJECT · INVALID
promotion.pypokretanje · odluka: KEEP · head se pomičesearch/* headrefs/cruciblePri KEEP sljedeći head refs/crucible/search/* postaje kandidat. promotion_authority presude na trainu je none.
Odbijanje · nevaljanost · povratna informacija
REJECT i INVALID zadržavaju head, a sljedeći kandidat dobiva samo kodove neuspjeha i fiksne ID-ove zadataka traina. INVALID nije ocjena nula.
verifikator zadataka
assays/podaci: paired evidenceupareno · zadatak · agregat po obiteljipromotion.pyRezultati verifikatora zadataka čuvaju se kao parovi osnovica–kandidat.
zamrznuti evaluator · unaprijed registriran
contract.pypokretanje · odluka: unaprijed registrirana agregacijaupareno · zadatak · agregat po obiteljipromotion.pyUpareni rezultati agregiraju se po zadatku i unaprijed registriranoj obitelji, a uvjeti proračuna, pokrivenosti, infrastrukture i sigurnosti provjeravaju se zasebno.
KEEP · REJECT · INVALID
promotion.pypodaci: REJECT · INVALIDkodovi neuspjeha · ID-ovi zadataka trainaattempt/feedback.jsonPri odbijanju ili nevaljanosti prethodni head ostaje, a kandidat i njegovi zapisi čuvaju se. Prosjek za INVALID je null, a ne nula.
kodovi neuspjeha · ID-ovi zadataka traina
attempt/feedback.jsonpodaci: kodovi neuspjeha · ID-ovi zadatakasearch/producersPovratna informacija za sljedećeg kandidata ograničena je na kodove neuspjeha i fiksne ID-ove zadataka traina; putanje ni odgovori evaluatora ne prosljeđuju se.
Zapečaćena prihvatljivost · zasebna ovlast
KEEP na trainu samo pomiče head pretraživanja. Zapečaćena prihvatljivost doseže samo eligible ref; izdanje i postavljanje proizvoda zasebne su ovlasti izvan Cruciblea.
evaluate → decide → record
search/supervisor.pypodaci: record · ref receipttrain bundle · ponovno izračunan KEEPattestation/bundle.pyTrain bundle vrijedi samo kad su povezani ugovor, dokazi osnovice i kandidata, ponovno izračunan KEEP, rodoslovlje prijedloga, zapis supervisora i receipt primijenjenog refa. To nije drugo ime za poboljšanje.
train bundle · ponovno izračunan KEEP
attestation/bundle.pypokretanje · odluka: samo train bundle · jednomodvojeni testni paket · koristi se jednomattestation/sealed.pyZapečaćena evaluacija jednom koristi testni paket odvojen od traina, s nula ponovnih pokušaja zbog infrastrukture.
ELIGIBLE · release_authority none
attestation/sealed.pypokretanje · odluka: samo eligible refeligible/*refs/crucibleČak i ELIGIBLE zapisuje samo refs/crucible/eligible/*, a release_authority fiksiran je na none.
Javni zapisi · r14 · r35
r14 je bio KEEP na trainu, zatim zapečaćeni REJECT; r35 (July 13, 2026) bio je INVALID zbog nepotpune pokrivenosti i infrastrukturne kontaminacije (0 uparenih redaka, prosjek null), a head je ostao nepromijenjen.
KEEP · REJECT · INVALID
promotion.pypodaci: javni verdict.jsongeode-eval-artifactsJavni artefakti normalizirani su zapisi fiksirani na 23e3428. Unaprijed registrirani hash konfiguracije traina za r14 razlikuje se od bajtova javne konfiguracije, pa cijeli izvorni lanac nije ponovno ovjeren.
attestation/sealed.pypodaci: sealed decision.jsonr14 · train KEEP → sealed REJECT
geode-eval-artifactsr14: KEEP na telecom trainu, 6 zadataka × 1 pokušaj (6 uparenih redaka, bez ovlasti za promociju), zatim zasebna zapečaćena presuda REJECT (bez ovlasti za izdanje).
Sve veze iste debljine. Odaberite tijek kako biste istaknuli samo njegov put s numeriranim koracima.
- Puna crta · smjer kojim teku zahtjevi, kandidati i rezultati
- Isprekidana crta · pokretanje, odluka, autorizacija, konfiguracija
- Debela crna crta · odabrani tijek; brojevi daju redoslijed
- Okvir · granica koda ili zapisa, putanja u zaglavlju
- Unutarnja pločica · komponenta unutar te granice
- Isprekidani okvir · izvan te granice
- supervisor pretraživanja
- ugovor · presuda · atestacija
- refovi · zapisi
- proizvođači · izvođenje
Crucible je jezgra odvojena od SIL-a; dva pretraživanja nisu jedan cjevovod koji promovira kandidate onog drugog. Okvir izdanja proizvoda nema ulaznih veza.
- Tri ovlasti
- KEEP na trainu pomiče head pretraživanja, zapečaćeni ELIGIBLE bilježi eligible ref, a izdanje proizvoda zasebna je odluka izvan Cruciblea. Ranija presuda nikad ne dodjeljuje kasniju ovlast.
- Null nije nula
- r35 je planirao 9 zadataka × 3 pokušaja (27 redaka po grani), ali je imao 0 usporedivih parova, pa su njegov prosjek i poboljšanje null. To nije 27 neuspjelih zadataka ni stopa uspjeha od 0 %.