GEODE
Autonomous Agent Harness
Havainnosta seuraavaan toimeen.
Paikallinen autonomisen agentin kehys, jolle voi antaa tutkimusta, tiedostotöitä ja ajastettuja tehtäviä.
Ehdokkaan hyväksyminen ja julkaisuvaltuus ratkaistaan erikseen.
Crucible on käytäntöhausta erillinen koeydin. Ehdokascommit validoidaan sallittuja pintoja ja jäädytettyä sopimusta vasten, paritehtävät kootaan erillisessä mittaustyökopiossa, ja tulos on KEEP, REJECT tai INVALID.
Train-tuomio
Yksi sallitun pinnan sisällä oleva ehdokas mitataan kiinteällä sopimuksella eristetyssä työkopiossa, ja ennalta rekisteröidyt säännöt päättävät KEEP, REJECT tai INVALID.
propose → preflight
search/supervisor.pysuoritus · päätös: ehdokkaan pyyntösearch/producersHakuvalvoja pyytää tuottajalta ehdokasta. r14:n ehdokas oli replay-tuottajan uudelleen soveltama aiempi ehdokas (r13), ei uusi LLM:n generoima.
search/producersdata: yksi ehdokascommitpropose → preflight
search/supervisor.pyTuottaja palauttaa yhden ehdokascommitin sallittujen polkujen sisällä.
propose → preflight
search/supervisor.pysuoritus · päätös: sallittu pinta · diff-tarkistussallittu pinta · ehdokkaan diffcontract.pyEhdokkaan diffin on pysyttävä sopimuksen sallitun pinnan sisällä, ja jäädytetty arvioija todennetaan. r14:ssä ja r35:ssä sallittu kohde oli yksi tiedosto, tau2_agent_policy.md; core ja Crucible-toteutus oli kiinnitetty arvioijan poluksi.
evaluate → decide → record
search/supervisor.pysuoritus · päätös: eristetty työkopioeristetty tuottajastameasurement checkoutEhdokas tarkistetaan tuottajasta erotetussa mittaustyökopiossa.
eristetty tuottajasta
measurement checkoutsuoritus · päätös: ajo kiinteällä sopimuksellatau2-ajo · receiptassays/Lähtötaso ja ehdokas ajetaan samalla sopimuksella, siemenellä ja tehtävillä.
tau2-ajo · receipt
assays/data: toimijan · käyttäjän dialogitau2-ympäristöGEODE-agentti (toimija) keskustelee arvioijan omistaman simuloidun käyttäjän kanssa tau2-tehtäväympäristössä.
tau2-ajo · receipt
assays/data: mallikutsutToimija- · käyttäjämallitr14:ssä ja r35:ssä sekä toimija että simuloitu käyttäjä olivat gpt-5.4/high (tilaus).
tehtävän tarkistin
assays/data: paired evidenceparit · tehtävä · perhekoostepromotion.pyTehtävätarkistimen tulokset säilytetään lähtötaso–ehdokas-pareina.
jäädytetty arvioija · ennalta rekisteröity
contract.pysuoritus · päätös: ennalta rekisteröity koostaminenparit · tehtävä · perhekoostepromotion.pyParitulokset kootaan tehtävän ja ennalta rekisteröidyn perheen mukaan, ja budjetti-, kattavuus-, infrastruktuuri- ja turvallisuusehdot tarkistetaan erikseen.
KEEP · REJECT · INVALID
promotion.pysuoritus · päätös: KEEP · head siirtyysearch/* headrefs/crucibleKEEP-tuloksella seuraavasta refs/crucible/search/*-headista tulee ehdokas. Train-tuomion promotion_authority on none.
Hylkäys · mitätön · palaute
REJECT ja INVALID pitävät headin, ja seuraava ehdokas saa vain virhekoodit ja kiinteät train-tehtävätunnisteet. INVALID ei ole nollapistemäärä.
tehtävän tarkistin
assays/data: paired evidenceparit · tehtävä · perhekoostepromotion.pyTehtävätarkistimen tulokset säilytetään lähtötaso–ehdokas-pareina.
jäädytetty arvioija · ennalta rekisteröity
contract.pysuoritus · päätös: ennalta rekisteröity koostaminenparit · tehtävä · perhekoostepromotion.pyParitulokset kootaan tehtävän ja ennalta rekisteröidyn perheen mukaan, ja budjetti-, kattavuus-, infrastruktuuri- ja turvallisuusehdot tarkistetaan erikseen.
KEEP · REJECT · INVALID
promotion.pydata: REJECT · INVALIDvirhekoodit · train-tehtävien tunnisteetattempt/feedback.jsonHylkäyksessä tai mitättömyydessä edellinen head säilyy, ja ehdokas ja sen kirjaukset säilytetään. INVALID-keskiarvo on null, ei nolla.
virhekoodit · train-tehtävien tunnisteet
attempt/feedback.jsondata: virhekoodit · tehtävätunnisteetsearch/producersPalaute seuraavalle ehdokkaalle rajoittuu virhekoodeihin ja kiinteisiin train-tehtävätunnisteisiin; arvioijan trajektoreja tai vastauksia ei välitetä.
Sinetöity kelpoisuus · erillinen valtuus
Train-KEEP siirtää vain haun headia. Sinetöity kelpoisuus yltää vain eligible-refiin; tuotejulkaisu ja käyttöönotto ovat erillisiä valtuuksia Cruciblen ulkopuolella.
evaluate → decide → record
search/supervisor.pydata: record · ref receipttrain-paketti · uudelleen laskettu KEEPattestation/bundle.pyTrain-paketti pätee vain, kun sopimus, lähtötason ja ehdokkaan näyttö, uudelleen laskettu KEEP, ehdotuksen sukulinja, valvojan kirjaus ja sovelletun refin receipt kytkeytyvät kaikki toisiinsa. Se ei ole toinen nimi parannukselle.
train-paketti · uudelleen laskettu KEEP
attestation/bundle.pysuoritus · päätös: vain train-paketti · kerranerillinen testipaketti · käytetään kerranattestation/sealed.pySinetöity arviointi käyttää train-joukosta erillistä testipakettia kerran, ilman infrastruktuuriuusintoja.
ELIGIBLE · release_authority none
attestation/sealed.pysuoritus · päätös: vain eligible-refeligible/*refs/crucibleJopa ELIGIBLE kirjoittaa vain refs/crucible/eligible/*, ja release_authority on kiinnitetty arvoon none.
Julkiset kirjaukset · r14 · r35
r14 oli train-KEEP ja sitten sinetöity REJECT; r35 (13.7.2026) oli INVALID puutteellisen kattavuuden ja infrastruktuurin kontaminaation vuoksi (0 paririviä, keskiarvo null), ja head pysyi ennallaan.
KEEP · REJECT · INVALID
promotion.pydata: julkinen verdict.jsongeode-eval-artifactsJulkiset artefaktit ovat normalisoituja kirjauksia, jotka on kiinnitetty kohtaan 23e3428. r14:n ennalta rekisteröity train-konfiguraation tiiviste eroaa julkisen konfiguraation tavuista, joten koko alkuperäistä ketjua ei ole sertifioitu uudelleen.
attestation/sealed.pydata: sealed decision.jsonr14 · train KEEP → sealed REJECT
geode-eval-artifactsr14: KEEP telecom-train-joukolla, 6 tehtävää × 1 ajo (6 paririviä, ei ylennysvaltuutta), sitten erillinen sinetöity tuomio REJECT (ei julkaisuvaltuutta).
Kaikki yhteydet samalla painolla. Valitse virta, niin vain sen polku korostuu numeroiduin vaihein.
- Yhtenäinen · pyyntöjen, ehdokkaiden ja tulosten kulkusuunta
- Katkoviiva · suoritus, päätös, valtuutus, määritys
- Paksu musta viiva · valittu virta; numerot kertovat järjestyksen
- Laatikko · koodin tai kirjausten raja, polku otsakkeessa
- Sisälaatta · komponentti rajan sisällä
- Katkoviivalaatikko · rajan ulkopuolella
- hakuvalvoja
- sopimus · tuomio · attestointi
- refit · kirjaukset
- tuottajat · suoritus
Crucible on SIListä erillinen ydin; nämä kaksi hakua eivät ole yksi putki, joka ylentäisi toistensa ehdokkaita. Tuotejulkaisun laatikkoon ei tule yhtään yhteyttä.
- Kolme valtuutta
- Train-KEEP siirtää haun headia, sinetöity ELIGIBLE kirjaa eligible-refin, ja tuotejulkaisu on erillinen päätös Cruciblen ulkopuolella. Aiempi tuomio ei koskaan anna myöhempää valtuutta.
- Null ei ole nolla
- r35 suunnitteli 9 tehtävää × 3 ajoa (27 riviä haaraa kohden), mutta vertailukelpoisia pareja oli 0, joten sen keskiarvo ja parannus ovat null. Se ei ole 27 epäonnistunutta tehtävää eikä 0 %:n onnistumisaste.