GEODE
Autonomous Agent Harness
Nuo stebėjimo iki kito veiksmo.
Vietinis autonominio agento karkasas, kuriam galima patikėti tyrimus, darbą su failais ir suplanuotas užduotis.
Kandidato priėmimas ir leidimo įgaliojimai yra atskiri sprendimai.
Crucible yra eksperimentų branduolys, atskirtas nuo politikų paieškos. Kandidatinis komitas tikrinamas pagal leidžiamus paviršius ir įšaldytą sutartį, suporuotos užduotys agreguojamos atskirame matavimo checkout, o rezultatas – KEEP, REJECT arba INVALID.
Train verdiktas
Vienas kandidatas leidžiamo paviršiaus ribose matuojamas pagal fiksuotą sutartį izoliuotame checkout, o iš anksto užregistruotos taisyklės nusprendžia KEEP, REJECT arba INVALID.
propose → preflight
search/supervisor.pypaleisti · nuspręsti: prašyti kandidatosearch/producersPaieškos supervisor prašo gamintojo kandidato. r14 kandidatas buvo ankstesnis kandidatas (r13), pakartotinai pritaikytas replay gamintojo, o ne naujas LLM sugeneruotas.
search/producersduomenys: vienas kandidatinis komitaspropose → preflight
search/supervisor.pyGamintojas grąžina vieną kandidatinį komitą leidžiamų kelių ribose.
propose → preflight
search/supervisor.pypaleisti · nuspręsti: leidžiamas paviršius · diff patikraleidžiamas paviršius · kandidato diffcontract.pyKandidato diff turi likti sutartyje leidžiamo paviršiaus ribose, o įšaldytas vertintojas patikrinamas. r14 ir r35 leidžiamas taikinys buvo vienas failas, tau2_agent_policy.md; core ir Crucible įgyvendinimas užfiksuoti kaip vertintojo kelias.
evaluate → decide → record
search/supervisor.pypaleisti · nuspręsti: izoliuotas checkoutizoliuota nuo gamintojomeasurement checkoutKandidatas tikrinamas matavimo checkout, atskirtame nuo gamintojo.
izoliuota nuo gamintojo
measurement checkoutpaleisti · nuspręsti: paleidimas pagal fiksuotą sutartįtau2 paleidimas · receiptassays/Bazinė linija ir kandidatas paleidžiami su ta pačia sutartimi, sėkla ir užduotimis.
tau2 paleidimas · receipt
assays/duomenys: actor · user dialogastau2 aplinkaGEODE agentas (actor) kalbasi su vertintojui priklausančiu imituojamu naudotoju tau2 užduočių aplinkoje.
tau2 paleidimas · receipt
assays/duomenys: modelio iškvietimaiactor · user modeliair14 ir r35 tiek actor, tiek imituojamas naudotojas veikė su gpt-5.4/high (prenumerata).
užduočių tikrintuvas
assays/duomenys: paired evidencesuporuota · užduotis · agregavimas pagal šeimąpromotion.pyUžduočių tikrintuvo rezultatai saugomi kaip bazinės linijos ir kandidato poros.
įšaldytas vertintojas · iš anksto užregistruotas
contract.pypaleisti · nuspręsti: iš anksto užregistruotas agregavimassuporuota · užduotis · agregavimas pagal šeimąpromotion.pySuporuoti rezultatai agreguojami pagal užduotį ir iš anksto užregistruotą šeimą, o biudžeto, aprėpties, infrastruktūros ir saugos sąlygos tikrinamos atskirai.
KEEP · REJECT · INVALID
promotion.pypaleisti · nuspręsti: KEEP · head perkeliamassearch/* headrefs/crucibleEsant KEEP kitas refs/crucible/search/* head tampa kandidatu. Train verdikto promotion_authority yra none.
Atmetimas · negaliojimas · grįžtamasis ryšys
REJECT ir INVALID išlaiko head, o kitas kandidatas gauna tik nesėkmių kodus ir fiksuotus train užduočių ID. INVALID nėra nulinis balas.
užduočių tikrintuvas
assays/duomenys: paired evidencesuporuota · užduotis · agregavimas pagal šeimąpromotion.pyUžduočių tikrintuvo rezultatai saugomi kaip bazinės linijos ir kandidato poros.
įšaldytas vertintojas · iš anksto užregistruotas
contract.pypaleisti · nuspręsti: iš anksto užregistruotas agregavimassuporuota · užduotis · agregavimas pagal šeimąpromotion.pySuporuoti rezultatai agreguojami pagal užduotį ir iš anksto užregistruotą šeimą, o biudžeto, aprėpties, infrastruktūros ir saugos sąlygos tikrinamos atskirai.
KEEP · REJECT · INVALID
promotion.pyduomenys: REJECT · INVALIDnesėkmių kodai · train užduočių IDattempt/feedback.jsonAtmetus ar pripažinus negaliojančiu, ankstesnis head lieka, o kandidatas ir jo įrašai išsaugomi. INVALID vidurkis yra null, o ne nulis.
nesėkmių kodai · train užduočių ID
attempt/feedback.jsonduomenys: nesėkmių kodai · užduočių IDsearch/producersGrįžtamasis ryšys kitam kandidatui apribotas nesėkmių kodais ir fiksuotais train užduočių ID; vertintojo trajektorijos ar atsakymai neperduodami.
Užantspauduotas tinkamumas · atskiri įgaliojimai
Train KEEP tik perkelia paieškos head. Užantspauduotas tinkamumas pasiekia tik eligible ref; produkto leidimas ir diegimas yra atskiri įgaliojimai už Crucible ribų.
evaluate → decide → record
search/supervisor.pyduomenys: record · ref receipttrain bundle · perskaičiuotas KEEPattestation/bundle.pyTrain bundle galioja tik tada, kai susieta visa: sutartis, bazinės linijos ir kandidato įrodymai, perskaičiuotas KEEP, pasiūlymo kilmė, supervisor įrašas ir pritaikyto ref receipt. Tai ne kitas pagerėjimo pavadinimas.
train bundle · perskaičiuotas KEEP
attestation/bundle.pypaleisti · nuspręsti: tik train bundle · kartąnesikertantis testų paketas · naudojamas kartąattestation/sealed.pyUžantspauduotas vertinimas vieną kartą naudoja su train nesikertantį testų paketą, be infrastruktūrinių pakartojimų.
ELIGIBLE · release_authority none
attestation/sealed.pypaleisti · nuspręsti: tik eligible refeligible/*refs/crucibleNet ELIGIBLE įrašo tik refs/crucible/eligible/*, o release_authority užfiksuotas kaip none.
Vieši įrašai · r14 · r35
r14 buvo train KEEP, paskui užantspauduotas REJECT; r35 (July 13, 2026) buvo INVALID dėl nepilnos aprėpties ir infrastruktūros užteršimo (0 suporuotų eilučių, vidurkis null), o head liko nepakitęs.
KEEP · REJECT · INVALID
promotion.pyduomenys: viešas verdict.jsongeode-eval-artifactsVieši artefaktai yra normalizuoti įrašai, užfiksuoti ties 23e3428. r14 iš anksto užregistruota train konfigūracijos maiša skiriasi nuo viešos konfigūracijos baitų, todėl visa originali grandinė iš naujo nesertifikuota.
attestation/sealed.pyduomenys: sealed decision.jsonr14 · train KEEP → sealed REJECT
geode-eval-artifactsr14: KEEP su telecom train, 6 užduotys × 1 bandymas (6 suporuotos eilutės, be paaukštinimo įgaliojimų), paskui atskiras užantspauduotas verdiktas REJECT (be leidimo įgaliojimų).
Visi ryšiai vienodo storio. Pasirinkite srautą, kad būtų paryškintas tik jo kelias su sunumeruotais žingsniais.
- Ištisinė · kryptis, kuria keliauja užklausos, kandidatai ir rezultatai
- Brūkšninė · paleisti, nuspręsti, įgalioti, konfigūruoti
- Stora juoda linija · pasirinktas srautas; skaičiai rodo tvarką
- Rėmelis · kodo ar įrašų riba, kelias antraštėje
- Vidinė plokštelė · komponentas toje riboje
- Brūkšninis rėmelis · už tos ribos
- paieškos supervisor
- sutartis · verdiktas · atestavimas
- ref · įrašai
- gamintojai · vykdymas
Crucible yra nuo SIL atskirtas branduolys; dvi paieškos nėra vienas konvejeris, paaukštinantis viena kitos kandidatus. Produkto leidimo rėmelis neturi įeinančių ryšių.
- Trys įgaliojimai
- Train KEEP perkelia paieškos head, užantspauduotas ELIGIBLE įrašo eligible ref, o produkto leidimas yra atskiras sprendimas už Crucible ribų. Ankstesnis verdiktas niekada nesuteikia vėlesnių įgaliojimų.
- Null nėra nulis
- r35 planavo 9 užduotis × 3 bandymus (27 eilutės kiekvienai šakai), bet turėjo 0 palyginamų porų, todėl jo vidurkis ir pagerėjimas yra null. Tai ne 27 nepavykusios užduotys ir ne 0 % sėkmės dalis.