GEODE
Autonomous Agent Harness
No novērojuma līdz nākamajai darbībai.
Lokāls autonoma aģenta ietvars, kam var uzticēt izpēti, darbu ar failiem un ieplānotus uzdevumus.
Vienlaikus mainīt vienu politiku; mērījumu turēt fiksētu.
Atsevišķs cikls, kas darbojas ārpus ietvara. No bāzlīnijas tas piemēro vienu tipizētu politikas izmaiņu, un tas pats Petri audits un vārti izlemj starp KEEP un atjaunošanu.
Viena izmaiņa → audits
Ar fiksētu palaidiena līgumu mainās viena atļauta politika, un GEODE tiek auditēts ar to pašu aparatūru. Tas nav darbojošs produkts, kas pārraksta pats sevi.
Operatora apstiprinājumsizpilde · lēmums: apstiprinājumspalaidiena līgums · modeļi · budžets
program.mdPalaidiens sākas tikai pēc live izsaukumu un fiksētā budžeta apstiprināšanas. Bez apstiprinājuma tiek sagatavots un bezsaistē pārbaudīts tikai līgums.
palaidiena līgums · modeļi · budžets
program.mdizpilde · lēmums: palaidiena līgumsfiksēta budžeta ciklstrain.pySēklu un rubrikas revīzijas, lomu modeļi un akreditācijas datu avoti, mērīšanas iestatījumi, iterāciju, laika un izmaksu budžeti, paaugstināšanas politika un apturēšanas nosacījumi tiek fiksēti pirms palaidiena.
fiksēta budžeta cikls
train.pyizpilde · lēmums: pieprasīt vienu kandidātumutators · viens kandidātsloop/mutateViena ar pierādījumiem pamatota hipotēze maina vienu atļautu politikas virsmu.
7 virsmas · bez hiperparametriem
loop/mutatedati: politikas izmaiņa · mutation IDfailā glabāta politikastate/policiesMainīties drīkst tikai septiņas virsmas: apvalka uzvedne, rīku politika, sadalīšanas ieteikumi, refleksija, prasmju kataloga metadati, aģenta līgums (role, system_prompt, tools) un rīku apraksti un mājieni. Hiperparametru izmaiņas tiek noraidītas gan parsēšanā, gan piemērošanā. Politikas piemērošana, atkārtota mērīšana un neobligāts komits ir atsevišķi soļi, tāpēc piemērošana pati par sevi nav audits.
sēklu kopa · rubrika fiksēta
prepare.pyizpilde · lēmums: sēklas · rubrika fiksētaaudita apakšprocess · fiksēts taimautsmeasure.pyprepare.py ir fiksēta atsauce sēklu kopai un rubrikai; kandidāti to nemaina. Mērīšanas moduļa maiņa maina mērījumu, nevis testējamo sistēmu.
failā glabāta politika
state/policiesdati: izvēlētā politikapolitikai specifisks OVERRIDE · STRICTmeasure.pymeasure.py nolasa pašlaik izvēlēto politikas failu un nodod to audita videi.
politikai specifisks OVERRIDE · STRICT
measure.pyizpilde · lēmums: politikai specifiski override ceļicore · politikas ielādētājimeasure.py nodod audita apakšprocesam apvalku un politikai specifiskos override un strict ceļus, un izpildvides atbilstošais politikas ielādētājs nolasa katru no tiem. Apvalks (GEODE_WRAPPER_OVERRIDE → system_prompt) ir viens zars; papildu vides atslēgas nepaplašina septiņas maināmās virsmas. Rediģēts fails vien nepierāda, ka kandidāts sasniedza mērķi; to apstiprina audita pierādījumu diagnostika.
audita apakšprocess · fiksēts taimauts
measure.pyizpilde · lēmums: audit subprocessPetri auditsAudits tiek palaists ar fiksētu taimautu un budžetu, kas salīdzināšanas vidū nekad netiek mainīti. Trūkstoša izvade ir diagnostikas robs, nevis nulles vērtējums.
Petri auditsdati: audita dialogscore · politikas ielādētāji
Auditors sarunājas ar GEODE caur sēklas scenāriju, un tiesnesis vērtē transkriptu.
Verdikts → paturēt · atjaunot
Salīdzinot ar tā paša līguma bāzlīniju, KEEP izlemj kritiskās regresijas un paaugstināšanas noteikums; noraidīta izmaiņa tiek atjaunota uz reģistrēto iepriekšējo vērtību.
Petri auditsdati: dimensiju vērtējumikritiska regresija · sodi
fitness.pyVērtējumiem pievienotas trūkstošās dimensijas un paraugu skaits. Neizmērīta dimensija netiek uzskatīta par novērojumu.
baseline · provenance
ledger.pydati: baseline · provenancekritiska regresija · sodifitness.pySalīdzināšanā izmanto tikai bāzlīniju ar to pašu reģistrēto līgumu un epoch. Jauns Git zars neizolē bāzlīnijas stāvokli.
kritiska regresija · sodi
fitness.pydati: fitness · regresijas iemesli_should_promote · KEEPgate.pyVispirms tiek pārbaudītas kritisko dimensiju regresijas un papildu sodi, pēc tam starpības vai mērķa dimensijas tests. Pozitīvs skalārs vien nekad nenoved pie paaugstināšanas.
_should_promote · KEEP
gate.pydati: KEEP · nākamā bāzlīnijabaseline · provenanceledger.pyPaturēts kandidāts kļūst par nākamo bāzlīniju. Lokāli paturēts kandidāts nav repozitorija merge vai laidiens.
_reject_and_revert
gate.pyizpilde · lēmums: REJECT · atjaunot iepriekšējofailā glabāta politikastate/policiesRunner izveidotam kandidātam tiek atjaunota politikas sadaļa, kas reģistrēta zem tā mutation ID, un neizdevusies atjaunošana tiek atzīmēta. Manuālas izmaiņas automātiski netiek atjaunotas, un nedroša atjaunošana aptur nākamo kandidātu.
_should_promote · KEEP
gate.pyieraksts · novērošana: rezultāts · verdikta rindarezultātu · mutāciju rindasledger.pyMērījums, verdikts un izcelsme tiek vienreiz ierakstīti kā rezultātu rindas; vēsturiskās rindas nekad netiek pārrakstītas.
Kontroles · atkārtota mērīšana
2026. gada jūnija palaidiens: nemainīts never zars un K=5 bāzlīnija izmērīja audita troksni atsevišķi, un viena audita KEEP tika atkārtoti pārbaudīts ar atkārtojumiem.
run-2606-broken-tool-useizpilde · lēmums: trīs zarifiksēta budžeta cikls
train.py2026. gada 3.–4. jūnija palaidiens nošķīra dreifu no mutācijas efekta ar trim zariem: never (bez izmaiņām), random (nejauša pieņemšana) un gate (pieņemts pēc verdikta). Mērķis bija GPT-5.5; auditors un tiesnesis — Claude Opus 4.8.
gen-0 bāzlīnija · 5 auditu vidējais
run-2606-broken-tool-usedati: K=5 vidējā bāzlīnijabaseline · provenanceledger.pygen-0 bāzlīnija bija piecu auditu vidējais (Petri broken_tool_use, mazāks ir labāks, vidēji 2.667).
never zars · nemainīta kontrole
run-2606-broken-tool-useizpilde · lēmums: mērīšana bez izmaiņāmaudita apakšprocess · fiksēts taimautsmeasure.pynever zars bez jebkādas politikas izmaiņas aizdreifēja līdz vidēji 3.38 (10 auditi, mazāks ir labāks): tiešs pierādījums, ka audita troksnis pārsniedza mutācijas efektu.
--replicate K · atkārtota mērīšana
train.pyizpilde · lēmums: --replicate Kaudita apakšprocess · fiksēts taimautsmeasure.pyTo pašu kandidātu tādos pašos apstākļos izmēra vēl K reizes, lai atsijātu veiksmīgu vienreizēju auditu.
atkārtojums · viena KEEP atkārtota mērīšana
run-2606-broken-tool-useizpilde · lēmums: atkārtota mērīšana → atgriešana_reject_and_revertgate.pyKandidāts, kas paturēts pēc viena gate audita (1.6), atkārtojumos uzrādīja 3.0–3.8, sliktāk par bāzlīniju, tāpēc tika atjaunots čempions 2.667. Palaidiena secinājums: skaidra uzlabojuma nav.
Visi savienojumi ar vienādu svaru. Izvēlieties plūsmu, lai izceltu tikai tās ceļu ar numurētiem soļiem.
- Nepārtraukta · pieprasījumu, kandidātu un rezultātu plūsmas virziens
- Raustīta · izpilde, lēmums, pilnvarošana, konfigurēšana
- Gara svītra-punkts · ieraksti un novērošana, nošķirti no verdikta
- Bieza melna līnija · izvēlētā plūsma; skaitļi norāda secību
- Rāmis · koda vai ierakstu robeža, ceļš galvenē
- Iekšējā plāksnīte · komponents šajā robežā
- Raustīts rāmis · ārpus šīs robežas
- cikls · mērīšanas palaidiens
- līgums · verdikts
- politika · ieraksti
- izmaiņa · auditētais mērķis · palaidiena ieraksts
GEODE SIL draivera nosaukums ir autoresearch; tā prepare/train/program uzbūve un fiksētais budžets aizgūti no Karpathy autoresearch. Modeļa svari nemainās, un aparatūra un budžets salīdzināšanas laikā paliek fiksēti.
- Kas drīkst mainīties
- Septiņas virsmas: apvalka uzvedne, rīku politika, sadalīšanas ieteikumi, refleksija, prasmju kataloga metadati, aģenta līgums un rīku apraksti un mājieni. Novērtētājs, budžets, sēklas un rubrika salīdzināšanas laikā paliek fiksēti.
- Palaidiena ieraksta tvērums
- run-2606 vērtības ir šī palaidiena Petri broken_tool_use vidējie (mazāks ir labāks). Tās nav pierādījums SIL kumulatīvam uzlabojumam vai vispārināmībai.