GEODE
Autonomous Agent Harness
De la observație la următoarea acțiune.
Un cadru local pentru agenți autonomi, căruia i se pot încredința cercetare, lucru cu fișiere și sarcini programate.
De la rulări la dovezi
O rată de reușită nu poate explica singură o execuție. Păstrez ordinea evenimentelor, apelurile de instrumente și rezultatele lor, descendența reîncercărilor și dovezile verificatorilor independenți, apoi leg părțile care pot fi publicate. Aceste experimente arată cum s-au dezvoltat contractele de înregistrare și de evaluare.
Pe experimente · în ordinea datelor
Cele șase experimente sunt așezate în ordinea datelor; nu formează un singur proces de optimizare continuu. SIL nu alimentează automat Crucible sau Jev, iar aceasta nu este o afirmație că GEODE din producție s-a îmbunătățit continuu. Datele sunt cele ale experimentelor și ale instantaneelor de publicare, iar săgețile sunt folosite doar pentru etapele dintr-un singur experiment.
June 3, 2026 to June 4, 2026SIL · căutare externă de politici
Un KEEP obținut dintr-un singur audit a fost reverificat prin măsurători repetate
ÎntrebareA îmbunătățit o mutație de politică comportamentul de utilizare a instrumentelor peste zgomotul auditului?
Experiment extern · în afara mediului de execuție GEODE
- Referință · K=5
- O singură mutație de politică
- Audit Petri
- Măsurători repetate
- Păstrare
- Revenire
- Ce s-a schimbat
- În acest experiment, singurului audit al unei mutații i s-au adăugat măsurători repetate înainte de decizia de păstrare sau revenire. Au fost adăugate seed-uri potrivite ca dificultate și o referință K=5, iar brațele never, random și gate separă deriva fără nicio schimbare de schimbările acceptate.
- Ce susține
- Remăsurat, candidatul păstrat pe baza unui singur audit a fost mai slab decât referința (mai mic este mai bine), așa că adoptarea lui a fost anulată. Experimentul s-a încheiat fără o îmbunătățire solidă. Este un audit comportamental Petri broken_tool_use, nu o recompensă pentru finalizarea sarcinilor.
July 11, 2026 to July 13, 2026Crucible · nucleu experimental extern
Rămânerea în căutare și ajungerea în produs sunt verdicte separate
ÎntrebareSunt dovezile pentru păstrarea unui candidat în căutare aceleași cu dovezile pentru promovarea și lansarea lui în produs?
Nucleul extern Crucible · checkout de măsurare separat
- Candidat · descendența părintelui
- Verificarea contractului înghețat
- Măsurare pereche
- KEEPdoar până la un verdict sigilat separat
- REJECT
- INVALIDnull, nu 0%
- Ce s-a schimbat
- Candidații respinși și cei invalizi sunt păstrați împreună cu descendența părintelui, iar selecția pe train, eligibilitatea sigilată și dreptul de lansare în produs sunt înregistrări separate.
- Ce susține
- r14 a fost KEEP pe train (șase unități de sarcini, câte o încercare, fără drept de promovare), dar verdictul său sigilat separat a fost REJECT (fără drept de promovare în produs sau de lansare). r35 este INVALID din cauza acoperirii incomplete și a contaminării infrastructurii; fără rânduri pereche, media lui rămâne null. Nu este nici o automodificare a mediului de execuție, nici un lanț de implementare SIL → Crucible.
July 21, 2026 · July 31, 2026Rafinare · publicare
Înregistrările rămase au fost clasificate, iar doar ce poate fi partajat a devenit o versiune imuabilă
ÎntrebareCe poate fi reconstruit cu adevărat și ce poate fi partajat în siguranță?
- Sursă privatăÎnregistrarea sesiunii · dovezi nativerezultat nativ · cu verificator inclus
- către Evenimente normalizatepăstrarea ordinii · identității
- Evenimente normalizateidentitate · ordine · perechi apel–rezultat
- către Candidat publiclistă permisă · mascare · digest
- Candidat publicîn revizuire
- către Verificări de integritate · confidențialitateverificare
- Verificări de integritate · confidențialitateîmperechere · descendență · domeniu
- către Versiune imuabilădoar octeți revizuiți
- Depozit publicVersiune imuabilămanifest · rezultate native referite prin digest
- către Recitire de la distanțăverificarea hash-ului
- Recitire de la distanțăSHA-256 fixat
Din execuția originală se construiesc evenimente care păstrează ordinea și identificatorii, iar conținutul sensibil din candidatul public este eliminat sau înlocuit cu hash-uri. După verificarea perechilor apel–rezultat, a domeniului și a descendenței, fișierele aprobate și manifestul sunt publicate ca versiune imuabilă, iar hash-urile de la distanță sunt verificate din nou. - Ce s-a schimbat
- Inventarul din 21 iulie 2026 a clasificat după sursă înregistrările de dialog, instrumente, căutare și decizie, iar duplicatele aceleiași surse nu au fost numărate ca exemple independente. Din 31 iulie 2026, geode.trajectory@1 și geode.trajectory-release@1 fac explicite identitatea, ordinea evenimentelor, perechile apel–rezultat, integritatea domeniului și a reluării și manifestele legate de conținut. Copiile publice transformate și originalele păstrează digest-uri separate.
- Ce susține
- Rafinarea înseamnă aici normalizare, corelare, mascare explicită, descendență și admitere la publicare. Nu reconstruiește raționamente ascunse și nu declară un set de date gata de antrenare. Un domeniu complet nu înseamnă o reluare completă la nivel de octet atunci când corpurile private sunt înlocuite cu digest-uri.
- Sursă privatăÎnregistrarea sesiunii · dovezi nativerezultat nativ · cu verificator inclus
August 25, 2026Learning view
O rulare și dovezile ei au fost legate prin identificatori
ÎntrebareCe intrare, încercare, secvență de evenimente și recompensă merg împreună?
geode.eval-learning-view@2 · legate prin ID-uri și digest-uri verificate, nu o ordine cauzală
- example
- rollout
- trajectory
- reward
Confirmările verificatorului nativ dețin recompensa. Reîncercările de infrastructură sunt încercări în cadrul unei singure rulări.
- Ce s-a schimbat
- Traiectoriile imuabile sunt reutilizate prin join-uri cu domeniu definit, iar recompensele rămân etichete derivate deținute de evaluator. Reîncercările de infrastructură nu adaugă rulări. Un 0 observat este păstrat, iar o recompensă lipsă este null; încercările invalide sau întrerupte sunt excluse din selecția recompensei. Validitatea este o proprietate a rulării, nu înseamnă automat o recompensă null.
- Ce susține
- Rularea Terminal-Bench fast-3 cu Harbor 0.8.0 (trei sarcini, 3/3) și un diagnostic Tau2 pe trei domenii (1/3, două zerouri valide) sunt legate în aceeași structură. Sunt candidați pentru post-antrenare, nu seturi de date folosite la antrenare sau dovezi ale unor ponderi îmbunătățite, iar un rezultat pe trei sarcini nu este acuratețea întregii suite.
August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1
O singură încercare a produs separat rezultatul și înregistrarea pentru reluare
ÎntrebareCum devine execuția reală a unei sarcini un rezultat și o reluare inspectabilă?
- Sarcină înghețată · specificațiefixată dinainte · cinci repetări
- către Încercare izolatăinstrucțiune · mediu · limite
- Încercare Harbor 0.22.0 · execuție realăÎncercare izolatăGEODE ca actor
- către Acțiuni și stare finalăexecutare
- Acțiuni și stare finalăcomportament observat
- către Verificator deținut de sarcinăverificarea stării sarcinii
- către ATIF · proiecție de evenimente publiceproiectarea evenimentelor înregistrate
- Verificator deținut de sarcină
- către Recompensă nativă · receiptrecompensă
- Recompensă nativă · receipt
- către Analiza încercării selectateselecție înghețată
- ATIF · proiecție de evenimente publicepost-procesare · nu o rulare nouă
- Analiza încercării selectateregulă de selecție înghețată
O sarcină și o specificație înghețate dau unei încercări izolate instrucțiunea, mediul și limitele; verificatorul deținut de sarcină verifică starea lăsată de GEODE și produce recompensa. Analiza folosește doar încercarea selectată printr-o regulă înghețată. Evenimentele înregistrate în aceeași rulare sunt proiectate separat în ATIF și în evenimente publice, ceea ce este post-procesare, nu o rulare nouă. - Ce s-a schimbat
- Specificația înghețată, fiecare încercare, rezultatul selectat, verificatorul deținut de sarcină și o reluare fidelă, dar limitată, sunt păstrate ca înregistrări separate, legate între ele. Harbor 0.22.0 a rulat cinci repetări cu GPT-5.6 Sol/max, comparând GEODE (pe atunci un adaptor cu un singur instrument de terminal) cu Codex.
- Ce susține
- O sarcină deține instrucțiunile, mediul și testele; o încercare (trial) este o tentativă; un job grupează încercările. Verificatorul deținut de sarcină decide recompensa, iar judecătorul intern de finalizare al GEODE este feedback în timpul rulării. Reluarea publică este o proiecție post-hoc a evenimentelor de instrumente înregistrate, nu un PTY brut sau o rulare nouă, iar pentru celulele lipsă nu au fost inventate comenzi. Metrica principală preînregistrată nu a putut fi măsurată.
- Sarcină înghețată · specificațiefixată dinainte · cinci repetări
September 24, 2026 to September 28, 2026Jev · delegarea deciziilor
Un candidat corect are totuși nevoie de verificarea livrării
ÎntrebarePăstrează o judecată delegată, în realitate, calitatea sarcinii și livrarea finală?
- U8n · rulare Noul · Harbor 0.22 · Astra execută și repară, se schimbă doar ruta judecățiiStarea de deciziecontractul sarcinii · candidat · observațiile instrumentelor
- către Judecată · Noulintrarea judecății
- Judecată · NoulAstra sau Jev
- către GEODE consumăprobabilitățile condițiilor
- GEODE consumăsusținut: livrare; dovezi lipsă: reținere
- către Livrarea finalăsusținut
- către Repararea Astradovezi lipsă · reținere
- Livrarea finală
- către Verificare independentă a rezultatuluirezultat livrat
- Repararea Astraurmătorul candidat după feedback
- către Judecată · Nouljudecată din nou
- către Ultimul candidat · păstratultimul candidat păstrat
- Verificare independentă a rezultatuluioracol de reguli · rezultatul livrat
- Panelurile fixe U3doar judecăți · fără actor, instrumente sau Harbor
- Diagnostic post-hoc · după rulareUltimul candidat · păstrat
- către Diagnostic post-hoc cu oracolverificare post-hoc
- Diagnostic post-hoc cu oracolcorectitudinea candidatului · fără efect asupra livrării
În rularea reală, starea de decizie merge la o judecată; GEODE o consumă, livrează când este susținută, iar la dovezi lipsă reține rezultatul, în timp ce Astra repară și judecata rulează din nou. Un oracol de reguli independent verifică rezultatul livrat. Separat, după rulare, ultimul candidat păstrat a fost diagnosticat cu un oracol post-hoc; acel diagnostic nu are niciun efect asupra livrării. Panelurile fixe U3 sunt un experiment separat, care compară doar judecăți, fără actor, instrumente sau Harbor. - Ce s-a schimbat
- Acceptarea judecății, corectitudinea candidatului și livrarea finală sunt înregistrate ca rezultate separate, iar descendențele de pregătire, eșec și reparare sunt păstrate în copia publică. Hash-urile publice ale originalului și ale variantei transformate rămân separate.
- Ce susține
- În cele 11 perechi post-hoc din studiul întrerupt U8n, ultimul candidat a fost corect în ambele brațe, dar livrarea a fost Astra 11/11 și Jev Noul 0/11: judecata de tip dovezi lipsă a Jev Noul a reținut livrarea. Este o analiză post-hoc și nu este generalizată. Recalcularea numerică publică, inspectarea reluării și o nouă execuție reală sunt trei operații diferite.
- U8n · rulare Noul · Harbor 0.22 · Astra execută și repară, se schimbă doar ruta judecățiiStarea de deciziecontractul sarcinii · candidat · observațiile instrumentelor