GEODE
Autonomous Agent Harness
No novērojuma līdz nākamajai darbībai.
Lokāls autonoma aģenta ietvars, kam var uzticēt izpēti, darbu ar failiem un ieplānotus uzdevumus.
No izpildēm līdz pierādījumiem
Izturēšanas rādītājs vien nevar izskaidrot izpildi. Saglabāju notikumu secību, rīku izsaukumus un rezultātus, atkārtojumu izcelsmi un neatkarīga pārbaudītāja pierādījumus, pēc tam savienoju daļas, ko var publicēt. Šie eksperimenti rāda, kā attīstījās ierakstīšanas un novērtēšanas līgumi.
Pa eksperimentiem · datumu secībā
Seši eksperimenti ir sakārtoti datumu secībā; tie nav viens saistīts optimizācijas process. SIL automātiski nebaro Crucible vai Jev, un tas nav apgalvojums, ka produkta GEODE nepārtraukti uzlabojās. Datumi ir eksperimentu un publikācijas momentuzņēmumu datumi, un bultas tiek lietotas tikai posmiem viena eksperimenta iekšienē.
June 3, 2026 to June 4, 2026SIL · ārēja politikas meklēšana
Viena audita KEEP tika atkārtoti pārbaudīts ar atkārtotu mērīšanu
JautājumsVai politikas mutācija uzlaboja rīku lietošanu vairāk, nekā izskaidro audita troksnis?
Ārējs eksperiments · ārpus GEODE izpildvides
- Bāzlīnija · K=5
- Viena politikas mutācija
- Petri audits
- Atkārtota mērīšana
- Paturēt
- Atgriezt
- Kas mainījās
- Šajā eksperimentā mutācijas vienreizējam auditam pirms lēmuma paturēt vai atgriezt tika pievienota atkārtota mērīšana. Tika pievienotas pēc grūtības saskaņotas sēklas un K=5 bāzlīnija, un never, random un gate zari nošķir dreifu bez izmaiņām no pieņemtām izmaiņām.
- Ko tas pamato
- Atkārtoti izmērīts, pēc viena audita paturētais kandidāts bija sliktāks par bāzlīniju (mazāks ir labāks), tāpēc tā pieņemšana tika atsaukta. Eksperiments noslēdzās bez noturīga uzlabojuma. Tas ir Petri broken_tool_use uzvedības audits, nevis uzdevuma pabeigšanas atlīdzība.
July 11, 2026 to July 13, 2026Crucible · ārējs eksperimentu kodols
Palikšana meklēšanā un nonākšana produktā ir atsevišķi verdikti
JautājumsVai pierādījumi kandidāta paturēšanai meklēšanā ir tie paši, kas pierādījumi tā paaugstināšanai un laišanai produktā?
Ārējs Crucible kodols · atsevišķa mērīšanas darba kopija
- Kandidāts · vecāka izcelsme
- Iesaldētā līguma pārbaude
- Pāru mērīšana
- KEEPtikai uz atsevišķu aizzīmogotu verdiktu
- REJECT
- INVALIDnull, nevis 0%
- Kas mainījās
- Noraidīti un nederīgi kandidāti tiek saglabāti kopā ar vecāka izcelsmi, un train atlase, aizzīmogotā atbilstība un produkta laišanas pilnvaras ir atsevišķi ieraksti.
- Ko tas pamato
- r14 bija KEEP uz train (seši uzdevumu bloki, katrs ar vienu mēģinājumu, bez paaugstināšanas pilnvarām), taču tā atsevišķais aizzīmogotais verdikts bija REJECT (bez pilnvarām paaugstināt produktā vai laist klajā). r35 ir INVALID nepilnīga pārklājuma un infrastruktūras piesārņojuma dēļ; bez pāru rindām tā vidējais paliek null. Tā nav ne izpildvides pašmodifikācija, ne SIL → Crucible izvietošanas ķēde.
July 21, 2026 · July 31, 2026Precizēšana · publicēšana
Atlikušie ieraksti tika klasificēti, un tikai koplietojamais kļuva par nemainīgu laidienu
JautājumsKo patiešām var rekonstruēt un ko var droši koplietot?
- Privāts avotsSesijas ieraksts · sākotnējie pierādījumisākotnējais rezultāts · ar pārbaudītāju
- uz Normalizēti notikumisaglabāt secību · identitāti
- Normalizēti notikumiidentitāte · secība · izsaukuma–rezultāta pāri
- uz Publisks kandidātsatļauto saraksts · aizklāšana · jaucējvērtība
- Publisks kandidātstiek pārskatīts
- uz Integritātes · privātuma pārbaudespārbaude
- Integritātes · privātuma pārbaudespāri · izcelsme · tvērums
- uz Nemainīgs laidienstikai pārskatītie baiti
- Publisks repozitorijsNemainīgs laidiensmanifests · uz sākotnējiem rezultātiem atsaucas ar jaucējvērtību
- uz Attālā nolasīšanajaucējvērtības pārbaude
- Attālā nolasīšanafiksēts SHA-256
No sākotnējās izpildes tiek veidoti notikumi, kas saglabā secību un identifikatorus, un publiskā kandidāta sensitīvais saturs tiek noņemts vai aizstāts ar jaucējvērtībām. Pēc izsaukuma–rezultāta pāru, tvēruma un izcelsmes pārbaudes apstiprinātie faili un manifests tiek publicēti kā nemainīgs laidiens, un attālās jaucējvērtības tiek pārbaudītas vēlreiz. - Kas mainījās
- 2026. gada 21. jūlija inventarizācija klasificēja dialoga, rīku, meklēšanas un lēmumu ierakstus pēc avota, un viena avota dublikāti netika skaitīti kā neatkarīgi piemēri. No 2026. gada 31. jūlija geode.trajectory@1 un geode.trajectory-release@1 padara skaidri noteiktu identitāti, notikumu secību, izsaukuma–rezultāta pārus, tvērumu un atkārtotas atskaņošanas integritāti, kā arī ar saturu saistītus manifestus. Pārveidotām publiskām kopijām un oriģināliem ir atsevišķas jaucējvērtības.
- Ko tas pamato
- Precizēšana šeit nozīmē normalizāciju, korelāciju, skaidru aizklāšanu, izcelsmi un pieņemšanu publicēšanai. Tā nerekonstruē slēptu spriešanu un nepasludina apmācībai gatavu datu kopu. Pilns tvērums nav pilna baitu līmeņa atkārtota atskaņošana, ja privātie ķermeņi ir aizstāti ar jaucējvērtībām.
- Privāts avotsSesijas ieraksts · sākotnējie pierādījumisākotnējais rezultāts · ar pārbaudītāju
August 25, 2026Learning view
Viena izpilde un tās pierādījumi tika sasaistīti ar identifikatoriem
JautājumsKura ievade, mēģinājums, notikumu secība un atlīdzība pieder kopā?
geode.eval-learning-view@2 · savienots ar ID un verificētām jaucējvērtībām, nevis cēloņsecība
- example
- rollout
- trajectory
- reward
Atlīdzība pieder sākotnējām pārbaudītāja receipt. Infrastruktūras atkārtojumi ir mēģinājumi vienas izpildes ietvaros.
- Kas mainījās
- Nemainīgas trajektorijas tiek atkārtoti izmantotas ar tvērumā ierobežotiem savienojumiem, un atlīdzības paliek novērtētājam piederoši atvasināti marķējumi. Infrastruktūras atkārtojumi nepievieno izpildes. Novērota 0 tiek saglabāta, un trūkstoša atlīdzība ir null; nederīgi vai pārtraukti mēģinājumi tiek izslēgti no atlīdzības atlases. Derīgums ir izpildes īpašība, nevis automātiski null atlīdzība.
- Ko tas pamato
- Terminal-Bench fast-3 palaidiens ar Harbor 0.8.0 (trīs uzdevumi, 3/3) un Tau2 trīs domēnu diagnostika (1/3, divas derīgas nulles) ir sasaistīti vienā struktūrā. Tie ir pēcapmācības kandidāti, nevis apmācībā izmantotas datu kopas vai pierādījums uzlabotiem svariem, un trīs uzdevumu rezultāts nav visa komplekta precizitāte.
August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1
Viens izmēģinājums atsevišķi deva rezultātu un atkārtotas atskaņošanas ierakstu
JautājumsKā reāla uzdevuma izpilde kļūst par rezultātu un pārbaudāmu atkārtotu atskaņošanu?
- Iesaldēts uzdevums · specifikācijafiksēts iepriekš · pieci atkārtojumi
- uz Izolēts izmēģinājumsnorādījums · vide · ierobežojumi
- Harbor 0.22.0 izmēģinājums · reāla izpildeIzolēts izmēģinājumsGEODE kā aktors
- uz Darbības un galīgais stāvoklisizpilde
- Darbības un galīgais stāvoklisnovērotā uzvedība
- uz Uzdevumam piederošs pārbaudītājsuzdevuma stāvokļa pārbaude
- uz ATIF · publisko notikumu projekcijaierakstīto notikumu projekcija
- Uzdevumam piederošs pārbaudītājs
- uz Sākotnējā atlīdzība · receiptatlīdzība
- Sākotnējā atlīdzība · receipt
- uz Izvēlētā mēģinājuma analīzeiesaldēta atlase
- ATIF · publisko notikumu projekcijapēcapstrāde · nav jauns palaidiens
- Izvēlētā mēģinājuma analīzeiesaldēts atlases noteikums
Iesaldēts uzdevums un specifikācija dod izolētam izmēģinājumam norādījumu, vidi un ierobežojumus; uzdevumam piederošs pārbaudītājs pārbauda GEODE atstāto stāvokli un dod atlīdzību. Analīze izmanto tikai mēģinājumu, ko izvēlējies iesaldēts noteikums. Tajā pašā palaidienā ierakstītie notikumi atsevišķi tiek projicēti ATIF un publiskos notikumos — tā ir pēcapstrāde, nevis jauns palaidiens. - Kas mainījās
- Iesaldētā specifikācija, katrs mēģinājums, izvēlētais rezultāts, uzdevumam piederošais pārbaudītājs un precīza, taču ierobežota atkārtota atskaņošana tiek glabāti kā atsevišķi saistīti ieraksti. Harbor 0.22.0 veica piecus atkārtojumus ar GPT-5.6 Sol/max, salīdzinot GEODE (toreiz viena termināļa rīka adapteris) ar Codex.
- Ko tas pamato
- Uzdevumam pieder norādījumi, vide un testi; izmēģinājums ir viens mēģinājums; job grupē izmēģinājumus. Atlīdzību izlemj uzdevumam piederošs pārbaudītājs, un GEODE iekšējais pabeigšanas tiesnesis ir izpildes laika atgriezeniskā saite. Publiskā atkārtotā atskaņošana ir ierakstīto rīku notikumu retrospektīva projekcija, nevis neapstrādāts PTY vai jauns palaidiens, un trūkstošajām šūnām komandas netika izdomātas. Iepriekš reģistrēto primāro rādītāju nevarēja izmērīt.
- Iesaldēts uzdevums · specifikācijafiksēts iepriekš · pieci atkārtojumi
September 24, 2026 to September 28, 2026Jev · lēmumu nodošana
Arī pareizam kandidātam vajadzīga piegādes verifikācija
JautājumsVai deleģēts spriedums tiešām saglabā uzdevuma kvalitāti un galīgo piegādi?
- U8n · Noul palaidiens · Harbor 0.22 · Astra izpilda un labo, mainās tikai sprieduma maršrutēšanaLēmuma stāvoklisuzdevuma līgums · kandidāts · rīku novērojumi
- uz Spriedums · Noulsprieduma ievade
- Spriedums · NoulAstra vai Jev
- uz GEODE izmantonosacījumu varbūtības
- GEODE izmantosupported: piegādāt; trūkst pierādījumu: aizturēt
- uz Galīgā piegādesupported
- uz Astra labojumstrūkst pierādījumu · aizturēt
- Galīgā piegāde
- uz Neatkarīga iznākuma pārbaudepiegādātais rezultāts
- Astra labojumsnākamais kandidāts pēc atgriezeniskās saites
- uz Spriedums · Noulspriest vēlreiz
- uz Pēdējais kandidāts · saglabātspēdējais kandidāts saglabāts
- Neatkarīga iznākuma pārbaudenoteikumu orākuls · piegādātais rezultāts
- U3 fiksētie paneļitikai spriedums · bez aktora, rīkiem vai Harbor
- Retrospektīva diagnoze · pēc palaidienaPēdējais kandidāts · saglabāts
- uz Retrospektīva orākula diagnozeretrospektīva pārbaude
- Retrospektīva orākula diagnozekandidāta pareizība · bez ietekmes uz piegādi
Reālajā palaidienā lēmuma stāvoklis nonāk spriedumā; GEODE to izmanto, piegādā, ja tas ir supported, un trūkstošu pierādījumu gadījumā aiztur rezultātu, kamēr Astra labo un spriedums tiek izdarīts vēlreiz. Neatkarīgs noteikumu orākuls verificē piegādāto rezultātu. Atsevišķi, pēc palaidiena, saglabātais pēdējais kandidāts tika diagnosticēts ar retrospektīvu orākulu; šai diagnozei nav ietekmes uz piegādi. U3 fiksētie paneļi ir atsevišķs eksperiments, kas salīdzina tikai spriedumus, bez aktora, rīkiem vai Harbor. - Kas mainījās
- Sprieduma pieņemšana, kandidāta pareizība un galīgā piegāde tiek reģistrētas kā atsevišķi iznākumi, un sagatavošanas, kļūmju un labojumu izcelsme tiek saglabāta publiskajā kopijā. Sākotnējās un pārveidotās publiskās jaucējvērtības tiek turētas atsevišķi.
- Ko tas pamato
- Pārtrauktā U8n pētījuma 11 retrospektīvajos pāros pēdējais kandidāts bija pareizs abos zaros, taču piegāde bija Astra 11/11 un Jev Noul 0/11: Jev Noul trūkstošu pierādījumu spriedums aizturēja piegādi. Tā ir retrospektīva analīze, un tā netiek vispārināta. Publiska skaitlisko datu pārrēķināšana, atkārtotas atskaņošanas pārbaude un jauna reāllaika izpilde ir trīs dažādas darbības.
- U8n · Noul palaidiens · Harbor 0.22 · Astra izpilda un labo, mainās tikai sprieduma maršrutēšanaLēmuma stāvoklisuzdevuma līgums · kandidāts · rīku novērojumi