GEODE
Autonomous Agent Harness
No novērojuma līdz nākamajai darbībai.
Lokāls autonoma aģenta ietvars, kam var uzticēt izpēti, darbu ar failiem un ieplānotus uzdevumus.
Decision Offloading w. Jev
Kurus starplēmumus, ko aģents pieņem uzdevuma vidū, var nodot Jev — modelim tikai lēmumiem? Šis pētījums pārbauda, vai neatkarīgi verificēta uzdevuma kvalitāte saglabājas pēc šādas nodošanas, ieskaitot sagatavošanu, atkārtotus spriedumus, labošanu un galīgo piegādi. Agrīnos pilotus nevarēja izskaidrot tikai ar sprieduma izsaukuma nomaiņu, tāpēc ievades līgums, lēmumu līgums, varbūtību politika un izpildes aģenta sprieduma izmantojums tika nodalīti atsevišķos eksperimentos.
Izpildvide · galīgais verdikts
Ja izvēlēts Jev, galīgā verifikācija vienreiz izsauc Jev ar vienu Choice jautājumu, un iztur tikai pieņemts supported verdikts.
judgment_engine · llm | jev
core/config/judgment.pyizpilde · lēmums: ceļa izvēlegalīgais verdikts · viens Choice jautājumscore/agent/verify.pyJev ceļš tiek izmantots tikai tad, ja judgment_engine ir iestatīts uz jev (noklusējums llm). provider auto izvēlas TypeSafe, pēc tam OpenRouter — to, kuram ir atslēga; bez atslēgas paliek LLM tiesneša ceļš. Tas nav rezerves ceļš, kas neizdevušos pieprasījumu atkārtotu citur.
galīgais verdikts · viens Choice jautājums
core/agent/verify.pydati: pieprasījums · kandidāts · novērojumiSystemOne · viens izsaukums · bez rezerves ceļaadapters/typesafe.pySākotnējais pieprasījums un kandidāts tiek aizklāti un ierobežoti un kopā ar rīku novērojumiem nosūtīti kā viens Choice jautājums (supported, contradicted, insufficient_evidence). Sprieduma izsaukums nesaņem rīkus (allow_tools=False). Spriedums, kam vajadzīgi attēli, netiek sūtīts Jev un kļūst par verification_error.
SystemOne · viens izsaukums · bez rezerves ceļa
adapters/typesafe.pydati: viens SystemOne izsaukumsTypeSafe SystemOneViens izsaukums, tieši uz TypeSafe vai caur OpenRouter, bez pārejas uz citu nodrošinātāju. Jev nekad neizmanto kā saknes teksta ģenerēšanas modeli.
pieņemšana · summas pielaide 1e-5
adapters/typesafe.pydati: pieņemts Choiceiztur tikai supported · tikai tekstscore/agent/verify.pyAtbilde tiek izmantota tikai pēc tipa, diapazona un varbūtību summas (pielaide 1e-5) pieņemšanas pārbaudes. Iztur tikai supported; contradicted un insufficient_evidence kļūst par atkārtojuma signālu ar fiksētu nākamo pārbaudi. Atbilde, kas nav end_turn vai neiztur pieņemšanu, kļūst par verification_error, kas nav atkārtojuma signāls (should_retry=False). Vērtējums ir binārā projekcija, nevis kalibrēta varbūtība.
iztur tikai supported · tikai teksts
core/agent/verify.pydati: passed · reflectionPostVerify · Stop politikaloop/_lifecycle.pyVerdikts nonāk pabeigšanas nodaļas PostVerify un Stop politikā. Verdikts ir šīs politikas ievade, nevis pilnvara; ja tas gaida pārskatīšanu, kandidāts paliek tikai kā pending_text un galīgā atbilde ir tukša, tāpēc nekas netiek piegādāts.
PostVerify · Stop politika
loop/_lifecycle.pyieraksts · novērošana: verdiktu rindastimeline · ledger lēmumu rindasmemory · observabilityVerdiktu lēmumi tiek reģistrēti timeline un pierādījumu reģistrā: izpildvides ieraksti, nošķirti no pētījuma artefaktiem.
Izpildvide · refleksija
Tā pati izvēle vada refleksijas pierādījumu klasificēšanu; nākamās pārbaudes teikumu nosaka kods.
judgment_engine · llm | jev
core/config/judgment.pyizpilde · lēmums: tā pati izvēlerefleksija · pierādījumu klasificēšanaloop/_reflection.pyTā pati izvēle attiecas uz refleksiju.
refleksija · pierādījumu klasificēšana
loop/_reflection.pydati: pierādījumu klasificēšanaSystemOne · viens izsaukums · bez rezerves ceļaadapters/typesafe.pyRefleksija izmanto Jev ierobežotu pierādījumu klasificēšanai un pievieno koda noteiktu nākamo pārbaudi. Tā nemaina pārliecības hipotēzes vai pašpārliecību.
SystemOne · viens izsaukums · bez rezerves ceļa
adapters/typesafe.pydati: viens SystemOne izsaukumsTypeSafe SystemOneViens izsaukums, tieši uz TypeSafe vai caur OpenRouter, bez pārejas uz citu nodrošinātāju. Jev nekad neizmanto kā saknes teksta ģenerēšanas modeli.
pieņemšana · summas pielaide 1e-5
adapters/typesafe.pydati: klasifikācijarefleksija · pierādījumu klasificēšanaloop/_reflection.pyTikai pieņemta klasifikācija atjaunina refleksijas stāvokli; kļūmes gadījumā nākamā kārta mēģina vēlreiz no tā paša iepriekšējā stāvokļa.
Pētījums · fiksēts panelis U3
Bez aktora Jev un Astra spriedumi par to pašu stāvokli un jautājumu tika salīdzināti pa pāriem.
Astra · Jev · tas pats jautājums
U3 · fiksēta stāvokļa panelisdati: Jev spriedumsTypeSafe SystemOneU3 (sākotnējā eksperimenta komits 2f2b494): 120 fiksēti stāvokļi · 27 avotu klasteri · 240 izsaukumi. Katrs stāvoklis un jautājums tika nosūtīts Jev un Astra kā viens pāris; bez aktora, rīkiem vai Harbor.
Astra · Jev · tas pats jautājums
U3 · fiksēta stāvokļa panelisdati: Astra spriedumsAstra tiesnesis · aktora modelisPareizi tajā pašā izlasē: Astra 90/120, Jev 84/120; mediāna uz izsaukumu 10.446 s pret 0.253 s. Tā ir tikai sprieduma izsaukuma latentums, nevis uzdevuma laiks vai izmaksu ietaupījums.
U3 · fiksēta stāvokļa panelisdati: paneļa rezultāti · ziņojumsJev pētījuma ziņojums
U3 precizitātes un latentuma rezultāti ir publiskajā tehniskajā ziņojumā. Šeit netiek apgalvots, vai šis panelis ir daļa no E2E publiskās paketes.
Pētījums · E/I palaidieni
Ar Astra kā aktoru mainījās tikai sprieduma ceļš, un neatkarīgs noteikumu orākuls atsevišķi pārbaudīja rezultātus un piegādi.
Astra aktors · rīki · labošana
E/I · Harbor 0.22dati: ģenerēšana · rīki · labošanaAstra tiesnesis · aktora modelisE/I palaidienos uz Harbor 0.22 aktors Astra veic ģenerēšanu, rīku izsaukumus un labošanu; mainās tikai sprieduma ceļš.
tiesneša ceļš · Astra · Jev · Jev-first
E/I · Harbor 0.22dati: pabeigšanas sprieduma ceļšTypeSafe SystemOneE7 (sākotnējā eksperimenta komits 1f65534): 12 sastādīti sintētiski uzdevumi × 3 konfigurācijas × 2 palaidieni = 72 palaidieni, 24/24 katrai konfigurācijai. Jev-first konfigurācijā faktisko rezerves ceļu bija 0/24, tāpēc tās efekts netika izmērīts.
E/I · Harbor 0.22ieraksts · novērošana: neatkarīga pārbaudepareizība · piegāde atsevišķi
rule oracleNeatkarīgs noteikumu orākuls pārbauda galīgo rezultātu, un faktiskā galīgā piegāde tiek skaitīta atsevišķi. Pārtrauktā U8n 11 retrospektīvajos pāros katrs kandidāts izturēja orākulu, taču piegāde bija Astra 11/11 un Jev Noul 0/11.
E/I · Harbor 0.22dati: kļūme · labojumu izcelsmeE2E-DATA · avots · publiskās jaucējvērtības
jev-v3-20260927E2E publiskā pakete saglabā sagatavošanas, kļūmju un labojumu izcelsmi, un avota un publiskās kopijas jaucējvērtības tiek turētas atsevišķi. Rediģēta publiskā kopija neaizstāj nemainīta avota validāciju.
REPRODUCE · model-free
jev-v3-20260927dati: pārrēķins bez modeļaJev pētījuma ziņojumsSkaitļu pārrēķināšana no saglabātām atbildēm un jauns palaidiens ir dažādas darbības. Ziņojums ir publisks tehniskais ziņojums, nevis recenzēts raksts.
Visi savienojumi ar vienādu svaru. Izvēlieties plūsmu, lai izceltu tikai tās ceļu ar numurētiem soļiem.
- Nepārtraukta · pieprasījumu, kandidātu un rezultātu plūsmas virziens
- Raustīta · izpilde, lēmums, pilnvarošana, konfigurēšana
- Gara svītra-punkts · ieraksti un novērošana, nošķirti no verdikta
- Bieza melna līnija · izvēlētā plūsma; skaitļi norāda secību
- Rāmis · koda vai ierakstu robeža, ceļš galvenē
- Iekšējā plāksnīte · komponents šajā robežā
- Raustīts rāmis · ārpus šīs robežas
- cikls · izpildes ietvars
- ceļa izvēle · verdikts · orākuls
- ieraksti · publiskā pakete
- transports · sprieduma panelis
Augšējā un apakšējā daļa ir dažādas sistēmas. Ne visas pētījuma konfigurācijas un rezultāti ir ieslēgti pašreizējā izpildvides ceļā; vienīgā kopīgā saikne ir tā, ka abas izsauc to pašu Jev modeli (jev-1.13.0).
- Izpildvides pieņemšana
- Izpildvide tur varbūtību summas pielaidi stingru — 1e-5. Novērtēšanas izsaucēji nodod savu reģistrēto pielaidi, nevis atslābina izpildvides parsētāju.
- Pētījuma tvērums
- U3 mēra tikai sprieduma izsaukumus; E/I ietver aktoru un labošanu. To saucēji nekad netiek jaukti, un U8n 11 pāri ir pārtraukta pētījuma retrospektīva analīze.
Trīs lēmumu līgumi
Choice
- Atgriež
- Varbūtība katrai kategorijai vai iespējai
- Izlemj
- Pabeigšana; pieprasījuma nolūks un mērķis
Noul
- Atgriež
- P(true) katram nosacījumam
- Izlemj
- Pretruna; trūkstoši pierādījumi
Score
- Atgriež
- Paredzamā vērtība un sadalījums fiksētā kārtas skalā
- Izlemj
- Ģenerēto kandidātu ranžējums
Paredzamā vērtība novieto kandidātu uz skalas; to neizmanto kā pārliecību.
Novērtēšana un savienošana
Katrs līgums tika novērtēts uz sava fiksētā ievades paneļa, un daži tika pieslēgti eksperimentu ietvara izpildes ceļam, lai redzētu, kā izpildes aģents izmanto spriedumu. Iepriekšējā kartē pētījuma daļa rāda šos palaidienus; izpildvides daļa ir pašreizējā GEODE izvēles ceļš.
Novērojumi, kas mainīja dizainu
- I5 → I6 · ievades līgums
- Kopējas piegādes kļūmes izsekošana parādīja, ka sprieduma ievadē trūka uzdevuma līguma un tā paša pieprasījuma rīku novērojumi bija aprakstīti kā pagātnes konteksts
- I6 atsevišķā palaidienā ar labotu kodu un jaunu kontu piegādāja 6/6
- U3 · tie paši 120 stāvokļu pāri
- Mediāna uz izsaukumu Astra 10.446 s · Jev 0.253 s; pareizi tajā pašā izlasē 90/120 · 84/120
- Katram lēmumam ātrums un precizitāte tiek izsvērti kopā, lai noteiktu deleģēšanas tvērumu
- U2 · varbūtības
- Jev varbūtības bija labāk kalibrētas pēc lieluma, bet Astra uzticamāk izvirzīja priekšā savus kļūdainos spriedumus
- Kalibrācija un kļūdu atlase tiek mērītas atsevišķi, un slieksnis tiek iesaldēts uz atlases sadalījuma
- U6a · nolūks un mērķis
- 40 dizainera sastādītās saimēs Jev 216/220 · Astra 220/220, izpildot iepriekš reģistrēto −5 pp rezervi
- Fiksēta nolūka un mērķa klasifikācija sašaurināta kā nākamais pielietojuma kandidāts
- U8n · piegāde
- Retrospektīvi 11 pāri no pārtraukta palaidiena: labotie kandidāti izturēja orākulu abos zaros; piegāde Astra 11/11 · Jev Noul 0/11
- Trūkstošu pierādījumu spriedumi bloķēja pareizu piegādi; pašreizējai Noul konfigurācijai nav pamata būt vienīgajam piegādes tiesnesim