GEODE
Autonomous Agent Harness
Havainnosta seuraavaan toimeen.
Paikallinen autonomisen agentin kehys, jolle voi antaa tutkimusta, tiedostotöitä ja ajastettuja tehtäviä.
Decision Offloading w. Jev
Mitkä agentin kesken tehtävän tekemistä välipäätöksistä voi antaa Jeville, pelkkiin päätöksiin tarkoitetulle mallille? Tutkimus tarkistaa, säilyykö riippumattomasti todennettu tehtävän laatu, kun niin tehdään, ottaen huomioon valmistelun, toistuvat arviot, korjauksen ja lopullisen toimituksen. Varhaisia pilotteja ei voitu selittää pelkällä arviokutsun vaihtamisella, joten syötesopimus, päätössopimus, todennäköisyyskäytäntö ja suorittavan agentin tapa käyttää arviota eroteltiin omiksi kokeikseen.
Ajoympäristö · lopullinen tuomio
Kun Jev on valittu, lopullinen todentaminen kutsuu Jeviä kerran yhdellä Choice-kysymyksellä, ja vain kelpuutettu supported-tuomio läpäisee.
judgment_engine · llm | jev
core/config/judgment.pysuoritus · päätös: polun valintalopullinen tuomio · yksi Choice-kysymyscore/agent/verify.pyJev-polkua käytetään vain, kun judgment_engine on asetettu arvoon jev (oletus llm). provider auto valitsee TypeSafen ja sitten OpenRouterin sen mukaan, kummalla on avain; ilman avainta LLM-tuomarin polku säilyy. Tämä ei ole varapolku, joka yrittäisi epäonnistunutta pyyntöä uudelleen muualla.
lopullinen tuomio · yksi Choice-kysymys
core/agent/verify.pydata: pyyntö · ehdokas · havainnotSystemOne · yksi kutsu · ei varapolkuaadapters/typesafe.pyAlkuperäinen pyyntö ja ehdokas peitetään ja rajataan ja lähetetään työkaluhavaintojen kanssa yhtenä Choice-kysymyksenä (supported, contradicted, insufficient_evidence). Arviokutsu ei saa työkaluja (allow_tools=False). Kuvia vaativaa arviota ei lähetetä Jeville, vaan siitä tulee verification_error.
SystemOne · yksi kutsu · ei varapolkua
adapters/typesafe.pydata: yksi SystemOne-kutsuTypeSafe SystemOneYksi kutsu suoraan TypeSafeen tai OpenRouterin kautta, ilman siirtymää toiselle toimittajalle. Jeviä ei koskaan käytetä juuritason tekstiä generoivana mallina.
kelpuutus · summatoleranssi 1e-5
adapters/typesafe.pydata: kelpuutettu Choicevain supported läpäisee · vain teksticore/agent/verify.pyVastausta käytetään vasta tyyppi-, vaihteluväli- ja todennäköisyyssummakelpuutuksen (toleranssi 1e-5) jälkeen. Vain supported läpäisee; contradicted ja insufficient_evidence muuttuvat uusintasignaaliksi kiinteän seuraavan tarkistuksen kanssa. Vastaus, joka ei ole end_turn tai ei läpäise kelpuutusta, muuttuu tilaksi verification_error, joka ei ole uusintasignaali (should_retry=False). Pistemäärä on binäärinen projektio, ei kalibroitu todennäköisyys.
vain supported läpäisee · vain teksti
core/agent/verify.pydata: passed · reflectionPostVerify · Stop-käytäntöloop/_lifecycle.pyTuomio menee valmistumisluvun PostVerify- ja Stop-käytäntöön. Tuomio on tämän käytännön syöte, ei valtuutus; kun se odottaa katselmointia, ehdokas jää vain kenttään pending_text ja lopullinen vastaus on tyhjä, joten mitään ei toimiteta.
PostVerify · Stop-käytäntö
loop/_lifecycle.pykirjaus · havainnointi: tuomiorivittimeline · ledger -päätösrivitmemory · observabilityTuomiopäätökset kirjataan timeline-lokiin ja näyttökirjanpitoon: ajoympäristön kirjauksia, erillään tutkimusartefakteista.
Ajoympäristö · reflektio
Sama valinta ohjaa reflektion näytön luokittelua; seuraavan tarkistuksen lauseen määrää koodi.
judgment_engine · llm | jev
core/config/judgment.pysuoritus · päätös: sama valintareflektio · näytön luokitteluloop/_reflection.pySama valinta koskee reflektiota.
reflektio · näytön luokittelu
loop/_reflection.pydata: näytön luokitteluSystemOne · yksi kutsu · ei varapolkuaadapters/typesafe.pyReflektio käyttää Jeviä rajatun näytön luokitteluun ja lisää koodin määrittämän seuraavan tarkistuksen. Se ei muuta uskomushypoteeseja eikä itsevarmuutta.
SystemOne · yksi kutsu · ei varapolkua
adapters/typesafe.pydata: yksi SystemOne-kutsuTypeSafe SystemOneYksi kutsu suoraan TypeSafeen tai OpenRouterin kautta, ilman siirtymää toiselle toimittajalle. Jeviä ei koskaan käytetä juuritason tekstiä generoivana mallina.
kelpuutus · summatoleranssi 1e-5
adapters/typesafe.pydata: luokittelureflektio · näytön luokitteluloop/_reflection.pyVain kelpuutettu luokittelu päivittää reflektion tilan; epäonnistuessa seuraava kierros yrittää uudelleen samasta aiemmasta tilasta.
Tutkimus · kiinteä paneeli U3
Ilman toimijaa Jevin ja Astran arvioita samasta tilasta ja kysymyksestä verrattiin pareittain.
Astra · Jev · sama kysymys
U3 · kiinteän tilan paneelidata: Jevin arvioTypeSafe SystemOneU3 (alkuperäisen kokeen commit 2f2b494): 120 kiinteää tilaa · 27 lähdeklusteria · 240 kutsua. Kukin tila ja kysymys lähetettiin Jeville ja Astralle yhtenä parina; ei toimijaa, työkaluja eikä Harboria.
Astra · Jev · sama kysymys
U3 · kiinteän tilan paneelidata: Astran arvioAstra-tuomari · toimijamalliOikein samalla otoksella: Astra 90/120, Jev 84/120; mediaani kutsua kohden 10.446 s vs 0.253 s. Kyse on vain arviokutsun viiveestä, ei tehtäväajasta tai kustannussäästöistä.
U3 · kiinteän tilan paneelidata: paneelin tulokset · raporttiJev-tutkimusraportti
U3:n tarkkuus- ja viivetulokset ovat julkisessa teknisessä raportissa. Tässä ei väitetä, onko paneeli osa julkista E2E-pakettia.
Tutkimus · E/I-ajot
Astran toimiessa toimijana vain arviopolku muuttui, ja riippumaton sääntöoraakkeli tarkisti tulokset ja toimituksen erikseen.
Astra-toimija · työkalut · korjaus
E/I · Harbor 0.22data: generointi · työkalut · korjausAstra-tuomari · toimijamalliHarbor 0.22:n E/I-ajoissa toimija Astra hoitaa generoinnin, työkalukutsut ja korjauksen; vain arviopolku muuttuu.
tuomarin polku · Astra · Jev · Jev-first
E/I · Harbor 0.22data: valmistumisarvion polkuTypeSafe SystemOneE7 (alkuperäisen kokeen commit 1f65534): 12 laadittua synteettistä tehtävää × 3 kokoonpanoa × 2 ajoa = 72 ajoa, 24/24 kokoonpanoa kohden. Jev-first-kokoonpanossa todellisia varapolkuja oli 0/24, joten sen vaikutusta ei mitattu.
E/I · Harbor 0.22kirjaus · havainnointi: riippumaton tarkistusoikeellisuus · toimitus erikseen
rule oracleRiippumaton sääntöoraakkeli tarkistaa lopullisen tuloksen, ja todellinen lopullinen toimitus lasketaan erikseen. Keskeytetyn U8n:n 11 jälkikäteisessä parissa jokainen ehdokas läpäisi oraakkelin, mutta toimitus oli Astra 11/11 ja Jev Noul 0/11.
E/I · Harbor 0.22data: epäonnistuminen · korjauksen sukulinjaE2E-DATA · lähde · julkiset tiivisteet
jev-v3-20260927Julkinen E2E-paketti säilyttää valmistelun, epäonnistumisten ja korjausten sukulinjat, ja lähteen ja julkisen kopion tiivisteet pidetään erillään. Peitetty julkinen kopio ei korvaa muuttamattoman lähteen validointia.
REPRODUCE · model-free
jev-v3-20260927data: mallitton uudelleenlaskentaJev-tutkimusraporttiLukujen uudelleenlaskenta tallennetuista vastauksista ja uusi ajo ovat eri toimintoja. Raportti on julkinen tekninen raportti, ei vertaisarvioitu artikkeli.
Kaikki yhteydet samalla painolla. Valitse virta, niin vain sen polku korostuu numeroiduin vaihein.
- Yhtenäinen · pyyntöjen, ehdokkaiden ja tulosten kulkusuunta
- Katkoviiva · suoritus, päätös, valtuutus, määritys
- Pitkä pistekatkoviiva · kirjaukset ja havainnointi, erillään tuomiosta
- Paksu musta viiva · valittu virta; numerot kertovat järjestyksen
- Laatikko · koodin tai kirjausten raja, polku otsakkeessa
- Sisälaatta · komponentti rajan sisällä
- Katkoviivalaatikko · rajan ulkopuolella
- silmukka · suorituskehys
- polun valinta · tuomio · oraakkeli
- kirjaukset · julkinen paketti
- siirto · arviopaneeli
Ylä- ja alaosa ovat eri järjestelmiä. Kaikkia tutkimuksen kokoonpanoja ja tuloksia ei ole kytketty päälle nykyisessä ajoympäristön polussa; ainoa yhteinen linkki on, että kumpikin kutsuu samaa Jev-mallia (jev-1.13.0).
- Ajoympäristön kelpuutus
- Ajoympäristö pitää todennäköisyyssumman toleranssin tiukkana, 1e-5. Arvioinnin kutsujat välittävät oman kirjatun toleranssinsa sen sijaan, että löysentäisivät ajoympäristön jäsennintä.
- Tutkimuksen laajuus
- U3 mittaa vain arviokutsuja; E/I sisältää toimijan ja korjauksen. Niiden nimittäjiä ei koskaan sekoiteta, ja U8n:n 11 paria ovat keskeytetyn tutkimuksen jälkikäteisanalyysi.
Kolme päätössopimusta
Choice
- Palauttaa
- Todennäköisyys luokkaa tai vaihtoehtoa kohden
- Päättää
- Valmistuminen; pyynnön tarkoitus ja kohde
Noul
- Palauttaa
- P(true) kullekin ehdolle
- Päättää
- Ristiriita; puuttuva näyttö
Score
- Palauttaa
- Odotusarvo ja jakauma kiinteällä järjestysasteikolla
- Päättää
- Generoitujen ehdokkaiden järjestys
Odotusarvo sijoittaa ehdokkaan asteikolle; sitä ei käytetä varmuutena.
Arviointi ja kytkentä
Kukin sopimus arvioitiin omalla kiinteällä syötepaneelillaan, ja osa kytkettiin koekehyksen suorituspolkuun, jotta nähtiin, miten suorittava agentti käyttää arviota. Yllä olevassa kartassa tutkimusosa näyttää nämä ajot; ajoympäristön osa on nykyisen GEODEn valinnainen polku.
Havainnot, jotka muuttivat suunnittelua
- I5 → I6 · syötesopimus
- Yhteisen toimituksen epäonnistumisen jäljitys osoitti, että arvion syötteestä puuttui tehtäväsopimus ja että saman pyynnön työkaluhavainnot kuvattiin menneenä kontekstina
- I6 toimitti 6/6 erillisessä ajossa korjatulla koodilla ja uudella tilillä
- U3 · samat 120 tilaparia
- Mediaani kutsua kohden Astra 10.446 s · Jev 0.253 s; oikein samalla otoksella 90/120 · 84/120
- Nopeus ja tarkkuus punnitaan yhdessä kunkin päätöksen kohdalla delegoinnin laajuuden määrittämiseksi
- U2 · todennäköisyydet
- Jevin todennäköisyydet olivat suuruudeltaan paremmin kalibroituja, mutta Astra asetti väärät arvionsa luotettavammin kärkeen
- Kalibrointi ja virheiden valikointi mitataan erikseen, ja kynnysarvo jäädytetään valintajaolla
- U6a · tarkoitus ja kohde
- 40 suunnittelijan laatimassa perheessä Jev 216/220 · Astra 220/220, mikä täyttää ennalta rekisteröidyn −5 pp:n marginaalin
- Kiinteä tarkoituksen ja kohteen luokittelu rajattiin seuraavaksi sovellusehdokkaaksi
- U8n · toimitus
- Jälkikäteiset 11 paria keskeytetystä ajosta: korjatut ehdokkaat läpäisivät oraakkelin molemmissa haaroissa; toimitus Astra 11/11 · Jev Noul 0/11
- Puuttuvan näytön arviot estivät oikean toimituksen; nykyisellä Noul-asetelmalla ei ole perusteita toimia ainoana toimitustuomarina