GEODE
Autonomous Agent Harness
Havainnosta seuraavaan toimeen.
Paikallinen autonomisen agentin kehys, jolle voi antaa tutkimusta, tiedostotöitä ja ajastettuja tehtäviä.
Yksi käytäntö muutetaan kerrallaan; mittaus pysyy kiinteänä.
Erillinen silmukka, joka ajetaan kehyksen ulkopuolella. Se soveltaa lähtötasosta yhden tyypitetyn käytäntömuutoksen, ja sama Petri-auditointi ja portti päättävät, onko tulos KEEP vai palautus.
Yksi muutos → auditointi
Ajosopimuksen ollessa kiinnitetty yksi sallittu käytäntö muuttuu ja GEODE auditoidaan samalla laitteistolla. Kyse ei ole käynnissä olevasta tuotteesta, joka kirjoittaisi itseään uudelleen.
Operaattorin hyväksyntäsuoritus · päätös: hyväksyntäajosopimus · mallit · budjetti
program.mdAjo alkaa vasta, kun live-kutsut ja kiinteä budjetti on hyväksytty. Ilman hyväksyntää vain sopimus valmistellaan ja tarkistetaan offline-tilassa.
ajosopimus · mallit · budjetti
program.mdsuoritus · päätös: ajosopimuskiinteän budjetin silmukkatrain.pySiementen ja rubriikin revisiot, roolien mallit ja tunnistetietojen lähteet, mittausasetukset, iteraatio-, aika- ja kustannusbudjetit, ylennyskäytäntö ja pysäytysehdot kiinnitetään ennen ajoa.
kiinteän budjetin silmukka
train.pysuoritus · päätös: pyydä yksi ehdokasmutaattori · yksi ehdokasloop/mutateYksi näyttöön perustuva hypoteesi muuttaa yhden sallitun käytäntöpinnan.
7 pintaa · ei hyperparametreja
loop/mutatedata: käytäntömuutos · mutation IDtiedostopohjainen käytäntöstate/policiesVain seitsemän pintaa saa muuttua: käärekehote, työkalukäytäntö, pilkkomisneuvot, reflektio, taitoluettelon metatiedot, agenttisopimus (role, system_prompt, tools) sekä työkalujen kuvaukset ja vihjeet. Hyperparametrimuutokset hylätään sekä jäsennyksessä että soveltamisessa. Käytännön soveltaminen, uudelleenmittaus ja valinnainen commit ovat erillisiä vaiheita, joten soveltaminen ei itsessään ole auditointi.
siemenjoukko · rubriikki kiinnitetty
prepare.pysuoritus · päätös: siemenet · rubriikki kiinnitettyauditoinnin aliprosessi · kiinteä aikakatkaisumeasure.pyprepare.py on siemenjoukon ja rubriikin kiinteä viite; ehdokkaat eivät muuta sitä. Mittausmoduulin muuttaminen muuttaa mittausta, ei testattavaa järjestelmää.
tiedostopohjainen käytäntö
state/policiesdata: valittu käytäntökäytäntökohtainen OVERRIDE · STRICTmeasure.pymeasure.py lukee parhaillaan valitun käytäntötiedoston ja välittää sen auditointiympäristöön.
käytäntökohtainen OVERRIDE · STRICT
measure.pysuoritus · päätös: käytäntökohtaiset override-polutcore · käytäntölataajatmeasure.py välittää kääreen sekä käytäntökohtaiset override- ja strict-polut auditoinnin aliprosessille, ja ajoympäristön vastaava käytäntölataaja lukee kunkin. Kääre (GEODE_WRAPPER_OVERRIDE → system_prompt) on yksi haara; ylimääräiset ympäristöavaimet eivät laajenna seitsemää muutettavaa pintaa. Pelkkä muokattu tiedosto ei todista, että ehdokas tavoitti kohteen; auditointinäytön diagnostiikka vahvistaa sen.
auditoinnin aliprosessi · kiinteä aikakatkaisu
measure.pysuoritus · päätös: audit subprocessPetri-auditointiAuditointi ajetaan kiinteällä aikakatkaisulla ja budjetilla, joita ei koskaan muuteta kesken vertailun. Puuttuva tuloste on diagnostinen aukko, ei nollapistemäärä.
Petri-auditointidata: auditointidialogicore · käytäntölataajat
Auditoija keskustelee GEODEn kanssa siemenskenaarion kautta, ja tuomari pisteyttää transkriptin.
Tuomio → säilytys · palautus
Samaan sopimukseen perustuvaan lähtötasoon verrattuna kriittiset regressiot ja ylennyssääntö päättävät KEEPin; hylätty muutos palautetaan kirjattuun aiempaan arvoonsa.
Petri-auditointidata: ulottuvuuspisteetkriittinen regressio · vähennykset
fitness.pyPisteiden mukana tulevat puuttuvat ulottuvuudet ja näytemäärät. Mittaamatonta ulottuvuutta ei lueta havainnoksi.
baseline · provenance
ledger.pydata: baseline · provenancekriittinen regressio · vähennyksetfitness.pyVertailussa käytetään vain lähtötasoa, jolla on sama kirjattu sopimus ja epoch. Uusi Git-haara ei eristä lähtötason tilaa.
kriittinen regressio · vähennykset
fitness.pydata: fitness · regression syyt_should_promote · KEEPgate.pyKriittisten ulottuvuuksien regressiot ja lisävähennykset tarkistetaan ensin, sitten marginaali- tai kohdeulottuvuustesti. Pelkkä positiivinen skalaari ei koskaan johda ylennykseen.
_should_promote · KEEP
gate.pydata: KEEP · seuraava lähtötasobaseline · provenanceledger.pySäilytetystä ehdokkaasta tulee seuraava lähtötaso. Paikallisesti säilytetty ehdokas ei ole repositorion merge eikä julkaisu.
_reject_and_revert
gate.pysuoritus · päätös: REJECT · aiempi palautetaantiedostopohjainen käytäntöstate/policiesRunnerin tekemän ehdokkaan kohdalla palautetaan sen mutation ID:n alle kirjattu käytäntöosio, ja epäonnistunut palautus merkitään. Manuaalisia muutoksia ei palauteta automaattisesti, ja epävarma palautus pysäyttää seuraavan ehdokkaan.
_should_promote · KEEP
gate.pykirjaus · havainnointi: tulos · tuomiorivitulos- · mutaatiorivitledger.pyMittaus, tuomio ja alkuperä kirjoitetaan kerran tulosriveiksi; historiallisia rivejä ei koskaan kirjoiteta uudelleen.
Verrokit · toistomittaus
Kesäkuun 2026 ajo: muuttamaton never-haara ja K=5-lähtötaso mittasivat auditointikohinan erikseen, ja yksittäisen auditoinnin KEEP tarkistettiin uudelleen toistoilla.
run-2606-broken-tool-usesuoritus · päätös: kolme haaraakiinteän budjetin silmukka
train.pyAjo 3.–4.6.2026 erotti ajautumisen mutaation vaikutuksesta kolmella haaralla: never (ei muutosta), random (satunnainen hyväksyntä) ja gate (tuomion hyväksymä). Kohde oli GPT-5.5; auditoija ja tuomari olivat Claude Opus 4.8.
gen-0-lähtötaso · 5 auditoinnin keskiarvo
run-2606-broken-tool-usedata: K=5-keskiarvolähtötasobaseline · provenanceledger.pygen-0-lähtötaso oli viiden auditoinnin keskiarvo (Petri broken_tool_use, pienempi on parempi, keskiarvo 2.667).
never-haara · muuttamaton verrokki
run-2606-broken-tool-usesuoritus · päätös: mittaus ilman muutostaauditoinnin aliprosessi · kiinteä aikakatkaisumeasure.pynever-haara ajautui keskiarvoon 3.38 ilman yhtään käytäntömuutosta (10 auditointia, pienempi on parempi): suora näyttö siitä, että auditointikohina ylitti mutaation vaikutuksen.
--replicate K · uudelleenmittaus
train.pysuoritus · päätös: --replicate Kauditoinnin aliprosessi · kiinteä aikakatkaisumeasure.pySama ehdokas mitataan K kertaa lisää samoissa olosuhteissa, jotta onnekas yksittäinen auditointi suodattuu pois.
toisto · yksittäisen KEEPin uudelleenmittaus
run-2606-broken-tool-usesuoritus · päätös: uudelleenmittaus → palautus_reject_and_revertgate.pyYksittäisen gate-auditoinnin (1.6) perusteella säilytetty ehdokas mittasi toistoissa 3.0–3.8, lähtötasoa huonommin, joten mestari 2.667 palautettiin. Ajon johtopäätös: ei selvää parannusta.
Kaikki yhteydet samalla painolla. Valitse virta, niin vain sen polku korostuu numeroiduin vaihein.
- Yhtenäinen · pyyntöjen, ehdokkaiden ja tulosten kulkusuunta
- Katkoviiva · suoritus, päätös, valtuutus, määritys
- Pitkä pistekatkoviiva · kirjaukset ja havainnointi, erillään tuomiosta
- Paksu musta viiva · valittu virta; numerot kertovat järjestyksen
- Laatikko · koodin tai kirjausten raja, polku otsakkeessa
- Sisälaatta · komponentti rajan sisällä
- Katkoviivalaatikko · rajan ulkopuolella
- silmukka · mittausajo
- sopimus · tuomio
- käytäntö · kirjaukset
- muutos · auditoitu kohde · ajokirjaus
GEODEn SIL-ajurin nimi on autoresearch; sen prepare/train/program-rakenne ja kiinteä budjetti ovat saaneet vaikutteita Karpathyn autoresearchista. Mallin painot eivät muutu, ja laitteisto ja budjetti pysyvät kiinteinä vertailun ajan.
- Mikä saa muuttua
- Seitsemän pintaa: käärekehote, työkalukäytäntö, pilkkomisneuvot, reflektio, taitoluettelon metatiedot, agenttisopimus sekä työkalujen kuvaukset ja vihjeet. Arvioija, budjetti, siemenet ja rubriikki pysyvät kiinteinä vertailun ajan.
- Ajokirjauksen laajuus
- run-2606:n arvot ovat kyseisen ajon Petri broken_tool_use -keskiarvoja (pienempi on parempi). Ne eivät ole näyttöä SILin kumulatiivisesta parannuksesta tai yleistymisestä.