NO
Geodi, GEODEs offisielle pikselfigur
Tilbake til salen

GEODE

Autonomous Agent Harness

Fra observasjon til neste handling.

En lokal harness for autonome agenter, som research, filarbeid og planlagte oppgaver kan overlates til.

2026.02.21 — present

Design, vurdering, verifisering: Author · implementering: Claude · gjennomgang: Codex

  • CLIPublisert · PyPI
  • MCP-serverImplementert

Fra rollouts til belegg

En beståttandel alene kan ikke forklare en utførelse. Jeg bevarer hendelsesrekkefølge, verktøykall og resultater, avstamning for nye forsøk og belegg fra uavhengige verifikatorer, og kobler deretter sammen delene som kan publiseres. Eksperimentene viser hvordan kontraktene for logging og evaluering utviklet seg.

Per eksperiment · i datorekkefølge

De seks eksperimentene står i datorekkefølge; de er ikke én sammenhengende optimaliseringsprosess. SIL mater ikke Crucible eller Jev automatisk, og dette er ingen påstand om at GEODE i produksjon fortsatte å bli bedre. Datoene er datoer for eksperimenter og publiseringsøyeblikksbilder, og piler brukes bare for stegene innenfor ett eksperiment.

  1. June 3, 2026 to June 4, 2026SIL · eksternt policysøk

    En KEEP fra én audit ble kontrollert på nytt med gjentatt måling

    SpørsmålForbedret en policymutasjon verktøybruken utover auditstøyen?

    Eksternt eksperiment · utenfor GEODE-runtimen

    1. Baseline · K=5
    2. Én policymutasjon
    3. Petri-audit
    4. Gjentatt måling
      • Behold
      • Rull tilbake
    Hva som endret seg
    I dette eksperimentet ble gjentatt måling lagt til en mutasjons enkeltaudit før det ble besluttet å beholde eller rulle tilbake. Seeds med tilpasset vanskelighetsgrad og en K=5-baseline ble lagt til, og armene never, random og gate skiller drift som oppstår uten noen endring, fra aksepterte endringer.
    Hva det underbygger
    Ved ny måling var kandidaten som ble beholdt på én audit, dårligere enn baseline (lavere er bedre), så innføringen ble rullet tilbake. Eksperimentet endte uten robust forbedring. Dette er en Petri broken_tool_use-atferdsaudit, ikke en belønning for oppgavefullføring.

  2. July 11, 2026 to July 13, 2026Crucible · ekstern eksperimentkjerne

    Å bli i søket og å nå produktet er separate dommer

    SpørsmålEr belegget for å beholde en kandidat i søket det samme som belegget for å forfremme og utgi den til produktet?

    Ekstern Crucible-kjerne · separat måle-checkout

    1. Kandidat · foreldreavstamning
    2. Kontroll av frosset kontrakt
    3. Paret måling
      • KEEPbare til en separat forseglet dom
      • REJECT
      • INVALIDnull, ikke 0%
    Hva som endret seg
    Avviste og ugyldige kandidater bevares med foreldreavstamningen, og train-utvelgelse, forseglet kvalifisering og myndighet til produktrelease er separate logger.
    Hva det underbygger
    r14 var KEEP i train (seks oppgaveenheter, ett forsøk hver, ingen forfremmelsesmyndighet), men den separate forseglede dommen var REJECT (ingen myndighet til produktforfremmelse eller release). r35 er INVALID på grunn av ufullstendig dekning og forurensning fra infrastrukturen; uten parede rader forblir gjennomsnittet verdien null. Dette er verken selvmodifisering av runtimen eller en utrullingskjede SIL → Crucible.

  3. July 21, 2026 · July 31, 2026Foredling · publisering

    De gjenværende loggene ble klassifisert, og bare det som kan deles, ble en uforanderlig release

    SpørsmålHva kan faktisk rekonstrueres, og hva kan deles trygt?

    1. Privat kildeSesjonslogg · kildebeleggnative resultat · verifikator inkludert
      • Normaliserte hendelserbevar rekkefølge · identitet
    2. Normaliserte hendelseridentitet · rekkefølge · kall-resultat-par
      • Offentlig kandidatallowlist · masker · digest
    3. Offentlig kandidatunder gjennomgang
      • Kontroller: integritet · personvernkontroller
    4. Kontroller: integritet · personvernpar · avstamning · omfang
      • Uforanderlig releasebare gjennomgåtte byte
    5. Offentlig repositoryUforanderlig releasemanifest · native resultater referert via digest
      • Ekstern tilbakelesingverifiser hash
    6. Ekstern tilbakelesingfastlåst SHA-256
    Hva som endret seg
    Opptellingen fra 21. juli 2026 klassifiserte logger over dialog, verktøy, søk og beslutninger etter kilde, og duplikater fra samme kilde ble ikke telt som uavhengige eksempler. Fra 31. juli 2026 gjør geode.trajectory@1 og geode.trajectory-release@1 identitet, hendelsesrekkefølge, kall-resultat-par, integritet for omfang og avspilling og innholdsbundne manifester eksplisitte. Transformerte offentlige kopier og originaler har hver sin digest.
    Hva det underbygger
    Foredling betyr her normalisering, korrelasjon, eksplisitt maskering, avstamning og godkjenning for publisering. Den rekonstruerer ikke skjult resonnement og erklærer ikke et datasett klart til trening. Et komplett omfang er ikke komplett avspilling av byte når private tekster erstattes av digests.

  4. August 25, 2026Learning view

    Én rollout og belegget ble bundet sammen med identifikatorer

    SpørsmålHvilket input, forsøk, hendelsesforløp og hvilken belønning hører sammen?

    geode.eval-learning-view@2 · koblet via ID-er og verifiserte digests, ikke en kausal rekkefølge

    1. example
    2. rollout
    3. trajectory
    4. reward

    Native verifikatorkvitteringer eier belønningen. Nye forsøk ved infrastrukturfeil er forsøk innenfor én rollout.

    Hva som endret seg
    Uforanderlige trajektorier gjenbrukes gjennom avgrensede joins, og belønninger forblir avledede etiketter som eies av evaluatoren. Nye forsøk ved infrastrukturfeil legger ikke til rollouts. En observert 0 bevares, og en manglende belønning har verdien null; ugyldige eller avbrutte forsøk utelukkes fra valg av belønning. Gyldighet er en egenskap ved rollouten, ikke automatisk en null-belønning.
    Hva det underbygger
    En Terminal-Bench fast-3-kjøring med Harbor 0.8.0 (tre oppgaver, 3/3) og en Tau2-diagnostikk over tre domener (1/3, to gyldige nuller) er bundet i samme struktur. Dette er kandidater for post-training, ikke datasett brukt til trening eller belegg for forbedrede vekter, og et resultat på tre oppgaver er ikke nøyaktigheten for hele suiten.

  5. August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1

    Én trial ga resultatet og avspillingsloggen hver for seg

    SpørsmålHvordan blir en faktisk oppgaveutførelse et resultat og en avspilling som kan etterprøves?

    1. Frosset oppgave · specfastsatt på forhånd · fem gjentakelser
      • Isolert trialinstruks · miljø · grenser
    2. Harbor 0.22.0-trial · faktisk utførelseIsolert trialGEODE som actor
      • Handlinger og sluttilstandutfør
    3. Handlinger og sluttilstandobservert atferd
      • Oppgavens egen verifikatorkontroller oppgavetilstand
      • ATIF · projeksjon til offentlige hendelserprojiser registrerte hendelser
    4. Oppgavens egen verifikator
      • Native belønning · kvitteringbelønning
    5. Native belønning · kvittering
      • Analyse av valgt forsøkfrosset utvelgelse
    6. ATIF · projeksjon til offentlige hendelseretterbehandling · ikke en ny kjøring
    7. Analyse av valgt forsøkfrosset utvelgelsesregel
    Hva som endret seg
    Den frosne spec-en, hvert forsøk, det valgte resultatet, oppgavens egen verifikator og en tro, men begrenset avspilling bevares som separate, lenkede logger. Harbor 0.22.0 kjørte fem gjentakelser med GPT-5.6 Sol/max og sammenlignet GEODE (den gangen en adapter med ett terminalverktøy) med Codex.
    Hva det underbygger
    En oppgave eier instrukser, miljø og tester; en trial er ett forsøk; en job samler trials. Oppgavens egen verifikator avgjør belønningen, og GEODEs interne fullføringsbedømmer er tilbakemelding under kjøringen. Den offentlige avspillingen er en etterfølgende projeksjon av registrerte verktøyhendelser, ikke en rå PTY eller en ny kjøring, og ingen kommandoer ble diktet opp for manglende celler. Det forhåndsregistrerte primære målet kunne ikke måles.

  6. September 24, 2026 to September 28, 2026Jev · delegering av beslutninger

    En riktig kandidat krever likevel verifisering av leveringen

    SpørsmålBevarer en delegert vurdering faktisk oppgavekvalitet og endelig levering?

    1. U8n · Noul-kjøring · Harbor 0.22 · Astra utfører og reparerer, bare vurderingsstien endresBeslutningstilstandoppgavekontrakt · kandidat · verktøyobservasjoner
      • Vurdering · Noulvurderingsinput
    2. Vurdering · NoulAstra eller Jev
      • GEODE brukersannsynligheter per betingelse
    3. GEODE brukersupported: lever; manglende belegg: hold tilbake
      • Endelig leveringsupported
      • Astra-reparasjonmanglende belegg · hold tilbake
    4. Endelig levering
      • Uavhengig kontroll av utfalllevert resultat
    5. Astra-reparasjonneste kandidat etter tilbakemelding
      • Vurdering · Noulvurder på nytt
      • Siste kandidat · bevartsiste kandidat bevart
    6. Uavhengig kontroll av utfallregelorakel · levert resultat
    7. U3s faste panelerbare vurdering · ingen actor, verktøy eller Harbor
    8. Etterfølgende diagnose · etter kjøringenSiste kandidat · bevart
      • Etterfølgende orakeldiagnoseetterfølgende kontroll
    9. Etterfølgende orakeldiagnosekandidatens korrekthet · ingen effekt på levering
    Hva som endret seg
    Aksept av vurderingen, kandidatens korrekthet og endelig levering registreres som separate utfall, og avstamningen for forberedelse, feil og reparasjon bevares i den offentlige kopien. Opprinnelige og transformerte offentlige hasher holdes atskilt.
    Hva det underbygger
    I de 11 etterfølgende parene fra den avbrutte U8n-studien var den siste kandidaten riktig i begge armer, men leveringen var Astra 11/11 og Jev Noul 0/11: Jev Nouls vurdering om manglende belegg holdt leveringen tilbake. Dette er en etterfølgende analyse og generaliseres ikke. Offentlig numerisk omregning, gjennomgang av avspilling og ny live-utførelse er tre ulike operasjoner.