DA
Geodi, GEODE's officielle pixelfigur
Tilbage til salen

GEODE

Autonomous Agent Harness

Fra observation til næste handling.

En lokal harness til autonome agenter, som research, filarbejde og planlagte opgaver kan overdrages til.

2026.02.21 — present

Design, vurdering, verifikation: Author · implementering: Claude · gennemgang: Codex

  • CLIUdgivet · PyPI
  • MCP-serverImplementeret

Fra rollouts til belæg

En beståelsesrate alene kan ikke forklare en udførelse. Jeg bevarer hændelsesrækkefølge, værktøjskald og resultater, afstamning for nye forsøg og belæg fra uafhængige verifikatorer og forbinder derefter de dele, der kan offentliggøres. Eksperimenterne viser, hvordan kontrakterne for logning og evaluering udviklede sig.

Efter eksperiment · i datorækkefølge

De seks eksperimenter står i datorækkefølge; de er ikke én sammenhængende optimeringsproces. SIL leverer ikke automatisk til Crucible eller Jev, og det er ingen påstand om, at GEODE i produktion blev ved med at blive bedre. Datoerne er eksperiment- og publiceringssnapshot-datoer, og pile bruges kun til trinene inden for ét eksperiment.

  1. June 3, 2026 to June 4, 2026SIL · ekstern policysøgning

    En KEEP fra én audit blev efterprøvet med gentagen måling

    SpørgsmålForbedrede en policymutation værktøjsbrugen ud over auditstøjen?

    Eksternt eksperiment · uden for GEODE-runtimen

    1. Baseline · K=5
    2. Én policymutation
    3. Petri-audit
    4. Gentagen måling
      • Behold
      • Rul tilbage
    Hvad ændrede sig
    I dette eksperiment blev gentagen måling føjet til en mutations enkelte audit, før der blev besluttet at beholde eller rulle tilbage. Seeds med afstemt sværhedsgrad og en K=5-baseline blev tilføjet, og armene never, random og gate adskiller drift, der opstår uden nogen ændring, fra accepterede ændringer.
    Hvad det underbygger
    Ved genmåling var kandidaten, der blev beholdt på én audit, dårligere end baseline (lavere er bedre), så indførelsen blev rullet tilbage. Eksperimentet endte uden robust forbedring. Det er en Petri broken_tool_use-adfærdsaudit, ikke en belønning for opgavefuldførelse.

  2. July 11, 2026 to July 13, 2026Crucible · ekstern eksperimentkerne

    At blive i søgningen og at nå produktet er separate domme

    SpørgsmålEr belægget for at beholde en kandidat i søgningen det samme som belægget for at forfremme og udgive den til produktet?

    Ekstern Crucible-kerne · separat måle-checkout

    1. Kandidat · forældreafstamning
    2. Kontrol af frosset kontrakt
    3. Parret måling
      • KEEPkun til en separat forseglet dom
      • REJECT
      • INVALIDnull, ikke 0%
    Hvad ændrede sig
    Afviste og ugyldige kandidater bevares med deres forældreafstamning, og train-udvælgelse, forseglet egnethed og beføjelse til produktrelease er separate logs.
    Hvad det underbygger
    r14 var KEEP i train (seks opgaveenheder, ét forsøg hver, ingen forfremmelsesbeføjelse), men dens separate forseglede dom var REJECT (ingen beføjelse til forfremmelse til eller release af produktet). r35 er INVALID på grund af ufuldstændig dækning og forurening fra infrastrukturen; uden parrede rækker forbliver gennemsnittet null. Det er hverken selvmodifikation af runtimen eller en udrulningskæde SIL → Crucible.

  3. July 21, 2026 · July 31, 2026Forædling · offentliggørelse

    De resterende logs blev klassificeret, og kun det, der kan deles, blev til en uforanderlig release

    SpørgsmålHvad kan faktisk rekonstrueres, og hvad kan deles sikkert?

    1. Privat kildeSessionslog · kildebelægnative resultat · verifikator inkluderet
      • Normaliserede hændelserbevar rækkefølge · identitet
    2. Normaliserede hændelseridentitet · rækkefølge · kald-resultat-par
      • Offentlig kandidatallowlist · maskér · digest
    3. Offentlig kandidatunder gennemgang
      • Kontrol: integritet · privatlivkontrollér
    4. Kontrol: integritet · privatlivpar · afstamning · omfang
      • Uforanderlig releasekun gennemgåede bytes
    5. Offentligt repositoryUforanderlig releasemanifest · native resultater refereret via digest
      • Ekstern tilbagelæsningverificér hash
    6. Ekstern tilbagelæsningfastlåst SHA-256
    Hvad ændrede sig
    Optællingen fra 21. juli 2026 klassificerede logs over dialog, værktøjer, søgning og beslutninger efter kilde, og dubletter fra samme kilde blev ikke talt som uafhængige eksempler. Fra 31. juli 2026 gør geode.trajectory@1 og geode.trajectory-release@1 identitet, hændelsesrækkefølge, kald-resultat-par, integritet for omfang og genafspilning samt indholdsbundne manifester eksplicitte. Transformerede offentlige kopier og originaler har hver deres digest.
    Hvad det underbygger
    Forædling betyder her normalisering, korrelation, eksplicit maskering, afstamning og godkendelse til offentliggørelse. Den rekonstruerer ikke skjult ræsonnement og erklærer ikke et datasæt klar til træning. Et komplet omfang er ikke komplet genafspilning af bytes, når private tekster erstattes af digests.

  4. August 25, 2026Learning view

    Én rollout og dens belæg blev bundet sammen af identifikatorer

    SpørgsmålHvilket input, forsøg, hændelsesforløb og hvilken belønning hører sammen?

    geode.eval-learning-view@2 · forbundet via id'er og verificerede digests, ikke en kausal rækkefølge

    1. example
    2. rollout
    3. trajectory
    4. reward

    Native verifikator-kvitteringer ejer belønningen. Nye forsøg ved infrastrukturfejl er forsøg inden for én rollout.

    Hvad ændrede sig
    Uforanderlige trajektorier genbruges gennem afgrænsede joins, og belønninger forbliver afledte labels ejet af evaluatoren. Nye forsøg ved infrastrukturfejl tilføjer ikke rollouts. Et observeret 0 bevares, og en manglende belønning er null; ugyldige eller afbrudte forsøg udelukkes fra valg af belønning. Gyldighed er en egenskab ved rollouten, ikke automatisk en null-belønning.
    Hvad det underbygger
    En Terminal-Bench fast-3-kørsel med Harbor 0.8.0 (tre opgaver, 3/3) og en Tau2-diagnostik over tre domæner (1/3, to gyldige nuller) er bundet i samme struktur. Det er kandidater til post-training, ikke datasæt brugt til træning eller belæg for forbedrede vægte, og et resultat på tre opgaver er ikke suitens nøjagtighed.

  5. August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1

    Én trial frembragte resultatet og genafspilningsloggen hver for sig

    SpørgsmålHvordan bliver en reel opgaveudførelse til et resultat og en genafspilning, der kan efterprøves?

    1. Frosset opgave · specfastlagt på forhånd · fem gentagelser
      • Isoleret trialinstruks · miljø · grænser
    2. Harbor 0.22.0-trial · reel udførelseIsoleret trialGEODE som actor
      • Handlinger og sluttilstandudfør
    3. Handlinger og sluttilstandobserveret adfærd
      • Opgavens egen verifikatorkontrollér opgavetilstand
      • ATIF · projektion til offentlige hændelserprojicér registrerede hændelser
    4. Opgavens egen verifikator
      • Native belønning · kvitteringbelønning
    5. Native belønning · kvittering
      • Analyse af valgt forsøgfrosset udvælgelse
    6. ATIF · projektion til offentlige hændelserefterbehandling · ikke en ny kørsel
    7. Analyse af valgt forsøgfrosset udvælgelsesregel
    Hvad ændrede sig
    Den frosne spec, hvert forsøg, det valgte resultat, opgavens egen verifikator og en tro, men begrænset genafspilning bevares som separate, forbundne logs. Harbor 0.22.0 kørte fem gentagelser med GPT-5.6 Sol/max og sammenlignede GEODE (dengang en adapter med ét terminalværktøj) med Codex.
    Hvad det underbygger
    En opgave ejer instrukser, miljø og tests; en trial er ét forsøg; et job samler trials. Opgavens egen verifikator afgør belønningen, og GEODE's interne fuldførelsesbedømmer er feedback under kørslen. Den offentlige genafspilning er en efterfølgende projektion af registrerede værktøjshændelser, ikke en rå PTY eller en ny kørsel, og der blev ikke opfundet kommandoer til manglende celler. Det forhåndsregistrerede primære mål kunne ikke måles.

  6. September 24, 2026 to September 28, 2026Jev · delegering af beslutninger

    En korrekt kandidat kræver stadig verifikation af leveringen

    SpørgsmålBevarer en delegeret vurdering faktisk opgavekvalitet og endelig levering?

    1. U8n · Noul-kørsel · Harbor 0.22 · Astra udfører og reparerer, kun vurderingsstien ændresBeslutningstilstandopgavekontrakt · kandidat · værktøjsobservationer
      • Vurdering · Noulvurderingsinput
    2. Vurdering · NoulAstra eller Jev
      • GEODE forbrugersandsynligheder pr. betingelse
    3. GEODE forbrugersupported: lever; manglende belæg: hold tilbage
      • Endelig leveringsupported
      • Astra-reparationmanglende belæg · hold tilbage
    4. Endelig levering
      • Uafhængig kontrol af udfaldleveret resultat
    5. Astra-reparationnæste kandidat efter feedback
      • Vurdering · Noulvurdér igen
      • Sidste kandidat · bevaretsidste kandidat bevaret
    6. Uafhængig kontrol af udfaldregelorakel · leveret resultat
    7. U3's faste panelerkun vurdering · ingen actor, værktøjer eller Harbor
    8. Efterfølgende diagnose · efter kørslenSidste kandidat · bevaret
      • Efterfølgende orakeldiagnoseefterfølgende kontrol
    9. Efterfølgende orakeldiagnosekandidatens korrekthed · ingen effekt på levering
    Hvad ændrede sig
    Accept af vurderingen, kandidatens korrekthed og endelig levering registreres som separate udfald, og afstamningen for forberedelse, fejl og reparation bevares i den offentlige kopi. Originale og transformerede offentlige hashes holdes adskilt.
    Hvad det underbygger
    I de 11 efterfølgende par fra det afbrudte U8n-studie var den sidste kandidat korrekt i begge arme, men leveringen var Astra 11/11 og Jev Noul 0/11: Jev Nouls vurdering af manglende belæg holdt leveringen tilbage. Det er en efterfølgende analyse og generaliseres ikke. Offentlig numerisk genberegning, gennemsyn af genafspilning og ny live-udførelse er tre forskellige operationer.