NL
Geodi, het officiële pixelpersonage van GEODE
Terug naar de zaal

GEODE

Autonomous Agent Harness

Van observatie naar de volgende actie.

Een lokale harness voor autonome agents, waaraan onderzoek, bestandswerk en geplande taken kunnen worden overgedragen.

2026.02.21 — present

Ontwerp, oordeel, verificatie: Author · implementatie: Claude · review: Codex

  • CLIGepubliceerd · PyPI
  • MCP-serverGeïmplementeerd

Van rollouts naar bewijs

Een slagingspercentage alleen verklaart geen uitvoering. Ik bewaar de volgorde van events, toolaanroepen en resultaten, de herkomstketen van herhaalpogingen en bewijs van onafhankelijke verificatie, en verbind daarna de delen die openbaar kunnen worden. Deze experimenten laten zien hoe de contracten voor vastlegging en evaluatie zich ontwikkelden.

Per experiment · op datum

De zes experimenten staan op datumvolgorde; ze vormen niet één samenhangend optimalisatieproces. SIL voedt Crucible of Jev niet automatisch, en dit is geen claim dat het product GEODE steeds beter werd. De data zijn die van de experimenten en van de publicatiesnapshots, en pijlen worden alleen gebruikt voor de fasen binnen één experiment.

  1. June 3, 2026 to June 4, 2026SIL · externe zoektocht naar policy’s

    Een KEEP uit één audit werd met herhaalde meting opnieuw gecontroleerd

    VraagVerbeterde een policymutatie het gedrag bij toolgebruik boven de auditruis uit?

    Extern experiment · buiten de GEODE-runtime

    1. Baseline · K=5
    2. Eén policymutatie
    3. Petri-audit
    4. Herhaalde meting
      • Behouden
      • Terugzetten
    Wat veranderde
    In dit experiment werd aan de enkele audit van een mutatie herhaalde meting toegevoegd voordat werd besloten tot behouden of terugzetten. Er kwamen seeds met afgestemde moeilijkheidsgraad en een K=5-baseline bij, en de arms never, random en gate scheiden schommelingen zonder enige wijziging van geaccepteerde wijzigingen.
    Wat het onderbouwt
    Bij hermeting was de kandidaat die na één audit was behouden slechter dan de baseline (lager is beter), dus werd de adoptie teruggedraaid. Dit experiment eindigde zonder robuuste verbetering. Het is een gedragsaudit met Petri broken_tool_use, geen beloning voor taakvoltooiing.

  2. July 11, 2026 to July 13, 2026Crucible · externe experimentkernel

    In de zoektocht blijven en het product bereiken zijn aparte oordelen

    VraagIs het bewijs om een kandidaat in de zoektocht te houden hetzelfde als het bewijs om hem te promoveren en uit te brengen in het product?

    Externe Crucible-kernel · aparte meetcheckout

    1. Kandidaat · ouderlijn
    2. Controle tegen bevroren contract
    3. Gepaarde meting
      • KEEPalleen naar een apart sealed oordeel
      • REJECT
      • INVALIDnull, niet 0%
    Wat veranderde
    Afgewezen en ongeldige kandidaten worden met hun ouderlijn bewaard, en train-selectie, sealed geschiktheid en bevoegdheid voor productrelease zijn aparte vastleggingen.
    Wat het onderbouwt
    r14 was KEEP in train (zes taakeenheden, elk één poging, geen promotiebevoegdheid), maar het aparte sealed oordeel was REJECT (geen bevoegdheid voor promotie naar het product of release). r35 is INVALID door onvolledige coverage en vervuiling van de infrastructuur; zonder gepaarde rijen blijft het gemiddelde null. Dit is geen zelfaanpassing van de runtime en ook geen uitrolketen SIL → Crucible.

  3. July 21, 2026 · July 31, 2026Verfijning · publicatie

    De overgebleven vastleggingen werden geclassificeerd, en alleen wat gedeeld kan worden, werd een onveranderlijke release

    VraagWat kan werkelijk worden gereconstrueerd, en wat kan veilig worden gedeeld?

    1. PrivébronSessielog · oorspronkelijk bewijsnative resultaat · inclusief verifier
      • Genormaliseerde eventsvolgorde · identiteit bewaren
    2. Genormaliseerde eventsidentiteit · volgorde · aanroep-resultaatparen
      • Openbare kandidaatallowlist · redigeren · digest
    3. Openbare kandidaatin review
      • Integriteits- · privacycontrolescontroleren
    4. Integriteits- · privacycontroleskoppeling · herkomstketen · reikwijdte
      • Onveranderlijke releasealleen gereviewde bytes
    5. Openbare repositoryOnveranderlijke releasemanifest · verwijzing naar native resultaten via digest
      • Remote teruglezenhash verifiëren
    6. Remote teruglezenvastgezette SHA-256
    Wat veranderde
    De inventory van July 21, 2026 classificeerde dialoog-, tool-, zoek- en oordeelsvastleggingen per bron, en duplicaten van dezelfde bron werden niet als onafhankelijke voorbeelden geteld. Vanaf July 31, 2026 maken geode.trajectory@1 en geode.trajectory-release@1 identiteit, eventvolgorde, aanroep-resultaatparen, de integriteit van reikwijdte en replay, en aan inhoud gebonden manifests expliciet. Getransformeerde openbare kopieën en originelen houden aparte digests.
    Wat het onderbouwt
    Verfijning betekent hier normalisatie, correlatie, expliciete redactie, herkomstketen en toelating tot publicatie. Het reconstrueert geen verborgen redeneringen en verklaart geen dataset klaar voor training. Een volledige reikwijdte is geen volledige byte-replay wanneer privé-inhoud door digests is vervangen.

  4. August 25, 2026Learning view

    Eén rollout en het bijbehorende bewijs werden via identificatoren aan elkaar gekoppeld

    VraagWelke invoer, poging, eventreeks en beloning horen bij elkaar?

    geode.eval-learning-view@2 · gekoppeld via ID’s en geverifieerde digests, geen causale volgorde

    1. example
    2. rollout
    3. trajectory
    4. reward

    De beloning is van de receipts van de native verifier. Herhalingen voor infrastructuur zijn pogingen binnen één rollout.

    Wat veranderde
    Onveranderlijke trajecten worden hergebruikt via joins met een afgebakende reikwijdte, en beloningen blijven afgeleide labels die van de evaluator zijn. Herhalingen voor infrastructuur voegen geen rollouts toe. Een waargenomen 0 blijft behouden en een ontbrekende beloning is null; ongeldige of afgebroken pogingen worden uitgesloten van de beloningsselectie. Geldigheid is een eigenschap van de rollout en betekent niet automatisch een beloning null.
    Wat het onderbouwt
    Een Terminal-Bench fast-3-run met Harbor 0.8.0 (drie taken, 3/3) en een Tau2-diagnose over drie domeinen (1/3, twee geldige nullen) zijn in dezelfde structuur gekoppeld. Het zijn kandidaten voor post-training, geen datasets die voor training zijn gebruikt of bewijs van verbeterde gewichten, en een resultaat van drie taken is geen nauwkeurigheid over de hele suite.

  5. August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1

    Eén trial leverde het resultaat en de replaylog apart op

    VraagHoe wordt een echte taakuitvoering een resultaat en een controleerbare replay?

    1. Bevroren taak · specvooraf vastgelegd · vijf herhalingen
      • Geïsoleerde trialinstructie · omgeving · limieten
    2. Harbor 0.22.0-trial · echte uitvoeringGeïsoleerde trialGEODE als actor
      • Acties en eindtoestanduitvoeren
    3. Acties en eindtoestandwaargenomen gedrag
      • Verifier van de taaktaaktoestand controleren
      • ATIF · projectie naar openbare eventsvastgelegde events projecteren
    4. Verifier van de taak
      • Native beloning · receiptbeloning
    5. Native beloning · receipt
      • Analyse van de gekozen pogingbevroren selectie
    6. ATIF · projectie naar openbare eventsnabewerking · geen nieuwe run
    7. Analyse van de gekozen pogingbevroren selectieregel
    Wat veranderde
    De bevroren spec, elke poging, het geselecteerde resultaat, de verifier van de taak en een getrouwe maar beperkte replay worden bewaard als aparte, gekoppelde vastleggingen. Harbor 0.22.0 draaide vijf herhalingen met GPT-5.6 Sol/max en vergeleek GEODE (toen een adapter met één terminaltool) met Codex.
    Wat het onderbouwt
    Een taak omvat instructies, omgeving en tests; een trial is één poging; een job groepeert trials. De verifier van de taak bepaalt de beloning, en het interne voltooiingsoordeel van GEODE is runtimefeedback. De openbare replay is een post-hocprojectie van vastgelegde toolevents, geen ruwe PTY en geen nieuwe run, en voor ontbrekende cellen zijn geen commando’s verzonnen. De vooraf geregistreerde primaire vergelijking kon niet worden gemeten.

  6. September 24, 2026 to September 28, 2026Jev · beslissingen uitbesteden

    Ook een correcte kandidaat heeft verificatie van de oplevering nodig

    VraagBehoudt een gedelegeerd oordeel werkelijk de taakkwaliteit en de uiteindelijke oplevering?

    1. U8n · Noul-run · Harbor 0.22 · Astra voert uit en herstelt, alleen het oordeelspad verandertBeslissingstoestandtaakcontract · kandidaat · toolobservaties
      • Oordeel · Nouloordeelsinvoer
    2. Oordeel · NoulAstra of Jev
      • GEODE verwerktkansen per voorwaarde
    3. GEODE verwerktvoldaan: opleveren; ontbrekend bewijs: vasthouden
      • Uiteindelijke opleveringvoldaan
      • Herstel door Astraontbrekend bewijs · vasthouden
    4. Uiteindelijke oplevering
      • Onafhankelijke controle van de uitkomstopgeleverd resultaat
    5. Herstel door Astravolgende kandidaat na feedback
      • Oordeel · Noulopnieuw oordelen
      • Laatste kandidaat · bewaardlaatste kandidaat bewaard
    6. Onafhankelijke controle van de uitkomstregeloracle · opgeleverd resultaat
    7. Vaste U3-panelsalleen oordelen · geen actor, tools of Harbor
    8. Post-hocdiagnose · na de runLaatste kandidaat · bewaard
      • Post-hocdiagnose met oraclepost-hoccontrole
    9. Post-hocdiagnose met oraclecorrectheid van de kandidaat · geen effect op de oplevering
    Wat veranderde
    Acceptatie van het oordeel, correctheid van de kandidaat en uiteindelijke oplevering worden als aparte uitkomsten vastgelegd, en de herkomstketens van voorbereiding, mislukking en herstel blijven in de openbare kopie bewaard. Originele en getransformeerde openbare hashes blijven gescheiden.
    Wat het onderbouwt
    In de 11 post-hocparen uit de onderbroken U8n-studie was de laatste kandidaat in beide arms correct, maar de oplevering was Astra 11/11 en Jev Noul 0/11: het oordeel van Jev Noul wegens ontbrekend bewijs hield de oplevering tegen. Het is een post-hocanalyse en wordt niet veralgemeend. Openbare herberekening van de cijfers, inspectie van de replay en nieuwe live-uitvoering zijn drie verschillende handelingen.