SV
Geodi, GEODE:s officiella pixelfigur
Tillbaka till salen

GEODE

Autonomous Agent Harness

Från observation till nästa handling.

En lokal harness för autonoma agenter som kan anförtros research, filarbete och schemalagda uppgifter.

2026.02.21 — present

Design, bedömning, verifiering: Author · implementation: Claude · granskning: Codex

  • CLIPublicerad · PyPI
  • MCP-serverImplementerad

Från rollouts till belägg

Andelen godkända ensam kan inte förklara en exekvering. Jag bevarar händelseordning, verktygsanrop och resultat, härstamning för omförsök och belägg från oberoende verifierare och kopplar sedan samman de delar som kan publiceras. Experimenten visar hur kontrakten för loggning och utvärdering utvecklades.

Per experiment · i datumordning

De sex experimenten är placerade i datumordning; de är inte en sammanhängande optimeringsprocess. SIL matar inte Crucible eller Jev automatiskt, och detta är inget påstående om att GEODE i produktion fortsatte att bli bättre. Datumen är experimentens och publiceringsögonblicksbildernas datum, och pilar används bara för stegen inom ett experiment.

  1. June 3, 2026 to June 4, 2026SIL · extern policysökning

    En KEEP från en audit kontrollerades igen med upprepad mätning

    FrågaFörbättrade en policymutation verktygsanvändningen utöver auditbruset?

    Externt experiment · utanför GEODE-runtimen

    1. Baslinje · K=5
    2. En policymutation
    3. Petri-audit
    4. Upprepad mätning
      • Behåll
      • Återställ
    Vad som ändrades
    I det här experimentet lades upprepad mätning till en mutations enda audit innan beslutet att behålla eller återställa togs. Seeds med matchad svårighetsgrad och en K=5-baseline lades till, och armarna never, random och gate skiljer drift som uppstår utan någon ändring från accepterade ändringar.
    Vad det stöder
    Vid ommätning var kandidaten som behölls på en audit sämre än baselinen (lägre är bättre), så införandet återställdes. Experimentet slutade utan robust förbättring. Det är en Petri broken_tool_use-beteendeaudit, inte en belöning för uppgiftsslutförande.

  2. July 11, 2026 to July 13, 2026Crucible · extern experimentkärna

    Att stanna i sökningen och att nå produkten är separata domar

    FrågaÄr belägget för att behålla en kandidat i sökningen detsamma som belägget för att befordra och släppa den till produkten?

    Extern Crucible-kärna · separat mät-checkout

    1. Kandidat · föräldrahärstamning
    2. Kontroll av fryst kontrakt
    3. Parad mätning
      • KEEPbara till en separat förseglad dom
      • REJECT
      • INVALIDnull, inte 0%
    Vad som ändrades
    Avvisade och ogiltiga kandidater bevaras med sin föräldrahärstamning, och train-urval, förseglad kvalificering och befogenhet för produktrelease är separata loggar.
    Vad det stöder
    r14 var KEEP i train (sex uppgiftsenheter, ett försök vardera, ingen befordringsbefogenhet), men dess separata förseglade dom var REJECT (ingen befogenhet för produktbefordran eller release). r35 är INVALID på grund av ofullständig täckning och kontaminering från infrastrukturen; utan parade rader förblir medelvärdet null. Detta är varken självmodifiering av runtimen eller en driftsättningskedja SIL → Crucible.

  3. July 21, 2026 · July 31, 2026Förädling · publicering

    Återstående loggar klassificerades, och bara det som kan delas blev en oföränderlig release

    FrågaVad kan faktiskt rekonstrueras, och vad kan delas säkert?

    1. Privat källaSessionslogg · källbeläggnative-resultat · verifierare inkluderad
      • Normaliserade händelserbevara ordning · identitet
    2. Normaliserade händelseridentitet · ordning · anrop–resultat-par
      • Offentlig kandidatallowlist · maskera · digest
    3. Offentlig kandidatunder granskning
      • Kontroller: integritet · personuppgifterkontrollera
    4. Kontroller: integritet · personuppgifterpar · härstamning · omfång
      • Oföränderlig releaseendast granskade byte
    5. Offentligt repositoryOföränderlig releasemanifest · native-resultat refererade via digest
      • Fjärråterläsningverifiera hash
    6. Fjärråterläsningfastlåst SHA-256
    Vad som ändrades
    Inventeringen den 21 juli 2026 klassificerade loggar över dialog, verktyg, sökning och beslut efter källa, och dubbletter från samma källa räknades inte som oberoende exempel. Från 31 juli 2026 gör geode.trajectory@1 och geode.trajectory-release@1 identitet, händelseordning, anrop–resultat-par, integritet för omfång och uppspelning samt innehållsbundna manifest explicita. Transformerade offentliga kopior och original har separata digests.
    Vad det stöder
    Förädling betyder här normalisering, korrelation, explicit maskering, härstamning och godkännande för publicering. Den rekonstruerar inte dolda resonemang och utropar inte en datamängd som redo för träning. Ett fullständigt omfång är inte fullständig uppspelning av byte när privata texter ersätts av digests.

  4. August 25, 2026Learning view

    En rollout och dess belägg knöts samman med identifierare

    FrågaVilken indata, vilket försök, vilken händelsesekvens och vilken belöning hör ihop?

    geode.eval-learning-view@2 · sammanfogad via id:n och verifierade digests, inte en kausal ordning

    1. example
    2. rollout
    3. trajectory
    4. reward

    Native verifierarkvitton äger belöningen. Omförsök vid infrastrukturfel är försök inom en rollout.

    Vad som ändrades
    Oföränderliga trajektorier återanvänds genom avgränsade joins, och belöningar förblir härledda etiketter som ägs av evaluatorn. Omförsök vid infrastrukturfel lägger inte till rollouts. En observerad 0 bevaras och en saknad belöning är null; ogiltiga eller avbrutna försök utesluts från belöningsvalet. Giltighet är en egenskap hos rollouten, inte automatiskt en null-belöning.
    Vad det stöder
    En Terminal-Bench fast-3-körning med Harbor 0.8.0 (tre uppgifter, 3/3) och en Tau2-diagnostik över tre domäner (1/3, två giltiga nollor) är knutna i samma struktur. Det är kandidater för post-training, inte datamängder som använts för träning eller belägg för förbättrade vikter, och ett resultat på tre uppgifter är inte svitens träffsäkerhet.

  5. August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1

    En trial gav resultatet och uppspelningsloggen var för sig

    FrågaHur blir en verklig uppgiftsexekvering ett resultat och en uppspelning som går att granska?

    1. Fryst uppgift · specfastställd i förväg · fem upprepningar
      • Isolerad trialinstruktion · miljö · gränser
    2. Harbor 0.22.0-trial · verklig exekveringIsolerad trialGEODE som actor
      • Handlingar och sluttillståndexekvera
    3. Handlingar och sluttillståndobserverat beteende
      • Uppgiftens egen verifierarekontrollera uppgiftstillstånd
      • ATIF · projektion till offentliga händelserprojicera registrerade händelser
    4. Uppgiftens egen verifierare
      • Native belöning · kvittobelöning
    5. Native belöning · kvitto
      • Analys av valt försökfryst urval
    6. ATIF · projektion till offentliga händelserefterbearbetning · ingen ny körning
    7. Analys av valt försökfryst urvalsregel
    Vad som ändrades
    Den frysta specen, varje försök, det valda resultatet, uppgiftens egen verifierare och en trogen men begränsad uppspelning bevaras som separata länkade loggar. Harbor 0.22.0 körde fem upprepningar med GPT-5.6 Sol/max och jämförde GEODE (då en adapter med ett enda terminalverktyg) med Codex.
    Vad det stöder
    En uppgift äger instruktioner, miljö och tester; en trial är ett försök; ett job grupperar trials. Uppgiftens egen verifierare avgör belöningen, och GEODE:s interna slutförandebedömare är återkoppling under körningen. Den offentliga uppspelningen är en projektion i efterhand av registrerade verktygshändelser, inte en rå PTY eller en ny körning, och inga kommandon hittades på för saknade celler. Det förregistrerade primära måttet kunde inte mätas.

  6. September 24, 2026 to September 28, 2026Jev · delegering av beslut

    En korrekt kandidat kräver ändå verifiering av leveransen

    FrågaBevarar en delegerad bedömning faktiskt uppgiftskvalitet och slutleverans?

    1. U8n · Noul-körning · Harbor 0.22 · Astra exekverar och reparerar, bara bedömningsvägen ändrasBeslutstillstånduppgiftskontrakt · kandidat · verktygsobservationer
      • Bedömning · Noulbedömningsindata
    2. Bedömning · NoulAstra eller Jev
      • GEODE konsumerarsannolikheter per villkor
    3. GEODE konsumerarsupported: leverera; saknade belägg: håll inne
      • Slutleveranssupported
      • Astra-reparationsaknade belägg · håll inne
    4. Slutleverans
      • Oberoende kontroll av utfalllevererat resultat
    5. Astra-reparationnästa kandidat efter feedback
      • Bedömning · Noulbedöm igen
      • Sista kandidaten · bevaradsista kandidaten bevarad
    6. Oberoende kontroll av utfallregelorakel · levererat resultat
    7. U3:s fasta panelerendast bedömning · ingen actor, inga verktyg, ingen Harbor
    8. Diagnos i efterhand · efter körningenSista kandidaten · bevarad
      • Orakeldiagnos i efterhandkontroll i efterhand
    9. Orakeldiagnos i efterhandkandidatens korrekthet · ingen effekt på leveransen
    Vad som ändrades
    Acceptans av bedömningen, kandidatens korrekthet och slutleverans registreras som separata utfall, och härstamningen för förberedelse, fel och reparation bevaras i den offentliga kopian. Ursprungliga och transformerade offentliga hashar hålls åtskilda.
    Vad det stöder
    I de 11 paren i efterhand från den avbrutna U8n-studien var den sista kandidaten korrekt i båda armarna, men leveransen var Astra 11/11 och Jev Noul 0/11: Jev Nouls bedömning om saknade belägg höll inne leveransen. Det är en analys i efterhand och generaliseras inte. Offentlig numerisk omräkning, granskning av uppspelning och ny skarp exekvering är tre olika operationer.