DA
Geodi, GEODE's officielle pixelfigur
Tilbage til salen

GEODE

Autonomous Agent Harness

Fra observation til næste handling.

En lokal harness til autonome agenter, som research, filarbejde og planlagte opgaver kan overdrages til.

2026.02.21 — present

Design, vurdering, verifikation: Author · implementering: Claude · gennemgang: Codex

  • CLIUdgivet · PyPI
  • MCP-serverImplementeret

Kandidataccept og release-beføjelse er separate vurderinger.

Crucible er en eksperimentkerne adskilt fra policysøgning. En kandidat-commit valideres mod de tilladte flader og en frosset kontrakt, parrede opgaver aggregeres i et separat måle-checkout, og resultatet er KEEP, REJECT eller INVALID.

Crucible-kort · tegnet ud fra fastlåst commit 9e2c041 og offentlige artefakter 23e3428
Kort over GEODE CrucibleEn eksperimentkerne, der holder kandidataccept, forseglet egnethed og produktrelease som separate beføjelser. Supervisoren tager én kandidat-commit fra en producent, kontrollerer den mod den tilladte flade og den frosne evaluator og kører tau2-opgaver i et isoleret måle-checkout. promotion.py aggregerer parrede resultater efter forhåndsregistreret opgave og familie til KEEP, REJECT eller INVALID; KEEP flytter kun søgningens head. Forseglet evaluering bedømmer en train-bundle på en disjunkt testpakke, der bruges én gang; selv ELIGIBLE når kun til en eligible-ref uden release-beføjelse.Modeller: actor · brugerr14 · r35: gpt-5.4/hightau2-miljøopgaver · simuleret brugerGEODE-produktreleaseingen forbindelse · separat beføjelsesearch/producersproducentkommando · konfigureretreplay producersearch/supervisor.pypropose → preflightevaluate → decide → recordcontract.pytilladt flade · kandidat-difffrossen evaluator · forhåndsregistreretattempt/feedback.jsonfejlkoder · id'er for train-opgavermeasurement checkoutisoleret fra producentenassays/tau2-kørsel · kvitteringopgaveverifikatorpromotion.pyparret · aggregat pr. opgave · familieKEEP · REJECT · INVALIDattestation/bundle.pytrain-bundle · genberegnet KEEPattestation/sealed.pydisjunkt testpakke · bruges én gangELIGIBLE · release_authority nonerefs/cruciblesearch/* headeligible/*geode-eval-artifactsr14 · train KEEP → sealed REJECTr35 · INVALID · 0 par · nullevolve/crucibleekstern eksperimentkerne · adskilt fra SILsøgning · train-domattestation · sealed1 anmod om en kandidat · propose → preflight → search/producers12 én kandidat-commit · search/producers → propose → preflight23 tilladt flade · diff-kontrol · propose → preflight → tilladt flade · kandidat-diff34isoleret checkout5kørsel under fast kontrakt6actor · brugerdialog7modelkald8paired evidence9forhåndsregistreret aggregering10KEEP · head flyttes1paired evidence2forhåndsregistreret aggregering3REJECT · INVALID4fejlkoder · opgave-id'er1record · ref receipt2 kun train-bundle · én gang · train-bundle · genberegnet KEEP → disjunkt testpakke · bruges én gang23 kun eligible-ref · ELIGIBLE · release_authority none → eligible/*31offentlig verdict.json2sealed decision.json

Train-dom

Én kandidat inden for den tilladte flade måles under fast kontrakt i et isoleret checkout, og forhåndsregistrerede regler afgør KEEP, REJECT eller INVALID.

  1. propose → preflightsearch/supervisor.pyanmod om en kandidatsearch/producers

    Søgningens supervisor beder en producent om en kandidat. Kandidaten i r14 var en tidligere kandidat (r13), som replay-producenten anvendte igen, ikke en ny LLM-genereret.

  2. search/producersén kandidat-commitpropose → preflightsearch/supervisor.py

    En producent returnerer én kandidat-commit inden for de tilladte stier.

  3. propose → preflightsearch/supervisor.pytilladt flade · diff-kontroltilladt flade · kandidat-diffcontract.py

    Kandidatens diff skal holde sig inden for kontraktens tilladte flade, og den frosne evaluator verificeres. I r14 og r35 var det tilladte mål én fil, tau2_agent_policy.md; core og Crucible-implementeringen var fastlåst som evaluatorsti.

  4. evaluate → decide → recordsearch/supervisor.pyisoleret checkoutisoleret fra producentenmeasurement checkout

    Kandidaten kontrolleres i et måle-checkout adskilt fra producenten.

  5. isoleret fra producentenmeasurement checkoutkørsel under fast kontrakttau2-kørsel · kvitteringassays/

    Baseline og kandidat kører med samme kontrakt, seed og opgaver.

  6. tau2-kørsel · kvitteringassays/actor · brugerdialogtau2-miljø

    GEODE-agenten (actor) taler med den evaluator-ejede simulerede bruger i tau2-opgavemiljøet.

  7. tau2-kørsel · kvitteringassays/modelkaldModeller: actor · bruger

    I r14 og r35 var både actor og simuleret bruger gpt-5.4/high (abonnement).

  8. opgaveverifikatorassays/paired evidenceparret · aggregat pr. opgave · familiepromotion.py

    Opgaveverifikatorens resultater gemmes som par af baseline og kandidat.

  9. frossen evaluator · forhåndsregistreretcontract.pyforhåndsregistreret aggregeringparret · aggregat pr. opgave · familiepromotion.py

    Parrede resultater aggregeres efter opgave og forhåndsregistreret familie, og betingelser for budget, dækning, infrastruktur og sikkerhed kontrolleres separat.

  10. KEEP · REJECT · INVALIDpromotion.pyKEEP · head flyttessearch/* headrefs/crucible

    Ved KEEP bliver næste head i refs/crucible/search/* til kandidaten. En train-doms promotion_authority er none.

Afvist · ugyldig · feedback

REJECT og INVALID beholder head, og næste kandidat får kun fejlkoder og faste id'er for train-opgaver. INVALID er ikke en score på nul.

  1. opgaveverifikatorassays/paired evidenceparret · aggregat pr. opgave · familiepromotion.py

    Opgaveverifikatorens resultater gemmes som par af baseline og kandidat.

  2. frossen evaluator · forhåndsregistreretcontract.pyforhåndsregistreret aggregeringparret · aggregat pr. opgave · familiepromotion.py

    Parrede resultater aggregeres efter opgave og forhåndsregistreret familie, og betingelser for budget, dækning, infrastruktur og sikkerhed kontrolleres separat.

  3. KEEP · REJECT · INVALIDpromotion.pyREJECT · INVALIDfejlkoder · id'er for train-opgaverattempt/feedback.json

    Ved afvisning eller ugyldighed bliver det tidligere head stående, og kandidaten og dens logs bevares. Et INVALID-gennemsnit er null, ikke nul.

  4. fejlkoder · id'er for train-opgaverattempt/feedback.jsonfejlkoder · opgave-id'ersearch/producers

    Feedback til næste kandidat er begrænset til fejlkoder og faste id'er for train-opgaver; ingen evaluator-trajektorier eller svar gives videre.

Forseglet egnethed · separat beføjelse

Train-KEEP flytter kun søgningens head. Forseglet egnethed når kun til eligible-ref'en; produktrelease og udrulning er separate beføjelser uden for Crucible.

  1. evaluate → decide → recordsearch/supervisor.pyrecord · ref receipttrain-bundle · genberegnet KEEPattestation/bundle.py

    En train-bundle holder kun, når kontrakt, belæg for baseline og kandidat, den genberegnede KEEP, forslagets afstamning, supervisor-loggen og kvitteringen for den anvendte ref alle hænger sammen. Den er ikke et andet ord for forbedring.

  2. train-bundle · genberegnet KEEPattestation/bundle.pykun train-bundle · én gangdisjunkt testpakke · bruges én gangattestation/sealed.py

    Forseglet evaluering bruger en testpakke, der er disjunkt fra train, én gang og uden genforsøg ved infrastrukturfejl.

  3. ELIGIBLE · release_authority noneattestation/sealed.pykun eligible-refeligible/*refs/crucible

    Selv ELIGIBLE skriver kun refs/crucible/eligible/*, og release_authority er fastlåst til none.

Offentlige logs · r14 · r35

r14 var train-KEEP og derefter forseglet REJECT; r35 (13. juli 2026) var INVALID på grund af ufuldstændig dækning og forurening fra infrastrukturen (0 parrede rækker, gennemsnit null), med uændret head.

  1. KEEP · REJECT · INVALIDpromotion.pyoffentlig verdict.jsongeode-eval-artifacts

    De offentlige artefakter er normaliserede logs fastlåst ved 23e3428. Den forhåndsregistrerede train-config-hash for r14 afviger fra de offentlige config-bytes, så hele den oprindelige kæde er ikke gencertificeret.

  2. attestation/sealed.pysealed decision.jsonr14 · train KEEP → sealed REJECTgeode-eval-artifacts

    r14: KEEP på telecom-train, 6 opgaver × 1 forsøg (6 parrede rækker, ingen forfremmelsesbeføjelse), derefter en separat forseglet dom på REJECT (ingen release-beføjelse).

Alle forbindelser med samme tykkelse. Vælg et flow for kun at fremhæve dets vej med nummererede trin.

  • Fuldt optrukket · den retning, forespørgsler, kandidater og resultater flyder
  • Stiplet · køre, afgøre, autorisere, konfigurere
  • Kraftig sort linje · det valgte flow; tal angiver rækkefølgen
  • Boks · en kode- eller loggrænse med stien i overskriften
  • Indre chip · en komponent inden for grænsen
  • Stiplet boks · uden for grænsen
  • søgningens supervisor
  • kontrakt · dom · attestering
  • refs · logs
  • producenter · udførelse

Crucible er en kerne adskilt fra SIL; de to søgninger er ikke én pipeline, der forfremmer hinandens kandidater. Boksen for produktrelease har ingen indgående forbindelse.

Tre beføjelser
Train-KEEP flytter søgningens head, forseglet ELIGIBLE registrerer en eligible-ref, og produktrelease er en separat beslutning uden for Crucible. En tidligere dom giver aldrig en senere beføjelse.
Null er ikke nul
r35 planlagde 9 opgaver × 3 forsøg (27 rækker pr. arm), men havde 0 sammenlignelige par, så gennemsnit og forbedring er null. Det er ikke 27 fejlede opgaver eller en succesrate på 0%.