ET
Geodi, GEODE ametlik pikslitegelane
Tagasi saali

GEODE

Autonomous Agent Harness

Vaatlusest järgmise tegevuseni.

Kohalik autonoomse agendi rakis, millele saab anda uurimistööd, failitöid ja ajastatud ülesandeid.

2026.02.21 — present

Kavandamine, hinnang, verifitseerimine: Author · teostus: Claude · ülevaatus: Codex

  • CLIAvaldatud · PyPI
  • MCP-serverTeostatud

Kandidaadi vastuvõtt ja väljalaskeõigus on eraldi otsused.

Crucible on poliitikaotsingust eraldi katsetuum. Kandidaatcommit valideeritakse lubatud pindade ja külmutatud lepingu vastu, paarisülesanded koondatakse eraldi mõõtmise töökoopias ning tulemus on KEEP, REJECT või INVALID.

Crucible'i kaart · joonistatud fikseeritud commiti 9e2c041 ja avalike artefaktide 23e3428 põhjal
GEODE Crucible'i kaartKatsetuum, mis hoiab kandidaadi vastuvõtu, pitseeritud sobivuse ja toote väljalaske eraldi volitustena. Järelevalvaja võtab tootjalt ühe kandidaatcommiti, kontrollib seda lubatud pinna ja külmutatud hindaja vastu ning käivitab tau2 ülesanded isoleeritud mõõtmise töökoopias. promotion.py koondab paaristulemused eelregistreeritud ülesannete ja perekondade kaupa tulemuseks KEEP, REJECT või INVALID; KEEP liigutab ainult otsingu head'i. Pitseeritud hindamine otsustab train-komplekti üle ühekordse lõikumatu testikomplektiga; isegi ELIGIBLE jõuab ainult eligible-refini, ilma väljalaskeõiguseta.Toimija- · kasutajamudelidr14 · r35: gpt-5.4/hightau2 keskkondülesanded · simuleeritud kasutajaGEODE toote väljalaseühendus puudub · eraldi volitussearch/producerstootja käsk · seadistatudreplay producersearch/supervisor.pypropose → preflightevaluate → decide → recordcontract.pylubatud pind · kandidaadi diffkülmutatud hindaja · eelregistreeritudattempt/feedback.jsonveakoodid · train-ülesannete ID-dmeasurement checkouttootjast isoleeritudassays/tau2 käivitus · receiptülesande kontrollijapromotion.pypaaris · ülesanne · perekonna koondKEEP · REJECT · INVALIDattestation/bundle.pytrain-komplekt · ümberarvutatud KEEPattestation/sealed.pylõikumatu testikomplekt · kasutatakse üks kordELIGIBLE · release_authority nonerefs/cruciblesearch/* headeligible/*geode-eval-artifactsr14 · train KEEP → sealed REJECTr35 · INVALID · 0 paari · nullevolve/crucibleväline katsetuum · SIL-ist eraldiotsing · train-verdiktattestation · sealed1 kandidaadi taotlus · propose → preflight → search/producers12 üks kandidaatcommit · search/producers → propose → preflight23 lubatud pind · diffi kontroll · propose → preflight → lubatud pind · kandidaadi diff34isoleeritud töökoopia5käivitus fikseeritud lepinguga6toimija · kasutaja dialoog7mudelikutsed8paired evidence9eelregistreeritud koondamine10KEEP · head liigub1paired evidence2eelregistreeritud koondamine3REJECT · INVALID4veakoodid · ülesannete ID-d1record · ref receipt2 ainult train-komplekt · üks kord · train-komplekt · ümberarvutatud KEEP → lõikumatu testikomplekt · kasutatakse üks kord23 ainult eligible-ref · ELIGIBLE · release_authority none → eligible/*31avalik verdict.json2sealed decision.json

Train-verdikt

Üht lubatud pinna piires olevat kandidaati mõõdetakse fikseeritud lepinguga isoleeritud töökoopias ning eelregistreeritud reeglid otsustavad KEEP, REJECT või INVALID.

  1. propose → preflightsearch/supervisor.pykandidaadi taotlussearch/producers

    Otsingu järelevalvaja küsib tootjalt kandidaati. r14 kandidaat oli replay-tootja uuesti rakendatud varasem kandidaat (r13), mitte uus LLM-i genereeritud kandidaat.

  2. search/producersüks kandidaatcommitpropose → preflightsearch/supervisor.py

    Tootja tagastab ühe kandidaatcommiti lubatud teede piires.

  3. propose → preflightsearch/supervisor.pylubatud pind · diffi kontrolllubatud pind · kandidaadi diffcontract.py

    Kandidaadi diff peab jääma lepingu lubatud pinna piiresse ja külmutatud hindaja verifitseeritakse. r14 ja r35 puhul oli lubatud sihtmärk üks fail, tau2_agent_policy.md; core ja Crucible'i teostus olid fikseeritud hindaja teena.

  4. evaluate → decide → recordsearch/supervisor.pyisoleeritud töökoopiatootjast isoleeritudmeasurement checkout

    Kandidaati kontrollitakse tootjast eraldatud mõõtmise töökoopias.

  5. tootjast isoleeritudmeasurement checkoutkäivitus fikseeritud lepingugatau2 käivitus · receiptassays/

    Baastase ja kandidaat käivitatakse sama lepingu, seemne ja ülesannetega.

  6. tau2 käivitus · receiptassays/toimija · kasutaja dialoogtau2 keskkond

    GEODE agent (toimija) vestleb tau2 ülesandekeskkonnas hindajale kuuluva simuleeritud kasutajaga.

  7. tau2 käivitus · receiptassays/mudelikutsedToimija- · kasutajamudelid

    r14 ja r35 puhul olid nii toimija kui ka simuleeritud kasutaja gpt-5.4/high (tellimus).

  8. ülesande kontrollijaassays/paired evidencepaaris · ülesanne · perekonna koondpromotion.py

    Ülesande kontrollija tulemused säilitatakse baastaseme ja kandidaadi paaridena.

  9. külmutatud hindaja · eelregistreeritudcontract.pyeelregistreeritud koondaminepaaris · ülesanne · perekonna koondpromotion.py

    Paaristulemused koondatakse ülesannete ja eelregistreeritud perekondade kaupa ning eelarve, katvuse, infrastruktuuri ja ohutuse tingimusi kontrollitakse eraldi.

  10. KEEP · REJECT · INVALIDpromotion.pyKEEP · head liigubsearch/* headrefs/crucible

    KEEP-i korral saab järgmisest refs/crucible/search/* head'ist kandidaat. Train-verdikti promotion_authority on none.

Tagasilükkamine · kehtetu · tagasiside

REJECT ja INVALID hoiavad head'i alles ning järgmine kandidaat saab ainult veakoodid ja fikseeritud train-ülesannete ID-d. INVALID ei ole nullskoor.

  1. ülesande kontrollijaassays/paired evidencepaaris · ülesanne · perekonna koondpromotion.py

    Ülesande kontrollija tulemused säilitatakse baastaseme ja kandidaadi paaridena.

  2. külmutatud hindaja · eelregistreeritudcontract.pyeelregistreeritud koondaminepaaris · ülesanne · perekonna koondpromotion.py

    Paaristulemused koondatakse ülesannete ja eelregistreeritud perekondade kaupa ning eelarve, katvuse, infrastruktuuri ja ohutuse tingimusi kontrollitakse eraldi.

  3. KEEP · REJECT · INVALIDpromotion.pyREJECT · INVALIDveakoodid · train-ülesannete ID-dattempt/feedback.json

    Tagasilükkamise või kehtetuse korral jääb eelmine head alles ning kandidaat ja selle kirjed säilitatakse. INVALID-i keskmine on null, mitte 0.

  4. veakoodid · train-ülesannete ID-dattempt/feedback.jsonveakoodid · ülesannete ID-dsearch/producers

    Tagasiside järgmisele kandidaadile piirdub veakoodide ja fikseeritud train-ülesannete ID-dega; hindaja trajektoore ega vastuseid edasi ei anta.

Pitseeritud sobivus · eraldi volitus

Train-KEEP liigutab ainult otsingu head'i. Pitseeritud sobivus jõuab ainult eligible-refini; toote väljalase ja juurutamine on eraldi volitused väljaspool Crucible'it.

  1. evaluate → decide → recordsearch/supervisor.pyrecord · ref receipttrain-komplekt · ümberarvutatud KEEPattestation/bundle.py

    Train-komplekt kehtib ainult siis, kui leping, baastaseme ja kandidaadi tõendid, ümberarvutatud KEEP, ettepaneku põlvnemine, järelevalvaja kirje ja rakendatud refi receipt on kõik omavahel seotud. See ei ole paranemise teine nimi.

  2. train-komplekt · ümberarvutatud KEEPattestation/bundle.pyainult train-komplekt · üks kordlõikumatu testikomplekt · kasutatakse üks kordattestation/sealed.py

    Pitseeritud hindamine kasutab train-andmetest lõikumatut testikomplekti üks kord, ilma infrastruktuuri kordusteta.

  3. ELIGIBLE · release_authority noneattestation/sealed.pyainult eligible-refeligible/*refs/crucible

    Isegi ELIGIBLE kirjutab ainult refs/crucible/eligible/* ja release_authority on fikseeritud väärtusele none.

Avalikud kirjed · r14 · r35

r14 oli train-KEEP ja seejärel pitseeritud REJECT; r35 (13. juuli 2026) oli INVALID puuduliku katvuse ja infrastruktuuri saastumise tõttu (0 paarisrida, keskmine null) ning head jäi muutmata.

  1. KEEP · REJECT · INVALIDpromotion.pyavalik verdict.jsongeode-eval-artifacts

    Avalikud artefaktid on normaliseeritud kirjed, mis on fikseeritud kohale 23e3428. r14 eelregistreeritud train-konfiguratsiooni räsi erineb avaliku konfiguratsiooni baitidest, seega kogu algset ahelat ei ole uuesti sertifitseeritud.

  2. attestation/sealed.pysealed decision.jsonr14 · train KEEP → sealed REJECTgeode-eval-artifacts

    r14: KEEP telecom-train-andmetel, 6 ülesannet × 1 katse (6 paarisrida, edutamisõiguseta), seejärel eraldi pitseeritud verdikt REJECT (väljalaskeõiguseta).

Kõik ühendused sama kaaluga. Vali voog, et tõsta esile ainult selle tee koos nummerdatud sammudega.

  • Pidevjoon · päringute, kandidaatide ja tulemuste liikumissuund
  • Kriipsjoon · käivitamine, otsustamine, volitamine, seadistamine
  • Paks must joon · valitud voog; numbrid näitavad järjekorda
  • Kast · koodi või kirjete piir, tee päises
  • Sisemine silt · komponent selle piiri sees
  • Kriipsjoonega kast · sellest piirist väljas
  • otsingu järelevalvaja
  • leping · verdikt · atesteerimine
  • refid · kirjed
  • tootjad · täitmine

Crucible on SIL-ist eraldi tuum; need kaks otsingut ei ole üks konveier, mis teineteise kandidaate edutaks. Toote väljalaske kasti ei tule ühtegi ühendust.

Kolm volitust
Train-KEEP liigutab otsingu head'i, pitseeritud ELIGIBLE salvestab eligible-refi ja toote väljalase on eraldi otsus väljaspool Crucible'it. Varasem verdikt ei anna kunagi hilisemat volitust.
Null ei ole 0
r35 kavandas 9 ülesannet × 3 katset (27 rida haru kohta), kuid võrreldavaid paare oli 0, seega on selle keskmine ja paranemine null. See ei ole 27 läbikukkunud ülesannet ega 0% edukus.