SK
Geodi, oficiálna pixelová postava GEODE
Späť do sály

GEODE

Autonomous Agent Harness

Od pozorovania k ďalšej akcii.

Lokálny harness autonómneho agenta, ktorému sa dá zveriť výskum, práca so súbormi a plánované úlohy.

2026.02.21 — present

Návrh, posúdenie, overenie: autor · implementácia: Claude · revízia: Codex

  • CLIZverejnené · PyPI
  • Server MCPImplementované

Meniť jednu politiku po druhej; meranie držať pevné.

Samostatná slučka, ktorá beží mimo harnessu. Od baseline aplikuje jednu typovanú zmenu politiky a ten istý audit Petri a tá istá brána rozhodnú medzi KEEP a obnovením.

Mapa SIL · nakreslené podľa ciest evolve v pripnutom commite 9e2c041 a záznamu behu z June 2026
Mapa hľadania politík GEODE (SIL)Slučka hľadania politík, ktorá beží mimo behového prostredia. Schválený kontrakt behu fixuje rozpočet, seedy, rubriku a modely a mutátor mení jednu politiku zo siedmich povolených plôch. measure.py audituje GEODE tým istým aparátom cez Petri; fitness.py a gate.py rozhodujú o KEEP alebo vrátení podľa pravidiel kritickej regresie a povýšenia; ledger.py zapisuje baseline a riadky výsledkov. Beh z June 2026 oddelil šum auditu od efektu mutácie pomocou ramena never bez zmeny, baseline K=5 a opakovaných meraní.Schválenie operátoraživé volania · rozpočetAudit Petriauditor · GEODE target · judgeprogram.mdkontrakt behu · modely · rozpočetpravidlá zastavenia · spustenie po schválenítrain.pyslučka s pevným rozpočtom--replicate K · nové meranieloop/mutatemutátor · jeden kandidát7 plôch · bez hyperparametrovstate/policiespolitika uložená v súboreprepare.pyfond seedov · rubrika pevnámeasure.pypodproces auditu · pevný timeoutOVERRIDE pre každú politiku · STRICTfitness.pykritická regresia · penalizácieledger.pybaseline · provenancevýsledky · riadky mutáciígate.py_should_promote · KEEP_reject_and_revertcore · loadery politíkvetva promptu · system_prompt.py6 loaderov politík · tool, skill…run-2606-broken-tool-usebaseline gen-0 · priemer 5 auditovrameno never · kontrola bez zmenyramená random · gatereplicate · nové meranie jediného KEEPevolve/scaffold_searchexterná slučka hľadania · mimo behového prostrediakandidátska zmenajedna na behmerací aparátpočas porovnania pevnýrun-2606 · June 3–4, 2026broken_tool_useAuditovaný GEODEmenia sa len povolené politiky1 schválenie · Schválenie operátora → kontrakt behu · modely · rozpočet12 kontrakt behu · kontrakt behu · modely · rozpočet → slučka s pevným rozpočtom23 žiadosť o jedného kandidáta · slučka s pevným rozpočtom → mutátor · jeden kandidát34zmena politiky · ID mutácie5 seedy · rubrika pevné · fond seedov · rubrika pevná → podproces auditu · pevný timeout56zvolená politika7cesty override pre každú politiku8audit subprocess9dialóg auditu1skóre dimenzií2 baseline · provenance · baseline · provenance → kritická regresia · penalizácie23 fitness · dôvody regresie · kritická regresia · penalizácie → _should_promote · KEEP34KEEP · ďalší baseline5REJECT · obnovenie predchádzajúcej hodnoty6výsledok · riadok rozhodnutia1tri ramená2baseline z priemeru K=53meranie bez zmeny4--replicate K5nové meranie → vrátenie

Jedna zmena → audit

Pri pevnom kontrakte behu sa zmení jedna povolená politika a GEODE sa audituje tým istým aparátom. Nejde o bežiaci produkt, ktorý prepisuje sám seba.

  1. Schválenie operátoraschváleniekontrakt behu · modely · rozpočetprogram.md

    Beh sa začne až po schválení živých volaní a pevného rozpočtu. Bez schválenia sa kontrakt len pripraví a skontroluje offline.

  2. kontrakt behu · modely · rozpočetprogram.mdkontrakt behuslučka s pevným rozpočtomtrain.py

    Revízie seedov a rubriky, modely rolí a zdroje prihlasovacích údajov, nastavenia merania, rozpočty iterácií, času a nákladov, politika povýšenia a podmienky zastavenia sa fixujú pred behom.

  3. slučka s pevným rozpočtomtrain.pyžiadosť o jedného kandidátamutátor · jeden kandidátloop/mutate

    Jedna hypotéza podložená dokladmi mení jednu povolenú plochu politiky.

  4. 7 plôch · bez hyperparametrovloop/mutatezmena politiky · ID mutáciepolitika uložená v súborestate/policies

    Meniť sa dá len sedem plôch: obalový prompt, politika nástrojov, rady k dekompozícii, reflexia, metadáta katalógu zručností, kontrakt agenta (role, system_prompt, tools) a popisy a nápovedy nástrojov. Zmeny hyperparametrov sa odmietajú pri parsovaní aj pri aplikácii. Aplikácia politiky, nové meranie a voliteľný commit sú samostatné kroky, takže aplikácia sama osebe nie je auditom.

  5. fond seedov · rubrika pevnáprepare.pyseedy · rubrika pevnépodproces auditu · pevný timeoutmeasure.py

    prepare.py je pevnou referenciou pre fond seedov a rubriku; kandidáti ho nemenia. Zmena meracieho modulu mení meranie, nie testovaný systém.

  6. politika uložená v súborestate/policieszvolená politikaOVERRIDE pre každú politiku · STRICTmeasure.py

    measure.py číta aktuálne zvolený súbor politiky a odovzdáva ho do prostredia auditu.

  7. OVERRIDE pre každú politiku · STRICTmeasure.pycesty override pre každú politikucore · loadery politík

    measure.py odovzdáva podprocesu auditu wrapper a cesty override a strict pre každú politiku a zodpovedajúci loader politiky v behovom prostredí každú z nich číta. Wrapper (GEODE_WRAPPER_OVERRIDE → system_prompt) je jedna vetva; ďalšie kľúče prostredia nerozširujú sedem meniteľných plôch. Samotný upravený súbor nedokazuje, že kandidát dorazil k cieľu; potvrdzuje to diagnostika v dokladoch auditu.

  8. podproces auditu · pevný timeoutmeasure.pyaudit subprocessAudit Petri

    Audit beží s pevným timeoutom a rozpočtom, ktoré sa počas porovnania nikdy nemenia. Chýbajúci výstup je diagnostická medzera, nie nulové skóre.

  9. Audit Petridialóg auditucore · loadery politík

    Audítor hovorí s GEODE prostredníctvom scenára seedu a sudca hodnotí prepis.

Rozhodnutie → ponechať · obnoviť

V porovnaní s baseline s rovnakým kontraktom rozhodujú o KEEP kritické regresie a pravidlo povýšenia; zamietnutá zmena sa vráti na zaznamenanú predchádzajúcu hodnotu.

  1. Audit Petriskóre dimenziíkritická regresia · penalizáciefitness.py

    Skóre sa odovzdávajú spolu s chýbajúcimi dimenziami a počtami vzoriek. Nezmeraná dimenzia sa nečíta ako pozorovanie.

  2. baseline · provenanceledger.pybaseline · provenancekritická regresia · penalizáciefitness.py

    Porovnanie používa len baseline s rovnakým zaznamenaným kontraktom a epochou. Nová vetva Git stav baseline neizoluje.

  3. kritická regresia · penalizáciefitness.pyfitness · dôvody regresie_should_promote · KEEPgate.py

    Najprv sa kontrolujú regresie kritických dimenzií a pomocné penalizácie, potom test marže alebo cieľovej dimenzie. Samotný kladný skalár nikdy nepovyšuje.

  4. _should_promote · KEEPgate.pyKEEP · ďalší baselinebaseline · provenanceledger.py

    Ponechaný kandidát sa stane ďalším baseline. Kandidát ponechaný lokálne nie je zlúčenie do repozitára ani vydanie.

  5. _reject_and_revertgate.pyREJECT · obnovenie predchádzajúcej hodnotypolitika uložená v súborestate/policies

    Pri kandidátovi vytvorenom runnerom sa obnoví oddiel politiky zaznamenaný pod jeho ID mutácie a neúspešné obnovenie sa označí. Manuálne zmeny sa automaticky neobnovujú a neisté obnovenie zastaví ďalšieho kandidáta.

  6. _should_promote · KEEPgate.pyvýsledok · riadok rozhodnutiavýsledky · riadky mutáciíledger.py

    Meranie, rozhodnutie a pôvod sa zapisujú raz ako riadky výsledkov; historické riadky sa nikdy neprepisujú.

Kontroly · opakované meranie

Beh z June 2026: rameno never bez zmeny a baseline K=5 zmerali šum auditu osobitne a KEEP z jediného auditu bol znova overený opakovaním.

  1. run-2606-broken-tool-usetri ramenáslučka s pevným rozpočtomtrain.py

    Beh z June 3–4, 2026 oddelil drift od efektu mutácie pomocou troch ramien: never (bez zmeny), random (náhodné prijatie) a gate (prijatie podľa rozhodnutia). Cieľom bol GPT-5.5; audítorom a sudcom bol Claude Opus 4.8.

  2. baseline gen-0 · priemer 5 auditovrun-2606-broken-tool-usebaseline z priemeru K=5baseline · provenanceledger.py

    Baseline gen-0 bol priemerom piatich auditov (Petri broken_tool_use, nižšie je lepšie, priemer 2.667).

  3. rameno never · kontrola bez zmenyrun-2606-broken-tool-usemeranie bez zmenypodproces auditu · pevný timeoutmeasure.py

    Rameno never sa bez akejkoľvek zmeny politiky posunulo na priemer 3.38 (10 auditov, nižšie je lepšie): priamy doklad, že šum auditu prevýšil efekt mutácie.

  4. --replicate K · nové meranietrain.py--replicate Kpodproces auditu · pevný timeoutmeasure.py

    Ten istý kandidát sa za rovnakých podmienok zmeria ešte K-krát, aby sa odfiltroval šťastný jediný audit.

  5. replicate · nové meranie jediného KEEPrun-2606-broken-tool-usenové meranie → vrátenie_reject_and_revertgate.py

    Kandidát ponechaný na základe jediného auditu gate (1.6) nameral v opakovaniach 3.0–3.8, horšie ako baseline, preto bol obnovený champion 2.667. Záver behu: žiadne jasné zlepšenie.

Každé spojenie s rovnakou váhou. Výber toku zvýrazní len jeho cestu s očíslovanými krokmi.

  • Plná čiara · smer toku požiadaviek, kandidátov a výsledkov
  • Prerušovaná čiara · spustenie, rozhodnutie, autorizácia, konfigurácia
  • Dlhá bodkočiarkovaná · záznamy a pozorovanie, oddelené od rozhodnutia
  • Hrubá čierna čiara · zvolený tok; čísla udávajú poradie
  • Rámček · hranica kódu alebo záznamu, cesta v hlavičke
  • Vnútorný štítok · komponent v tejto hranici
  • Prerušovaný rámček · mimo tejto hranice
  • slučka · merací beh
  • kontrakt · rozhodnutie
  • politika · záznamy
  • zmena · auditovaný cieľ · záznam behu

Ovládač SIL v GEODE sa volá autoresearch; jeho usporiadanie prepare/train/program a pevný rozpočet vychádzajú z Karpathyho autoresearch. Váhy modelu sa nemenia a aparát aj rozpočet zostávajú počas porovnania pevné.

Čo sa smie meniť
Sedem plôch: obalový prompt, politika nástrojov, rady k dekompozícii, reflexia, metadáta katalógu zručností, kontrakt agenta a popisy a nápovedy nástrojov. Evaluátor, rozpočet, seedy a rubrika zostávajú počas porovnania pevné.
Rozsah záznamu behu
Hodnoty run-2606 sú priemery Petri broken_tool_use z tohto behu (nižšie je lepšie). Nie sú dokladom kumulatívneho zlepšenia SIL ani zovšeobecnenia.