CS
Geodi, oficiální pixelová postava GEODE
Zpět do sálu

GEODE

Autonomous Agent Harness

Od pozorování k další akci.

Lokální harness autonomního agenta, kterému lze svěřit výzkum, práci se soubory a plánované úlohy.

2026.02.21 — present

Návrh, posouzení, ověření: autor · implementace: Claude · revize: Codex

  • CLIZveřejněno · PyPI
  • Server MCPImplementováno

Měnit jednu politiku po druhé; měření držet pevné.

Samostatná smyčka, která běží mimo harness. Od baseline aplikuje jednu typovanou změnu politiky a stejný audit Petri a stejná brána rozhodnou mezi KEEP a obnovením.

Mapa SIL · nakresleno podle cest evolve v připnutém commitu 9e2c041 a záznamu běhu z June 2026
Mapa hledání politik GEODE (SIL)Smyčka hledání politik, která běží mimo běhové prostředí. Schválený kontrakt běhu fixuje rozpočet, seedy, rubriku a modely a mutátor mění jednu politiku ze sedmi povolených ploch. measure.py audituje GEODE stejným aparátem přes Petri; fitness.py a gate.py rozhodují o KEEP nebo vrácení podle pravidel kritické regrese a povýšení; ledger.py zapisuje baseline a řádky výsledků. Běh z June 2026 oddělil šum auditu od efektu mutace pomocí ramene never bez změny, baseline K=5 a opakovaných měření.Schválení operátoraživá volání · rozpočetAudit Petriauditor · GEODE target · judgeprogram.mdkontrakt běhu · modely · rozpočetpravidla zastavení · spuštění po schválenítrain.pysmyčka s pevným rozpočtem--replicate K · nové měřeníloop/mutatemutátor · jeden kandidát7 ploch · bez hyperparametrůstate/policiespolitika uložená v souboruprepare.pyfond seedů · rubrika pevnámeasure.pypodproces auditu · pevný timeoutOVERRIDE pro každou politiku · STRICTfitness.pykritická regrese · penalizaceledger.pybaseline · provenancevýsledky · řádky mutacígate.py_should_promote · KEEP_reject_and_revertcore · loadery politikvětev promptu · system_prompt.py6 loaderů politik · tool, skill…run-2606-broken-tool-usebaseline gen-0 · průměr 5 auditůrameno never · kontrola beze změnyramena random · gatereplicate · nové měření jediného KEEPevolve/scaffold_searchexterní smyčka hledání · mimo běhové prostředíkandidátní změnajedna na běhměřicí aparátběhem porovnání pevnýrun-2606 · June 3–4, 2026broken_tool_useAuditovaný GEODEmění se jen povolené politiky1 schválení · Schválení operátora → kontrakt běhu · modely · rozpočet12 kontrakt běhu · kontrakt běhu · modely · rozpočet → smyčka s pevným rozpočtem23 žádost o jednoho kandidáta · smyčka s pevným rozpočtem → mutátor · jeden kandidát34změna politiky · ID mutace5 seedy · rubrika pevné · fond seedů · rubrika pevná → podproces auditu · pevný timeout56zvolená politika7cesty override pro každou politiku8audit subprocess9dialog auditu1skóre dimenzí2 baseline · provenance · baseline · provenance → kritická regrese · penalizace23 fitness · důvody regrese · kritická regrese · penalizace → _should_promote · KEEP34KEEP · další baseline5REJECT · obnovení předchozí hodnoty6výsledek · řádek rozhodnutí1tři ramena2baseline z průměru K=53měření beze změny4--replicate K5nové měření → vrácení

Jedna změna → audit

Při pevném kontraktu běhu se změní jedna povolená politika a GEODE se audituje stejným aparátem. Nejde o běžící produkt, který přepisuje sám sebe.

  1. Schválení operátoraschváleníkontrakt běhu · modely · rozpočetprogram.md

    Běh začne až po schválení živých volání a pevného rozpočtu. Bez schválení se kontrakt jen připraví a zkontroluje offline.

  2. kontrakt běhu · modely · rozpočetprogram.mdkontrakt běhusmyčka s pevným rozpočtemtrain.py

    Revize seedů a rubriky, modely rolí a zdroje přihlašovacích údajů, nastavení měření, rozpočty iterací, času a nákladů, politika povýšení a podmínky zastavení se fixují před během.

  3. smyčka s pevným rozpočtemtrain.pyžádost o jednoho kandidátamutátor · jeden kandidátloop/mutate

    Jedna hypotéza podložená doklady mění jednu povolenou plochu politiky.

  4. 7 ploch · bez hyperparametrůloop/mutatezměna politiky · ID mutacepolitika uložená v souborustate/policies

    Měnit lze jen sedm ploch: obalový prompt, politiku nástrojů, rady k dekompozici, reflexi, metadata katalogu dovedností, kontrakt agenta (role, system_prompt, tools) a popisy a nápovědy nástrojů. Změny hyperparametrů se odmítají při parsování i při aplikaci. Aplikace politiky, nové měření a volitelný commit jsou samostatné kroky, takže aplikace sama o sobě není auditem.

  5. fond seedů · rubrika pevnáprepare.pyseedy · rubrika pevnépodproces auditu · pevný timeoutmeasure.py

    prepare.py je pevnou referencí pro fond seedů a rubriku; kandidáti ho nemění. Změna měřicího modulu mění měření, nikoli testovaný systém.

  6. politika uložená v souborustate/policieszvolená politikaOVERRIDE pro každou politiku · STRICTmeasure.py

    measure.py čte aktuálně zvolený soubor politiky a předává ho do prostředí auditu.

  7. OVERRIDE pro každou politiku · STRICTmeasure.pycesty override pro každou politikucore · loadery politik

    measure.py předává podprocesu auditu wrapper a cesty override a strict pro každou politiku a odpovídající loader politiky v běhovém prostředí každou z nich čte. Wrapper (GEODE_WRAPPER_OVERRIDE → system_prompt) je jedna větev; další klíče prostředí nerozšiřují sedm měnitelných ploch. Samotný upravený soubor nedokazuje, že kandidát dorazil k cíli; potvrzuje to diagnostika v dokladech auditu.

  8. podproces auditu · pevný timeoutmeasure.pyaudit subprocessAudit Petri

    Audit běží s pevným timeoutem a rozpočtem, které se během porovnání nikdy nemění. Chybějící výstup je diagnostická mezera, nikoli nulové skóre.

  9. Audit Petridialog auditucore · loadery politik

    Auditor mluví s GEODE prostřednictvím scénáře seedu a soudce hodnotí přepis.

Rozhodnutí → ponechat · obnovit

Ve srovnání s baseline se stejným kontraktem rozhodují o KEEP kritické regrese a pravidlo povýšení; zamítnutá změna se vrátí na zaznamenanou předchozí hodnotu.

  1. Audit Petriskóre dimenzíkritická regrese · penalizacefitness.py

    Skóre se předávají spolu s chybějícími dimenzemi a počty vzorků. Nezměřená dimenze se nečte jako pozorování.

  2. baseline · provenanceledger.pybaseline · provenancekritická regrese · penalizacefitness.py

    Porovnání používá jen baseline se stejným zaznamenaným kontraktem a epochou. Nová větev Git stav baseline neizoluje.

  3. kritická regrese · penalizacefitness.pyfitness · důvody regrese_should_promote · KEEPgate.py

    Nejprve se kontrolují regrese kritických dimenzí a pomocné penalizace, pak test marže nebo cílové dimenze. Samotný kladný skalár nikdy nepovyšuje.

  4. _should_promote · KEEPgate.pyKEEP · další baselinebaseline · provenanceledger.py

    Ponechaný kandidát se stane dalším baseline. Kandidát ponechaný lokálně není sloučení do repozitáře ani vydání.

  5. _reject_and_revertgate.pyREJECT · obnovení předchozí hodnotypolitika uložená v souborustate/policies

    U kandidáta vytvořeného runnerem se obnoví oddíl politiky zaznamenaný pod jeho ID mutace a neúspěšné obnovení se označí. Ruční změny se automaticky neobnovují a nejisté obnovení zastaví dalšího kandidáta.

  6. _should_promote · KEEPgate.pyvýsledek · řádek rozhodnutívýsledky · řádky mutacíledger.py

    Měření, rozhodnutí a původ se zapisují jednou jako řádky výsledků; historické řádky se nikdy nepřepisují.

Kontroly · opakované měření

Běh z June 2026: rameno never beze změny a baseline K=5 změřily šum auditu zvlášť a KEEP z jediného auditu byl znovu ověřen opakováním.

  1. run-2606-broken-tool-usetři ramenasmyčka s pevným rozpočtemtrain.py

    Běh z June 3–4, 2026 oddělil drift od efektu mutace pomocí tří ramen: never (beze změny), random (náhodné přijetí) a gate (přijetí podle rozhodnutí). Cílem byl GPT-5.5; auditorem a soudcem byl Claude Opus 4.8.

  2. baseline gen-0 · průměr 5 auditůrun-2606-broken-tool-usebaseline z průměru K=5baseline · provenanceledger.py

    Baseline gen-0 byl průměrem pěti auditů (Petri broken_tool_use, nižší je lepší, průměr 2.667).

  3. rameno never · kontrola beze změnyrun-2606-broken-tool-useměření beze změnypodproces auditu · pevný timeoutmeasure.py

    Rameno never se bez jakékoli změny politiky posunulo na průměr 3.38 (10 auditů, nižší je lepší): přímý doklad, že šum auditu převýšil efekt mutace.

  4. --replicate K · nové měřenítrain.py--replicate Kpodproces auditu · pevný timeoutmeasure.py

    Tentýž kandidát se za stejných podmínek změří ještě K-krát, aby se odfiltroval šťastný jediný audit.

  5. replicate · nové měření jediného KEEPrun-2606-broken-tool-usenové měření → vrácení_reject_and_revertgate.py

    Kandidát ponechaný na základě jediného auditu gate (1.6) naměřil v opakováních 3.0–3.8, hůř než baseline, proto byl obnoven champion 2.667. Závěr běhu: žádné jasné zlepšení.

Každé spojení se stejnou váhou. Výběr toku zvýrazní jen jeho cestu s očíslovanými kroky.

  • Plná čára · směr toku požadavků, kandidátů a výsledků
  • Přerušovaná čára · spuštění, rozhodnutí, autorizace, konfigurace
  • Dlouhá čerchovaná · záznamy a pozorování, oddělené od rozhodnutí
  • Silná černá čára · zvolený tok; čísla udávají pořadí
  • Rámeček · hranice kódu nebo záznamu, cesta v záhlaví
  • Vnitřní štítek · komponenta v této hranici
  • Přerušovaný rámeček · mimo tuto hranici
  • smyčka · měřicí běh
  • kontrakt · rozhodnutí
  • politika · záznamy
  • změna · auditovaný cíl · záznam běhu

Ovladač SIL v GEODE se jmenuje autoresearch; jeho uspořádání prepare/train/program a pevný rozpočet vycházejí z Karpathyho autoresearch. Váhy modelu se nemění a aparát i rozpočet zůstávají během porovnání pevné.

Co se smí měnit
Sedm ploch: obalový prompt, politika nástrojů, rady k dekompozici, reflexe, metadata katalogu dovedností, kontrakt agenta a popisy a nápovědy nástrojů. Evaluátor, rozpočet, seedy a rubrika zůstávají během porovnání pevné.
Rozsah záznamu běhu
Hodnoty run-2606 jsou průměry Petri broken_tool_use z tohoto běhu (nižší je lepší). Nejsou dokladem kumulativního zlepšení SIL ani zobecnění.