CS
Geodi, oficiální pixelová postava GEODE
Zpět do sálu

GEODE

Autonomous Agent Harness

Od pozorování k další akci.

Lokální harness autonomního agenta, kterému lze svěřit výzkum, práci se soubory a plánované úlohy.

2026.02.21 — present

Návrh, posouzení, ověření: autor · implementace: Claude · revize: Codex

  • CLIZveřejněno · PyPI
  • Server MCPImplementováno

Od rolloutů k dokladům

Samotná míra úspěšnosti provádění nevysvětlí. Uchovávám pořadí událostí, volání nástrojů a výsledky, původ opakování a doklady nezávislého verifikátoru a pak propojuji části, které lze zveřejnit. Tyto experimenty ukazují, jak se vyvíjely kontrakty záznamu a evaluace.

Podle experimentu · v pořadí dat

Šest experimentů je seřazeno podle dat; netvoří jeden propojený optimalizační proces. SIL automaticky nenapájí Crucible ani Jev a celek netvrdí, že se produkční GEODE neustále zlepšoval. Data jsou data experimentů a snímků zveřejnění a šipky se používají jen pro fáze uvnitř jednoho experimentu.

  1. June 3, 2026 to June 4, 2026SIL · externí hledání politik

    KEEP z jednoho auditu byl znovu ověřen opakovaným měřením

    OtázkaZlepšila mutace politiky používání nástrojů nad rámec šumu auditu?

    Externí experiment · mimo běhové prostředí GEODE

    1. Baseline · K=5
    2. Jedna mutace politiky
    3. Audit Petri
    4. Opakované měření
      • Ponechat
      • Vrátit
    Co se změnilo
    V tomto experimentu bylo k jedinému auditu mutace před rozhodnutím o ponechání či vrácení přidáno opakované měření. Přibyly seedy vyrovnané podle obtížnosti a baseline K=5 a ramena never, random a gate oddělují drift bez jakékoli změny od přijatých změn.
    Co to dokládá
    Po novém měření byl kandidát ponechaný na základě jednoho auditu horší než baseline (nižší je lepší), proto bylo jeho přijetí vráceno. Experiment skončil bez robustního zlepšení. Jde o behaviorální audit Petri broken_tool_use, nikoli o odměnu za dokončení úlohy.

  2. July 11, 2026 to July 13, 2026Crucible · externí experimentální jádro

    Zůstat v hledání a dostat se do produktu jsou samostatná rozhodnutí

    OtázkaJsou doklady pro ponechání kandidáta v hledání stejné jako doklady pro jeho povýšení a vydání v produktu?

    Externí jádro Crucible · samostatný měřicí checkout

    1. Kandidát · původ z rodiče
    2. Kontrola zmrazeného kontraktu
    3. Párové měření
      • KEEPjen k samostatnému zapečetěnému rozhodnutí
      • REJECT
      • INVALIDnull, ne 0 %
    Co se změnilo
    Zamítnutí i neplatní kandidáti se uchovávají spolu s původem z rodiče a výběr v train, zapečetěná způsobilost a oprávnění k vydání produktu jsou samostatné záznamy.
    Co to dokládá
    r14 dostal v train KEEP (šest jednotek úloh, po jednom pokusu, bez oprávnění k povýšení), ale jeho samostatné zapečetěné rozhodnutí bylo REJECT (bez oprávnění k povýšení do produktu či vydání). r35 je INVALID kvůli neúplnému pokrytí a kontaminaci infrastruktury; bez párových řádků zůstává jeho průměr null. Nejde o sebemodifikaci běhového prostředí ani o řetězec nasazení SIL → Crucible.

  3. July 21, 2026 · July 31, 2026Zpřesnění · zveřejnění

    Zbývající záznamy byly roztříděny a neměnným vydáním se stalo jen to, co lze sdílet

    OtázkaCo lze skutečně rekonstruovat a co lze bezpečně sdílet?

    1. Soukromý zdrojZáznam relace · nativní dokladynativní výsledek · včetně verifikátoru
      • Normalizované událostizachovat pořadí · identitu
    2. Normalizované událostiidentita · pořadí · páry volání–výsledek
      • Kandidát ke zveřejněníallowlist · maskování · digest
    3. Kandidát ke zveřejněnív revizi
      • Kontroly integrity · soukromíkontrola
    4. Kontroly integrity · soukromípárování · původ · rozsah
      • Neměnné vydáníjen revidované bajty
    5. Veřejný repozitářNeměnné vydánímanifest · nativní výsledky přes digest
      • Vzdálené zpětné čteníověření hashe
    6. Vzdálené zpětné čtenípřipnutý SHA-256
    Co se změnilo
    Inventura z July 21, 2026 roztřídila záznamy dialogů, nástrojů, vyhledávání a rozhodnutí podle zdroje a duplikáty téhož zdroje se nepočítaly jako nezávislé příklady. Od July 31, 2026 geode.trajectory@1 a geode.trajectory-release@1 výslovně určují identitu, pořadí událostí, páry volání–výsledek, rozsah a integritu přehrání a manifesty vázané na obsah. Transformované veřejné kopie a originály mají samostatné digesty.
    Co to dokládá
    Zpřesnění zde znamená normalizaci, korelaci, výslovné maskování, původ a připuštění ke zveřejnění. Nerekonstruuje skryté uvažování ani nevyhlašuje datovou sadu připravenou k tréninku. Úplný rozsah neznamená úplné přehrání bajtů, když jsou soukromá těla nahrazena digesty.

  4. August 25, 2026Learning view

    Jeden rollout a jeho doklady byly svázány identifikátory

    OtázkaKterý vstup, pokus, sled událostí a odměna k sobě patří?

    geode.eval-learning-view@2 · spojeno přes ID a ověřené digesty, nikoli kauzální pořadí

    1. example
    2. rollout
    3. trajectory
    4. reward

    Odměna patří nativním receipt verifikátoru. Infrastrukturní opakování jsou pokusy v rámci jednoho rolloutu.

    Co se změnilo
    Neměnné trajektorie se znovu využívají přes spojení s vymezeným rozsahem a odměny zůstávají odvozenými štítky, které vlastní evaluátor. Infrastrukturní opakování nepřidávají rollouty. Pozorovaná 0 se zachovává a chybějící odměna je null; neplatné nebo přerušené pokusy jsou z výběru odměny vyloučeny. Platnost je vlastností rolloutu, nikoli automaticky odměna null.
    Co to dokládá
    Běh Terminal-Bench fast-3 na Harbor 0.8.0 (tři úlohy, 3/3) a diagnostika Tau2 ve třech doménách (1/3, dvě platné nuly) jsou svázány ve stejné struktuře. Jde o kandidáty pro post-training, nikoli o datové sady použité k tréninku ani o doklad zlepšení vah, a výsledek tří úloh není přesností celé sady.

  5. August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1

    Jeden trial vytvořil výsledek a záznam replay zvlášť

    OtázkaJak se skutečné provedení úlohy stane výsledkem a kontrolovatelným replay?

    1. Zmrazená úloha · specstanoveno předem · pět opakování
      • Izolovaný trialpokyn · prostředí · limity
    2. Trial Harbor 0.22.0 · skutečné provedeníIzolovaný trialGEODE jako aktér
      • Akce a konečný stavprovedení
    3. Akce a konečný stavpozorované chování
      • Verifikátor patřící úlozekontrola stavu úlohy
      • ATIF · projekce veřejných událostíprojekce zaznamenaných událostí
    4. Verifikátor patřící úloze
      • Nativní odměna · receiptodměna
    5. Nativní odměna · receipt
      • Analýza vybraného pokusuzmrazený výběr
    6. ATIF · projekce veřejných událostídodatečné zpracování · ne nový běh
    7. Analýza vybraného pokusuzmrazené pravidlo výběru
    Co se změnilo
    Zmrazená spec, každý pokus, vybraný výsledek, verifikátor patřící úloze a věrný, ale omezený replay se uchovávají jako samostatné propojené záznamy. Harbor 0.22.0 provedl pět opakování s GPT-5.6 Sol/max a porovnal GEODE (tehdy adaptér s jediným terminálovým nástrojem) s Codex.
    Co to dokládá
    Úloha zahrnuje pokyny, prostředí a testy; trial je jeden pokus; job sdružuje trialy. O odměně rozhoduje verifikátor patřící úloze a interní soudce dokončení v GEODE je zpětná vazba za běhu. Veřejný replay je dodatečná projekce zaznamenaných událostí nástrojů, nikoli surový PTY ani nový běh, a pro chybějící buňky nebyly vymyšleny žádné příkazy. Předregistrovanou primární metriku nebylo možné změřit.

  6. September 24, 2026 to September 28, 2026Jev · předávání rozhodnutí

    I správný kandidát potřebuje ověření doručení

    OtázkaZachovává delegované posouzení skutečně kvalitu úlohy a konečné doručení?

    1. U8n · běh Noul · Harbor 0.22 · Astra provádí a opravuje, mění se jen cesta posuzováníStav rozhodnutíkontrakt úlohy · kandidát · pozorování nástrojů
      • Posouzení · Noulvstup posouzení
    2. Posouzení · NoulAstra nebo Jev
      • GEODE využijepravděpodobnosti podmínek
    3. GEODE využijesupported: doručit; chybí doklady: zadržet
      • Konečné doručenísupported
      • Oprava Astrachybí doklady · zadržet
    4. Konečné doručení
      • Nezávislá kontrola výsledkudoručený výsledek
    5. Oprava Astradalší kandidát po zpětné vazbě
      • Posouzení · Noulposoudit znovu
      • Poslední kandidát · uchovánposlední kandidát uchován
    6. Nezávislá kontrola výsledkupravidlové orákulum · doručený výsledek
    7. Pevné panely U3jen posouzení · bez aktéra, nástrojů a Harbor
    8. Diagnóza post hoc · po běhuPoslední kandidát · uchován
      • Diagnóza orákulem post hockontrola post hoc
    9. Diagnóza orákulem post hocsprávnost kandidáta · bez vlivu na doručení
    Co se změnilo
    Přijetí posouzení, správnost kandidáta a konečné doručení se zaznamenávají jako samostatné výsledky a původ přípravy, selhání a oprav je uchován ve veřejné kopii. Hashe originálu a transformované veřejné kopie zůstávají oddělené.
    Co to dokládá
    V 11 párech post hoc z přerušené studie U8n byl poslední kandidát správný v obou ramenech, a přesto bylo doručení Astra 11/11 a Jev Noul 0/11: posudek Jev Noul o chybějících dokladech doručení zadržel. Jde o analýzu post hoc a nezobecňuje se. Veřejný přepočet čísel, kontrola replay a nové živé provedení jsou tři různé operace.