NL
Geodi, het officiële pixelpersonage van GEODE
Terug naar de zaal

GEODE

Autonomous Agent Harness

Van observatie naar de volgende actie.

Een lokale harness voor autonome agents, waaraan onderzoek, bestandswerk en geplande taken kunnen worden overgedragen.

2026.02.21 — present

Ontwerp, oordeel, verificatie: Author · implementatie: Claude · review: Codex

  • CLIGepubliceerd · PyPI
  • MCP-serverGeïmplementeerd

Door review teruggestuurde implementaties, herberekende onderzoekscijfers

Twee casussen waarin review een implementatie terugstuurde, en één waarin onderzoekscijfers opnieuw werden berekend met behoud van de originelen. Elke rol is alleen wat de vastlegging van die casus laat zien.

Volledige legenda

Leeswijzer · één grammatica voor elke casus

  • Kolommen tonen wie handelde; van boven naar beneden loopt de tijd
  • Doorgetrokken: een vastgelegde overdracht of volgende stap
  • Dikke lapislijn ↩: een bevinding die werk terugstuurde
  • Gestreept: geen vastgelegde uitvoering (een geschreven richtlijn, advies zonder bevoegdheid, een ongecontroleerde grens)
  • Rechthoek: een actie
  • Afgerond: een waargenomen toestand of bevinding
  • Omgevouwen hoek: een artefact of bewijs
  • Gearceerde kolom: onderdelen van het product in ontwikkeling (niet de agents waarmee het wordt gebouwd)

1 / 3

June 13, 2026

Een implementatie die het normale pad doorstond, werd door review twee keer teruggestuurd op de foutpaden

  1. MensAuthor

    ActieOntbrekende telemetrie · silent fallback te controleren

    • overdrachtFouten die zichtbaar moeten zijn→ Typed activity row · fallback gemarkeerd (Claude Fable 5)

  2. CodeeragentClaude Fable 5

    ActieTyped activity row · fallback gemarkeerd

    • overdracht→ commit 64bd223 (Openbare commits)
    • overdrachtDiff · faalpaden→ BLOCKER: generic fallback slaat ruwe waarden op via details=data (Codex)

  3. ArtefactenOpenbare commits

    Artefactcommit 64bd223

  4. Review · verificatieCodex

    Observatie · bevindingBLOCKER: generic fallback slaat ruwe waarden op via details=data

  5. CodeeragentClaude Fable 5

    ActieGevoelige velden ook bij fallback verwijderen

    • overdracht→ c808e78 · reproductiecontrole K4 (Openbare commits)
    • overdrachtCorrectie opnieuw gereviewd→ BLOCKER #2: ValidationError-tekst legt waarden opnieuw bloot (Codex)

  6. ArtefactenOpenbare commits

    Artefactc808e78 · reproductiecontrole K4

  7. Review · verificatieCodex

    Observatie · bevindingBLOCKER #2: ValidationError-tekst legt waarden opnieuw bloot

  8. CodeeragentClaude Fable 5

    ActieAlleen fouttype · veldpad bewaren; args_preview weglaten

    • overdracht→ 8dcb386 · reproductiecontrole K5 (Openbare commits)

  9. ArtefactenOpenbare commits

    Artefact8dcb386 · reproductiecontrole K5

    • geen vastgelegde uitvoeringGecontroleerde reikwijdte→ Volledige CI en finale review-PASS van toen niet opnieuw gelezen (Openbare commits)

  10. ArtefactenOpenbare commits

    Richtlijn · ongecontroleerdVolledige CI en finale review-PASS van toen niet opnieuw gelezen

Achtergrond
De wijziging maakte van observeerbaarheidsevents typed activity rows en zorgde dat fallbacks niet langer stil verliepen. De Codex-review liet twee BLOCKERs achter, en elke correctie kwam met een controle die de gevonden omweg reproduceert.
Uitkomst
K4 dwingt met een verkeerd type een echte fallback af en controleert dat er geen ruw veld overblijft; K5 controleert dat de foutbeschrijving alleen veldnamen en fouttypen bevat, nooit invoerwaarden. Deze controles reproduceren de omwegen die review vond; ze kopiëren geen implementatieconstanten.
Beperking
Het oorspronkelijke MCP-reviewgesprek is niet geopend; de reviewrol is vastgesteld op basis van de commits en de CHANGELOG uit die tijd. Deze casus garandeert niet dat geen enkele GEODE-log ooit gevoelige gegevens bewaart.
Bronnen en resterende beperkingen
  • Alle drie commits vermelden Claude Fable 5, en c808e78 en 8dcb386 leggen respectievelijk de Codex-BLOCKER en BLOCKER #2 vast.
  • De huidige richtlijn voor bijdragers (October 2026) wordt niet met terugwerkende kracht gelezen als de instructie voor deze casus.

May 26, 2026

Een wijziging die een score zou verwijderen, werd versmald tot een controle op waar de score gebruikt mag worden

  1. CodeeragentImplementatie

    Observatie · bevindingBehoefte: deze waarde niet als fitness-as gebruiken

    • overdrachtEerste hypothese→ Eerste ontwerp: de waarde in de baseline writer weglaten (Implementatie)

  2. In ontwikkelingAfnemers in het product

    Observatie · bevindingBij de eerste generatie is baseline de enige bron van scenario_realism

    • overdrachtWerkelijke afnemer getraceerd→ Bevinding: breekt de initiële critic-input (Codex)

  3. CodeeragentImplementatie

    ActieEerste ontwerp: de waarde in de baseline writer weglaten

    • overdrachtWijziging gereviewd→ Bevinding: breekt de initiële critic-input (Codex)

  4. Review · verificatieCodex

    Observatie · bevindingBevinding: breekt de initiële critic-input

  5. CodeeragentImplementatie

    ActieWriter-wijziging ingetrokken · data behouden

    • overdrachtVoltooiingscriterium verschoven→ 4 invarianten: alleen afwezig op fitness-oppervlakken (Openbare commit · PR)

  6. ArtefactenOpenbare commit · PR

    Artefact4 invarianten: alleen afwezig op fitness-oppervlakken

    • overdrachtDefinitieve diff→ 0792e81 → PR #1690 gemerged (Openbare commit · PR)

  7. ArtefactenOpenbare commit · PR

    Artefact0792e81 → PR #1690 gemerged

Achtergrond
De wijziging moest voorkomen dat scenario_realism als fitness-as diende in de externe Scaffold Search. Toen review de eerste lezer van de waarde traceerde, werd de wijziging kleiner gemaakt, niet groter.
Uitkomst
De baseline-waarde blijft; vier controles leggen vast dat deze dimensie ontbreekt in AXIS_TIERS, DIM_WEIGHTS en de tierlijsten van de externe zoektocht.
Beperking
De sessie achter de ingetrokken writer-wijziging is niet bekeken; ze is vastgesteld op basis van de commit en de testbeschrijvingen uit die tijd. Deze controles zijn geen bewijs van zoekprestaties of SIL-verbetering.
Bronnen en resterende beperkingen
  • De critic en de evolver zijn dataconsumenten binnen het product in ontwikkeling, niet de codeeragent of de Codex-reviewer waarmee het gebouwd wordt.
  • De titel van PR #1690 zegt nog “filter”; de definitieve diff en commit zijn de eigenlijke wijziging.

September 27, 2026 to September 28, 2026

Na een correctie van grenswaarden werden eerst de oorspronkelijke resultaten gereproduceerd en daarna herberekend

  1. WerksessieUitvoerder van de analyse

    Observatie · bevindingWaarden precies op de tolerantiegrens afgewezen

    • overdrachtEen admission-fout, geen kwestie van modelvermogen→ Vergelijken als decimalen · toleranties ongewijzigd (Uitvoerder van de analyse)

  2. WerksessieUitvoerder van de analyse

    ActieVergelijken als decimalen · toleranties ongewijzigd

    • overdracht→ 4be7a17 · controles binnen / buiten de grens (Artefacten)

  3. ArtefactenArtefacten

    Artefact4be7a17 · controles binnen / buiten de grens

  4. MensAuthor

    ActieGedelegeerd: alleen offline correctie van alle opgeslagen U4 · X2

    • overdrachtToegestane reikwijdte→ contract.json: invoer · regels vastgelegd, geen modelaanroepen (Artefacten)

  5. ArtefactenArtefacten

    Artefactcontract.json: invoer · regels vastgelegd, geen modelaanroepen

    • overdrachtVaste voorwaarden→ Eerst eerdere resultaten · noemers · CI’s reproduceren (Uitvoerder van de analyse)

  6. WerksessieUitvoerder van de analyse

    ActieEerst eerdere resultaten · noemers · CI’s reproduceren

    • overdrachtNa reproductie→ De correctie apart berekenen uit dezelfde invoer (Uitvoerder van de analyse)

  7. WerksessieUitvoerder van de analyse

    ActieDe correctie apart berekenen uit dezelfde invoer

    • overdracht→ receipt: 24 originelen bewaard · 0 modelaanroepen (Artefacten)
    • overdrachtCell-vectoren, geen samenvattingen→ Winners · CI’s herberekenen uit cell-vectoren · hashes vergelijken (Onafhankelijke verifier)

  8. ArtefactenArtefacten

    Artefactreceipt: 24 originelen bewaard · 0 modelaanroepen

  9. Review · verificatieOnafhankelijke verifier

    ActieWinners · CI’s herberekenen uit cell-vectoren · hashes vergelijken

    • overdracht→ independent-review: oordelen blijven staan, beperkingen vermeld (Artefacten)

  10. ArtefactenArtefacten

    Artefactindependent-review: oordelen blijven staan, beperkingen vermeld

Achtergrond
In de Jev-onderzoekstool werden typed numerieke antwoorden die precies op de tolerantiegrens lagen, afgewezen. Na de correctie werd elk opgeslagen resultaat zonder nieuwe modelruns herberekend, en werden de rekenende en de verifiërende kant gescheiden gehouden.
Uitkomst
De oordelen bleven na de correctie overeind (U4 not-supported, X2 mixed). Het herstellen van een numerieke fout en het onderbouwen van een onderzoekshypothese werden gescheiden gehouden.
Beperking
Een correctie achteraf, geen nieuw modelexperiment. De 640 Astra-listwise-cells zonder oorspronkelijk antwoord behouden hun opgeslagen winner, en ook de onafhankelijke review heeft private antwoordteksten niet opnieuw geparst.
Bronnen en resterende beperkingen
  • De scoretolerantie van 0.03 en de tolerantie voor de verdelingssom van 0.025 zijn niet gewijzigd. De gecorrigeerde cijfers zijn U4 58/80 → 59/80 en X2 194/240 → 196/240.
  • De openbare correctielog noemt geen model voor de schrijvende of de verifiërende kant, en 4be7a17 vermeldt Claude noch Codex, dus geen van beide kolommen krijgt een modelnaam.