DE
Geodi, die offizielle Pixelfigur von GEODE
Zurück zum Saal

GEODE

Autonomous Agent Harness

Von der Beobachtung zur nächsten Handlung.

Ein lokales Harness für autonome Agenten, dem sich Recherche, Dateiarbeit und geplante Aufgaben übergeben lassen.

2026.02.21 — present

Entwurf, Urteil, Verifikation: Author · Implementierung: Claude · Review: Codex

  • CLIVeröffentlicht · PyPI
  • MCP-ServerImplementiert

Vom Review zurückgewiesene Implementierungen, neu berechnete Forschungszahlen

Zwei Fälle, in denen das Review eine Implementierung zurückwies, und einer, in dem Forschungszahlen unter Beibehaltung der Originale neu berechnet wurden. Jede Rolle umfasst nur, was die Aufzeichnung des jeweiligen Falls zeigt.

Vollständige Legende

Lesehilfe · eine Grammatik für jeden Fall

  • Spalten zeigen, wer handelte; von oben nach unten verläuft die Zeit
  • Durchgezogen: eine aufgezeichnete Übergabe oder ein nächster Schritt
  • Dicke Lapislinie ↩: ein Befund, der die Arbeit zurückschickte
  • Gestrichelt: keine aufgezeichnete Ausführung (eine schriftliche Vorgabe, ein Rat ohne Befugnis, eine ungeprüfte Grenze)
  • Rechteck: eine Handlung
  • Abgerundet: ein beobachteter Zustand oder Befund
  • Eselsohr: ein Artefakt oder Beleg
  • Schraffierte Spalte: Teile des Produkts in Entwicklung (nicht die Agenten, mit denen es gebaut wird)

1 / 3

June 13, 2026

Eine Implementierung, die den Normalpfad bestand, wurde vom Review auf den Fehlerpfaden zweimal zurückgewiesen

  1. MenschAuthor

    HandlungFehlende Telemetrie · silent fallback als Prüfgegenstand

    • ÜbergabeFehlschläge, die sichtbar sein müssen→ Typed activity row · Fallback markiert (Claude Fable 5)

  2. Coding-AgentClaude Fable 5

    HandlungTyped activity row · Fallback markiert

    • Übergabe→ commit 64bd223 (Öffentliche Commits)
    • ÜbergabeDiff · Fehlerpfade→ BLOCKER: generic fallback speichert Rohwerte über details=data (Codex)

  3. ArtefakteÖffentliche Commits

    Artefaktcommit 64bd223

  4. Review · VerifikationCodex

    Beobachtung · BefundBLOCKER: generic fallback speichert Rohwerte über details=data

  5. Coding-AgentClaude Fable 5

    HandlungSensible Felder auch beim Fallback entfernen

    • Übergabe→ c808e78 · Reproduktionsprüfung K4 (Öffentliche Commits)
    • ÜbergabeKorrektur erneut reviewt→ BLOCKER #2: ValidationError-Text legt Werte erneut offen (Codex)

  6. ArtefakteÖffentliche Commits

    Artefaktc808e78 · Reproduktionsprüfung K4

  7. Review · VerifikationCodex

    Beobachtung · BefundBLOCKER #2: ValidationError-Text legt Werte erneut offen

  8. Coding-AgentClaude Fable 5

    HandlungNur Fehlertyp · Feldpfad behalten; args_preview entfernen

    • Übergabe→ 8dcb386 · Reproduktionsprüfung K5 (Öffentliche Commits)

  9. ArtefakteÖffentliche Commits

    Artefakt8dcb386 · Reproduktionsprüfung K5

    • keine aufgezeichnete AusführungGeprüfter Umfang→ Vollständige CI und finales Review-PASS von damals nicht erneut gelesen (Öffentliche Commits)

  10. ArtefakteÖffentliche Commits

    Vorgabe · ungeprüftVollständige CI und finales Review-PASS von damals nicht erneut gelesen

Hintergrund
Die Änderung machte aus Observability-Events typed activity rows und ließ Fallbacks nicht mehr stumm ablaufen. Das Codex-Review hinterließ zwei BLOCKER, und jede Korrektur kam mit einer Prüfung, die den gefundenen Umgehungsweg reproduziert.
Ergebnis
K4 erzwingt mit einem falschen Typ einen echten Fallback und prüft, dass kein Rohfeld übrig bleibt; K5 prüft, dass die Fehlerbeschreibung nur Feldnamen und Fehlertypen enthält, nie Eingabewerte. Diese Prüfungen reproduzieren die vom Review gefundenen Umgehungswege; sie kopieren keine Implementierungskonstanten.
Grenze
Die ursprüngliche MCP-Review-Konversation wurde nicht geöffnet; die Review-Rolle ist durch die Commits und das damals geschriebene CHANGELOG belegt. Dieser Fall garantiert nicht, dass kein GEODE-Log je sensible Daten enthält.
Quellen und verbleibende Grenzen
  • Alle drei Commits nennen Claude Fable 5; c808e78 und 8dcb386 halten den Codex-BLOCKER bzw. BLOCKER #2 fest.
  • Die aktuellen Vorgaben für Beiträge (October 2026) werden nicht rückwirkend als Anweisung für diesen Fall gelesen.

May 26, 2026

Eine Änderung, die einen Score gelöscht hätte, wurde auf eine Prüfung verengt, wo der Score verwendet werden darf

  1. Coding-AgentImplementierung

    Beobachtung · BefundBedarf: diesen Wert nicht als Fitness-Achse verwenden

    • ÜbergabeErste Hypothese→ Erster Entwurf: den Wert im baseline writer entfernen (Implementierung)

  2. In EntwicklungKonsumenten im Produkt

    Beobachtung · BefundBei der ersten Generierung ist baseline die einzige Quelle von scenario_realism

    • ÜbergabeTatsächlichen Konsumenten verfolgt→ Befund: bricht den initialen critic-Input (Codex)

  3. Coding-AgentImplementierung

    HandlungErster Entwurf: den Wert im baseline writer entfernen

    • ÜbergabeÄnderung reviewt→ Befund: bricht den initialen critic-Input (Codex)

  4. Review · VerifikationCodex

    Beobachtung · BefundBefund: bricht den initialen critic-Input

  5. Coding-AgentImplementierung

    HandlungWriter-Änderung zurückgezogen · Daten bleiben

    • ÜbergabeAbschlusskriterium verschoben→ 4 Invarianten: nur auf Fitness-Flächen abwesend (Öffentlicher Commit · PR)

  6. ArtefakteÖffentlicher Commit · PR

    Artefakt4 Invarianten: nur auf Fitness-Flächen abwesend

    • ÜbergabeFinaler Diff→ 0792e81 → PR #1690 gemergt (Öffentlicher Commit · PR)

  7. ArtefakteÖffentlicher Commit · PR

    Artefakt0792e81 → PR #1690 gemergt

Hintergrund
Die Änderung sollte verhindern, dass scenario_realism in der externen Scaffold Search als Fitness-Achse dient. Als das Review den ersten Leser des Werts zurückverfolgte, wurde die Änderung verkleinert statt vergrößert.
Ergebnis
Der baseline-Wert bleibt; vier Prüfungen legen fest, dass diese Dimension in AXIS_TIERS, DIM_WEIGHTS und den tier-Listen der externen Suche fehlt.
Grenze
Die Session hinter der zurückgezogenen Writer-Änderung wurde nicht eingesehen; sie ist durch den Commit und die damals geschriebenen Testbeschreibungen belegt. Diese Prüfungen sind kein Beleg für Suchleistung oder eine Verbesserung von SIL.
Quellen und verbleibende Grenzen
  • Der critic und der evolver sind Datenkonsumenten im Produkt, das in Entwicklung ist, nicht der Coding-Agent oder der Codex-Reviewer, mit denen es gebaut wird.
  • Der Titel von PR #1690 lautet noch „filter“; der finale Diff und der Commit sind die eigentliche Änderung.

September 27, 2026 to September 28, 2026

Nach einer Korrektur an Grenzwerten wurden zuerst die ursprünglichen Ergebnisse reproduziert, dann neu berechnet

  1. ArbeitssessionImplementierer der Analyse

    Beobachtung · BefundWerte genau auf der Toleranzgrenze abgelehnt

    • ÜbergabeEin admission-Fehler, keine Frage der Modellfähigkeit→ Vergleich als Dezimalzahlen · Toleranzen unverändert (Implementierer der Analyse)

  2. ArbeitssessionImplementierer der Analyse

    HandlungVergleich als Dezimalzahlen · Toleranzen unverändert

    • Übergabe→ 4be7a17 · Prüfungen innerhalb / außerhalb der Grenze (Artefakte)

  3. ArtefakteArtefakte

    Artefakt4be7a17 · Prüfungen innerhalb / außerhalb der Grenze

  4. MenschAuthor

    HandlungDelegiert: nur Offline-Korrektur aller gespeicherten U4 · X2

    • ÜbergabeZulässiger Umfang→ contract.json: Eingaben · Regeln fixiert, keine Modellaufrufe (Artefakte)

  5. ArtefakteArtefakte

    Artefaktcontract.json: Eingaben · Regeln fixiert, keine Modellaufrufe

    • ÜbergabeFixierte Bedingungen→ Zuerst frühere Ergebnisse · Nenner · CIs reproduzieren (Implementierer der Analyse)

  6. ArbeitssessionImplementierer der Analyse

    HandlungZuerst frühere Ergebnisse · Nenner · CIs reproduzieren

    • ÜbergabeNach der Reproduktion→ Korrektur separat aus denselben Eingaben berechnen (Implementierer der Analyse)

  7. ArbeitssessionImplementierer der Analyse

    HandlungKorrektur separat aus denselben Eingaben berechnen

    • Übergabe→ receipt: 24 Originale behalten · 0 Modellaufrufe (Artefakte)
    • ÜbergabeCell-Vektoren statt Zusammenfassungen→ Winner · CIs aus Cell-Vektoren neu berechnen · Hashes abgleichen (Unabhängiger Prüfer)

  8. ArtefakteArtefakte

    Artefaktreceipt: 24 Originale behalten · 0 Modellaufrufe

  9. Review · VerifikationUnabhängiger Prüfer

    HandlungWinner · CIs aus Cell-Vektoren neu berechnen · Hashes abgleichen

    • Übergabe→ independent-review: Urteile bleiben, Grenzen benannt (Artefakte)

  10. ArtefakteArtefakte

    Artefaktindependent-review: Urteile bleiben, Grenzen benannt

Hintergrund
Im Jev-Forschungstool wurden numerische typed-Antworten, die genau auf der Toleranzgrenze lagen, abgelehnt. Nach der Korrektur wurde jedes gespeicherte Ergebnis ohne neue Modellläufe neu berechnet, und die berechnende und die verifizierende Seite blieben getrennt.
Ergebnis
Die Urteile hielten nach der Korrektur (U4 not-supported, X2 mixed). Die Behebung eines numerischen Fehlers und die Stützung einer Forschungshypothese wurden auseinandergehalten.
Grenze
Eine nachträgliche Korrektur, kein neues Modellexperiment. Die 640 Astra-listwise-Cells ohne Originalantwort behalten ihren gespeicherten winner, und auch das unabhängige Review hat private Antworttexte nicht erneut geparst.
Quellen und verbleibende Grenzen
  • Die score-Toleranz von 0.03 und die Toleranz der Verteilungssumme von 0.025 wurden nicht geändert. Die korrigierten Zahlen sind U4 58/80 → 59/80 und X2 194/240 → 196/240.
  • Das öffentliche Korrekturprotokoll nennt kein Modell für die schreibende oder die verifizierende Seite, und 4be7a17 trägt keinen Vermerk zu Claude oder Codex; daher erhält keine der beiden Spalten einen Modellnamen.