DE
Geodi, die offizielle Pixelfigur von GEODE
Zurück zum Saal

GEODE

Autonomous Agent Harness

Von der Beobachtung zur nächsten Handlung.

Ein lokales Harness für autonome Agenten, dem sich Recherche, Dateiarbeit und geplante Aufgaben übergeben lassen.

2026.02.21 — present

Entwurf, Urteil, Verifikation: Author · Implementierung: Claude · Review: Codex

  • CLIVeröffentlicht · PyPI
  • MCP-ServerImplementiert

Von Rollouts zu Belegen

Eine Erfolgsquote allein erklärt keine Ausführung. Ich bewahre Ereignisreihenfolge, Tool-Aufrufe und Ergebnisse, die Herkunftskette von Wiederholungen und Belege unabhängiger Verifikation und verbinde dann die Teile, die veröffentlicht werden können. Diese Experimente zeigen, wie sich die Verträge für Aufzeichnung und Evaluation entwickelt haben.

Nach Experiment · nach Datum

Die sechs Experimente stehen in zeitlicher Reihenfolge; sie bilden keinen zusammenhängenden Optimierungsprozess. SIL speist Crucible oder Jev nicht automatisch, und es wird nicht behauptet, dass sich das Produkt GEODE fortlaufend verbessert hat. Die Datumsangaben sind die der Experimente und der Veröffentlichungs-Snapshots, und Pfeile stehen nur für die Stufen innerhalb eines Experiments.

  1. June 3, 2026 to June 4, 2026SIL · externe Policy-Suche

    Ein KEEP aus einem einzelnen Audit wurde durch wiederholte Messung erneut geprüft

    FrageHat eine Policy-Mutation das Verhalten bei der Tool-Nutzung über das Audit-Rauschen hinaus verbessert?

    Externes Experiment · außerhalb der GEODE-Runtime

    1. Baseline · K=5
    2. Eine Policy-Mutation
    3. Petri-Audit
    4. Wiederholte Messung
      • Behalten
      • Zurücknehmen
    Was sich änderte
    In diesem Experiment wurde dem einzelnen Audit einer Mutation eine wiederholte Messung hinzugefügt, bevor über Behalten oder Zurücknehmen entschieden wurde. Hinzu kamen nach Schwierigkeit abgestimmte Seeds und eine K=5-Baseline, und die Arme never, random und gate trennen Schwankungen ohne jede Änderung von übernommenen Änderungen.
    Was es belegt
    Bei der Nachmessung war der nach einem einzelnen Audit behaltene Kandidat schlechter als die Baseline (niedriger ist besser), daher wurde seine Übernahme zurückgenommen. Das Experiment endete ohne robuste Verbesserung. Es ist ein Verhaltensaudit mit Petri broken_tool_use, keine Belohnung für den Aufgabenabschluss.

  2. July 11, 2026 to July 13, 2026Crucible · externer Experiment-Kernel

    Verbleib in der Suche und Weg ins Produkt sind getrennte Urteile

    FrageSind die Belege dafür, einen Kandidaten in der Suche zu halten, dieselben wie die Belege für seine Hochstufung und sein Release ins Produkt?

    Externer Crucible-Kernel · separater Mess-Checkout

    1. Kandidat · Elternlinie
    2. Prüfung gegen eingefrorenen Vertrag
    3. Gepaarte Messung
      • KEEPnur zu einem separaten sealed-Urteil
      • REJECT
      • INVALIDnull, nicht 0%
    Was sich änderte
    Abgelehnte und ungültige Kandidaten werden mit ihrer Elternlinie aufbewahrt, und train-Auswahl, sealed-Eignung und Befugnis zum Produkt-Release sind getrennte Aufzeichnungen.
    Was es belegt
    r14 war KEEP in train (sechs Aufgabeneinheiten, je ein Versuch, keine Hochstufungsbefugnis), doch sein separates sealed-Urteil war REJECT (keine Befugnis für Übernahme ins Produkt oder Release). r35 ist INVALID wegen unvollständiger Coverage und Kontamination der Infrastruktur; ohne gepaarte Zeilen bleibt sein Mittelwert null. Das ist weder Selbstmodifikation der Runtime noch eine Deployment-Kette SIL → Crucible.

  3. July 21, 2026 · July 31, 2026Aufbereitung · Veröffentlichung

    Die verbliebenen Aufzeichnungen wurden klassifiziert, und nur das, was geteilt werden kann, wurde zu einem unveränderlichen Release

    FrageWas lässt sich tatsächlich rekonstruieren, und was lässt sich sicher teilen?

    1. Private QuelleSession-Aufzeichnung · Originalbelegenative Ergebnisse · mit Verifier
      • Normalisierte EreignisseReihenfolge · Kennung bewahren
    2. Normalisierte EreignisseKennung · Reihenfolge · Aufruf-Ergebnis-Paare
      • Öffentlicher KandidatAllowlist · schwärzen · Digest
    3. Öffentlicher Kandidatim Review
      • Integritäts- · Datenschutzprüfungenprüfen
    4. Integritäts- · DatenschutzprüfungenPaarung · Herkunftskette · Umfang
      • Unveränderliches Releasenur geprüfte Bytes
    5. Öffentliches RepositoryUnveränderliches ReleaseManifest · native Ergebnisse per Digest referenziert
      • Remote-RücklesenHash verifizieren
    6. Remote-Rücklesenfixierter SHA-256
    Was sich änderte
    Das Inventory vom July 21, 2026 klassifizierte Dialog-, Tool-, Such- und Urteilsaufzeichnungen nach Quelle, und Duplikate derselben Quelle wurden nicht als unabhängige Beispiele gezählt. Ab dem July 31, 2026 machen geode.trajectory@1 und geode.trajectory-release@1 Kennung, Ereignisreihenfolge, Aufruf-Ergebnis-Paare, Umfangs- und Replay-Integrität sowie inhaltsgebundene Manifeste explizit. Transformierte öffentliche Kopien und Originale behalten getrennte Digests.
    Was es belegt
    Aufbereitung bedeutet hier Normalisierung, Korrelation, explizites Schwärzen, Herkunftskette und Zulassung zur Veröffentlichung. Sie rekonstruiert keine verborgenen Schlussfolgerungen und erklärt keinen Datensatz für trainingsbereit. Ein vollständiger Umfang ist kein vollständiges Byte-Replay, wenn private Inhalte durch Digests ersetzt sind.

  4. August 25, 2026Learning view

    Ein Rollout und seine Belege wurden über Kennungen miteinander verbunden

    FrageWelche Eingabe, welcher Versuch, welche Ereignisfolge und welche Belohnung gehören zusammen?

    geode.eval-learning-view@2 · über IDs und verifizierte Digests verknüpft, keine kausale Reihenfolge

    1. example
    2. rollout
    3. trajectory
    4. reward

    Die Belohnung gehört den receipts des nativen Verifiers. Infrastruktur-Wiederholungen sind Versuche innerhalb eines Rollouts.

    Was sich änderte
    Unveränderliche Trajektorien werden über Joins mit festgelegtem Umfang wiederverwendet, und Belohnungen bleiben abgeleitete Labels, die dem Evaluator gehören. Infrastruktur-Wiederholungen erhöhen die Zahl der Rollouts nicht. Eine beobachtete 0 bleibt erhalten, eine fehlende Belohnung ist null; ungültige oder abgebrochene Versuche sind von der Belohnungsauswahl ausgeschlossen. Gültigkeit ist eine Eigenschaft des Rollouts und bedeutet nicht automatisch eine Belohnung null.
    Was es belegt
    Ein Lauf von Terminal-Bench fast-3 mit Harbor 0.8.0 (drei Aufgaben, 3/3) und eine Tau2-Diagnose über drei Domänen (1/3, zwei gültige Nullen) sind in derselben Struktur verbunden. Es sind Kandidaten für das Post-Training, keine für das Training genutzten Datensätze und kein Beleg für verbesserte Gewichte, und ein Ergebnis aus drei Aufgaben ist keine Genauigkeit über die ganze Suite.

  5. August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1

    Ein Trial erzeugte Ergebnis und Replay-Aufzeichnung getrennt

    FrageWie wird aus einer echten Aufgabenausführung ein Ergebnis und ein prüfbares Replay?

    1. Eingefrorene Aufgabe · Specvorab festgelegt · fünf Wiederholungen
      • Isolierter TrialAnweisung · Umgebung · Limits
    2. Harbor-0.22.0-Trial · echte AusführungIsolierter TrialGEODE als actor
      • Aktionen und Endzustandausführen
    3. Aktionen und Endzustandbeobachtetes Verhalten
      • Aufgabeneigener VerifierAufgabenzustand prüfen
      • ATIF · Projektion öffentlicher Ereignisseaufgezeichnete Ereignisse projizieren
    4. Aufgabeneigener Verifier
      • Native Belohnung · receiptBelohnung
    5. Native Belohnung · receipt
      • Analyse des gewählten Versuchseingefrorene Auswahl
    6. ATIF · Projektion öffentlicher EreignisseNachbearbeitung · kein neuer Lauf
    7. Analyse des gewählten Versuchseingefrorene Auswahlregel
    Was sich änderte
    Die eingefrorene Spec, jeder Versuch, das ausgewählte Ergebnis, der aufgabeneigene Verifier und ein getreues, aber im Umfang begrenztes Replay werden als getrennte, verknüpfte Aufzeichnungen aufbewahrt. Harbor 0.22.0 führte fünf Wiederholungen mit GPT-5.6 Sol/max aus und verglich GEODE (damals ein Adapter mit einem einzigen Terminal-Tool) mit Codex.
    Was es belegt
    Eine Aufgabe umfasst Anweisungen, Umgebung und Tests; ein Trial ist ein Versuch; ein Job bündelt Trials. Der aufgabeneigene Verifier bestimmt die Belohnung, das interne Abschlussurteil von GEODE ist Runtime-Feedback. Das öffentliche Replay ist eine Post-hoc-Projektion aufgezeichneter Tool-Ereignisse, kein rohes PTY und kein neuer Lauf, und für fehlende Zellen wurden keine Befehle erfunden. Der vorregistrierte primäre Vergleich ließ sich nicht messen.

  6. September 24, 2026 to September 28, 2026Jev · Auslagerung von Entscheidungen

    Auch ein korrekter Kandidat braucht eine Prüfung der Auslieferung

    FrageErhält ein delegiertes Urteil tatsächlich Aufgabenqualität und finale Auslieferung?

    1. U8n · Noul-Lauf · Harbor 0.22 · Astra führt aus und bessert nach, nur der Urteilspfad ändert sichEntscheidungszustandAufgabenvertrag · Kandidat · Tool-Beobachtungen
      • Urteil · NoulUrteilseingabe
    2. Urteil · NoulAstra oder Jev
      • GEODE verwertetWahrscheinlichkeiten je Bedingung
    3. GEODE verwerteterfüllt: ausliefern; fehlende Belege: zurückhalten
      • Finale Auslieferungerfüllt
      • Nachbesserung durch Astrafehlende Belege · zurückhalten
    4. Finale Auslieferung
      • Unabhängige Ergebnisprüfungausgeliefertes Ergebnis
    5. Nachbesserung durch Astranächster Kandidat nach Feedback
      • Urteil · Noulerneut urteilen
      • Letzter Kandidat · aufbewahrtletzter Kandidat aufbewahrt
    6. Unabhängige ErgebnisprüfungRegel-Oracle · ausgeliefertes Ergebnis
    7. Feste U3-Panelsnur Urteile · kein actor, keine Tools, kein Harbor
    8. Post-hoc-Diagnose · nach dem LaufLetzter Kandidat · aufbewahrt
      • Post-hoc-Diagnose per OraclePost-hoc-Prüfung
    9. Post-hoc-Diagnose per OracleKorrektheit des Kandidaten · ohne Einfluss auf die Auslieferung
    Was sich änderte
    Annahme des Urteils, Korrektheit des Kandidaten und finale Auslieferung werden als getrennte Ergebnisse aufgezeichnet, und die Herkunftsketten von Vorbereitung, Fehlschlag und Nachbesserung bleiben in der öffentlichen Kopie erhalten. Original- und transformierte öffentliche Hashes bleiben getrennt.
    Was es belegt
    In den 11 Post-hoc-Paaren aus der abgebrochenen U8n-Studie war der letzte Kandidat in beiden Armen korrekt, doch die Auslieferung lag bei Astra 11/11 und Jev Noul 0/11: Das Urteil von Jev Noul wegen fehlender Belege hielt die Auslieferung zurück. Es ist eine Post-hoc-Analyse und wird nicht verallgemeinert. Öffentliche Neuberechnung der Zahlen, Prüfung des Replays und neue Live-Ausführung sind drei verschiedene Vorgänge.