DE
Geodi, die offizielle Pixelfigur von GEODE
Zurück zum Saal

GEODE

Autonomous Agent Harness

Von der Beobachtung zur nächsten Handlung.

Ein lokales Harness für autonome Agenten, dem sich Recherche, Dateiarbeit und geplante Aufgaben übergeben lassen.

2026.02.21 — present

Entwurf, Urteil, Verifikation: Author · Implementierung: Claude · Review: Codex

  • CLIVeröffentlicht · PyPI
  • MCP-ServerImplementiert

Decision Offloading w. Jev

Welche Zwischenentscheidungen, die ein Agent mitten in einer Aufgabe trifft, lassen sich an Jev übergeben, ein reines Entscheidungsmodell? Diese Forschung prüft, ob die unabhängig verifizierte Aufgabenqualität danach erhalten bleibt, wobei Vorbereitung, wiederholte Urteile, Nachbesserung und finale Auslieferung mitgezählt werden. Frühe Pilotläufe ließen sich nicht allein durch den Austausch des Urteilsaufrufs erklären, daher wurden Eingabevertrag, Entscheidungsvertrag, Wahrscheinlichkeits-Policy und die Verwertung durch den ausführenden Agenten in eigene Experimente getrennt.

Jev-Karte · Runtime nach dem fixierten Commit 9e2c041, Forschung nach den Aufzeichnungen vom September 2026
Jev-Urteilspfade: Runtime-Integration und ForschungDer obere Teil ist der optionale Urteilspfad in der heutigen GEODE-Runtime. Nur wenn judgment_engine auf jev gesetzt ist, rufen finale Verifikation und reflection Jev auf TypeSafe SystemOne einmal auf, und eine Antwort wird erst nach der Zulassungsprüfung von Typ, Wertebereich und Wahrscheinlichkeitssumme verwendet. Nur supported besteht die finale Verifikation, und das Ergebnis geht an die PostVerify- und Stop-Policy des Kapitels „Abschluss“. Der untere Teil ist die Jev-v3-Forschung außerhalb der Runtime: Ein Panel mit festen Zuständen (U3) verglich Urteile von Astra und Jev, E/I-Läufe auf Harbor 0.22 änderten nur den Urteilspfad und prüften Ergebnisse und Auslieferung getrennt mit einem unabhängigen Regel-Oracle, und das öffentliche Paket hält Quell- und öffentliche Hashes auseinander und bietet eine model-free-Neuberechnung.TypeSafe SystemOnejev-1.13.0 · nur UrteileAstra-Bewerter · actor-Modellgpt-6-astra/xhigh · AbonnementJev-Forschungsberichtöffentlicher technischer Berichtcore/config/judgment.pyjudgment_engine · llm | jevauto → typesafe · openrouterloop/_lifecycle.pyPostVerify · Stop-Policycore/agent/verify.pyfinales Urteil · eine Choice-Fragenur supported besteht · nur Textadapters/typesafe.pySystemOne · ein Aufruf · kein FallbackZulassung · Summentoleranz 1e-5loop/_reflection.pyreflection · Belegklassifikationmemory · observabilityTimeline · ledger-EntscheidungszeilenU3 · Panel mit festen Zuständen120 Paare · 27 Quellen · kein actorAstra · Jev · dieselbe FrageE/I · Harbor 0.22Astra-actor · Tools · NachbesserungUrteilspfad · Astra · Jev · Jev-firstrule oracleKorrektheit · Auslieferung getrenntjev-v3-20260927E2E-DATA · Quell- · öffentliche HashesREPRODUCE · model-freeGEODE-Runtime · 9e2c041optionales Urteil · Standard llmJev-v3-Forschung · Sept 2026außerhalb der Runtime · eigenes Harness1Pfad wählen2 Anfrage · Kandidat · Beobachtungen · finales Urteil · eine Choice-Frage → SystemOne · ein Aufruf · kein Fallback23 ein SystemOne-Aufruf · SystemOne · ein Aufruf · kein Fallback → TypeSafe SystemOne34 zugelassene Choice · Zulassung · Summentoleranz 1e-5 → nur supported besteht · nur Text45passed · reflection6Urteilszeilen1dieselbe Wahl2Belege klassifizieren3 ein SystemOne-Aufruf · SystemOne · ein Aufruf · kein Fallback → TypeSafe SystemOne34 Klassifikation · Zulassung · Summentoleranz 1e-5 → reflection · Belegklassifikation41Jev-Urteil2Astra-Urteil3Panel-Ergebnisse · Bericht1erzeugen · Tools · Nachbesserung2Pfad des Abschlussurteils3 unabhängige Prüfung · E/I · Harbor 0.22 → Korrektheit · Auslieferung getrennt34Herkunftskette Fehlschlag · Nachbesserung5model-free-Neuberechnung

Runtime · finales Urteil

Ist Jev gewählt, ruft die finale Verifikation Jev einmal mit einer Choice-Frage auf, und nur ein zugelassenes supported-Urteil besteht.

  1. judgment_engine · llm | jevcore/config/judgment.pyPfad wählenfinales Urteil · eine Choice-Fragecore/agent/verify.py

    Der Jev-Pfad wird nur verwendet, wenn judgment_engine auf jev gesetzt ist (Standard llm). provider auto wählt TypeSafe, dann OpenRouter, je nachdem, wo ein Schlüssel vorhanden ist; ohne Schlüssel bleibt der LLM-judge-Pfad. Das ist kein Fallback, der eine gescheiterte Anfrage anderswo wiederholt.

  2. finales Urteil · eine Choice-Fragecore/agent/verify.pyAnfrage · Kandidat · BeobachtungenSystemOne · ein Aufruf · kein Fallbackadapters/typesafe.py

    Ursprüngliche Anfrage und Kandidat werden geschwärzt und begrenzt und dann mit den Tool-Beobachtungen als eine Choice-Frage gesendet (supported, contradicted, insufficient_evidence). Der Urteilsaufruf erhält keine Tools (allow_tools=False). Ein Urteil, das Bilder braucht, wird nicht an Jev gesendet und wird zu verification_error.

  3. SystemOne · ein Aufruf · kein Fallbackadapters/typesafe.pyein SystemOne-AufrufTypeSafe SystemOne

    Ein Aufruf, direkt an TypeSafe oder über OpenRouter, ohne Sprung zu einem anderen Provider. Jev wird nie als Root-Modell für Textgenerierung verwendet.

  4. Zulassung · Summentoleranz 1e-5adapters/typesafe.pyzugelassene Choicenur supported besteht · nur Textcore/agent/verify.py

    Eine Antwort wird erst nach der Zulassungsprüfung von Typ, Wertebereich und Wahrscheinlichkeitssumme (Toleranz 1e-5) verwendet. Nur supported besteht; contradicted und insufficient_evidence werden zu einem Wiederholungssignal mit fester nächster Prüfung. Eine Antwort, die nicht end_turn ist oder die Zulassung nicht besteht, wird zu verification_error, das kein Wiederholungssignal ist (should_retry=False). Der Score ist eine binäre Projektion, keine kalibrierte Wahrscheinlichkeit.

  5. nur supported besteht · nur Textcore/agent/verify.pypassed · reflectionPostVerify · Stop-Policyloop/_lifecycle.py

    Das Urteil geht an die PostVerify- und Stop-Policy des Kapitels „Abschluss“. Ein Urteil ist eine Eingabe dieser Policy, keine Befugnis; wartet es auf Review, bleibt der Kandidat nur als pending_text erhalten und die finale Antwort ist leer, sodass nichts ausgeliefert wird.

  6. PostVerify · Stop-Policyloop/_lifecycle.pyUrteilszeilenTimeline · ledger-Entscheidungszeilenmemory · observability

    Urteilsentscheidungen werden in Timeline und evidence ledger aufgezeichnet: Runtime-Aufzeichnungen, getrennt von den Forschungsartefakten.

Runtime · reflection

Dieselbe Wahl steuert die Belegklassifikation von reflection; den Satz zur nächsten Prüfung legt der Code fest.

  1. judgment_engine · llm | jevcore/config/judgment.pydieselbe Wahlreflection · Belegklassifikationloop/_reflection.py

    Dieselbe Wahl gilt für reflection.

  2. reflection · Belegklassifikationloop/_reflection.pyBelege klassifizierenSystemOne · ein Aufruf · kein Fallbackadapters/typesafe.py

    reflection nutzt Jev, um begrenzte Belege zu klassifizieren, und hängt eine vom Code vorgegebene nächste Prüfung an. Sie ändert weder Überzeugungshypothesen noch Selbstvertrauen.

  3. SystemOne · ein Aufruf · kein Fallbackadapters/typesafe.pyein SystemOne-AufrufTypeSafe SystemOne

    Ein Aufruf, direkt an TypeSafe oder über OpenRouter, ohne Sprung zu einem anderen Provider. Jev wird nie als Root-Modell für Textgenerierung verwendet.

  4. Zulassung · Summentoleranz 1e-5adapters/typesafe.pyKlassifikationreflection · Belegklassifikationloop/_reflection.py

    Nur eine zugelassene Klassifikation aktualisiert den reflection-Zustand; bei einem Fehlschlag versucht es die nächste Runde vom selben vorherigen Zustand aus erneut.

Forschung · festes Panel U3

Ohne actor wurden Urteile von Jev und Astra zum selben Zustand und zur selben Frage paarweise verglichen.

  1. Astra · Jev · dieselbe FrageU3 · Panel mit festen ZuständenJev-UrteilTypeSafe SystemOne

    U3 (ursprünglicher Experiment-Commit 2f2b494): 120 feste Zustände · 27 Quellcluster · 240 Aufrufe. Jeder Zustand und jede Frage gingen als ein Paar an Jev und Astra; kein actor, keine Tools, kein Harbor.

  2. Astra · Jev · dieselbe FrageU3 · Panel mit festen ZuständenAstra-UrteilAstra-Bewerter · actor-Modell

    Korrekt auf derselben Stichprobe: Astra 90/120, Jev 84/120; Median pro Aufruf 10.446 s gegenüber 0.253 s. Das ist nur die Latenz des Urteilsaufrufs, keine Einsparung an Aufgabenzeit oder Kosten.

  3. U3 · Panel mit festen ZuständenPanel-Ergebnisse · BerichtJev-Forschungsbericht

    Die Genauigkeits- und Latenzergebnisse von U3 erscheinen im öffentlichen technischen Bericht. Ob dieses Panel Teil des öffentlichen E2E-Pakets ist, wird hier nicht behauptet.

Forschung · E/I-Läufe

Mit Astra als actor änderte sich nur der Urteilspfad, und ein unabhängiges Regel-Oracle prüfte Ergebnisse und Auslieferung getrennt.

  1. Astra-actor · Tools · NachbesserungE/I · Harbor 0.22erzeugen · Tools · NachbesserungAstra-Bewerter · actor-Modell

    In E/I auf Harbor 0.22 übernimmt der actor Astra Erzeugung, Tool-Aufrufe und Nachbesserung; nur der Urteilspfad ändert sich.

  2. Urteilspfad · Astra · Jev · Jev-firstE/I · Harbor 0.22Pfad des AbschlussurteilsTypeSafe SystemOne

    E7 (ursprünglicher Experiment-Commit 1f65534): 12 selbst verfasste synthetische Aufgaben × 3 Konfigurationen × 2 Läufe = 72 Läufe, 24/24 pro Konfiguration. Die Jev-first-Konfiguration hatte 0/24 tatsächliche Fallbacks, daher wurde ihr Effekt nicht gemessen.

  3. E/I · Harbor 0.22unabhängige PrüfungKorrektheit · Auslieferung getrenntrule oracle

    Ein unabhängiges Regel-Oracle prüft das Endergebnis, und die tatsächliche finale Auslieferung wird getrennt gezählt. In den 11 Post-hoc-Paaren des abgebrochenen U8n bestand jeder Kandidat das Oracle, doch die Auslieferung lag bei Astra 11/11 und Jev Noul 0/11.

  4. E/I · Harbor 0.22Herkunftskette Fehlschlag · NachbesserungE2E-DATA · Quell- · öffentliche Hashesjev-v3-20260927

    Das öffentliche E2E-Paket bewahrt die Herkunftsketten von Vorbereitung, Fehlschlag und Nachbesserung und hält Hashes von Quelle und öffentlicher Kopie getrennt. Eine geschwärzte öffentliche Kopie ersetzt keine Validierung der unveränderten Quelle.

  5. REPRODUCE · model-freejev-v3-20260927model-free-NeuberechnungJev-Forschungsbericht

    Zahlen aus gespeicherten Antworten neu zu berechnen und neu auszuführen sind verschiedene Vorgänge. Der Bericht ist ein öffentlicher technischer Bericht, keine begutachtete Veröffentlichung.

Alle Verbindungen in gleicher Stärke. Wird ein Ablauf gewählt, ist nur sein Pfad hervorgehoben, mit nummerierten Schritten.

  • Durchgezogen · Richtung, in die Anfragen, Kandidaten und Ergebnisse fließen
  • Gestrichelt · ausführen, entscheiden, autorisieren, konfigurieren
  • Lang strichpunktiert · Aufzeichnungen und Beobachtung, getrennt vom Urteil
  • Dicke schwarze Linie · der gewählte Ablauf; Nummern geben die Reihenfolge an
  • Kasten · eine Code- oder Aufzeichnungsgrenze, Pfad in der Kopfzeile
  • Innerer Chip · eine Komponente in dieser Grenze
  • Gestrichelter Kasten · außerhalb dieser Grenze
  • Schleife · Ausführungs-Harness
  • Pfadwahl · Urteil · Oracle
  • Aufzeichnungen · öffentliches Paket
  • Transport · Urteilspanel

Oberer und unterer Teil sind verschiedene Systeme. Die Forschungskonfigurationen und -ergebnisse sind im heutigen Runtime-Pfad nicht alle eingeschaltet; die einzige gemeinsame Verbindung ist, dass beide dasselbe Jev-Modell (jev-1.13.0) aufrufen.

Zulassung in der Runtime
Die Runtime hält die Toleranz der Wahrscheinlichkeitssumme streng bei 1e-5. Aufrufer der Evaluation übergeben ihre eigene aufgezeichnete Toleranz, statt den Runtime-Parser zu lockern.
Umfang der Forschung
U3 misst nur Urteilsaufrufe; E/I schließt actor und Nachbesserung ein. Ihre Nenner werden nie vermischt, und die 11 Paare von U8n sind eine Post-hoc-Analyse einer abgebrochenen Studie.

Drei Entscheidungsverträge

Choice

Liefert
Wahrscheinlichkeit pro Kategorie oder Option
Entscheidet
Abschluss; Absicht und Ziel einer Anfrage

Noul

Liefert
P(true) für jede Bedingung
Entscheidet
Widerspruch; fehlende Belege

Score

Liefert
Erwartungswert und Verteilung auf einer festen Ordinalskala
Entscheidet
Rangfolge erzeugter Kandidaten

Der Erwartungswert verortet einen Kandidaten auf der Skala; er dient nicht als Konfidenz.

Evaluation und Anbindung

Jeder Vertrag wurde auf einem eigenen festen Eingabepanel evaluiert, und einige wurden in den Ausführungspfad des Experiment-Harness eingebunden, um zu sehen, wie der ausführende Agent das Urteil verwertet. In der Karte oben zeigt der Forschungsteil diese Läufe; der Runtime-Teil ist der optionale Pfad im heutigen GEODE.

Beobachtungen, die den Entwurf veränderten

  1. I5 → I6 · Eingabevertrag
    1. Die Verfolgung eines gemeinsamen Auslieferungsfehlers zeigte, dass der Urteilseingabe der Aufgabenvertrag fehlte und sie Tool-Beobachtungen derselben Anfrage als vergangenen Kontext beschrieb
    2. I6 lieferte 6/6 aus, in einem separaten Lauf mit überarbeitetem Code und neuem Konto
  2. U3 · dieselben 120 Zustandspaare
    1. Median pro Aufruf Astra 10.446 s · Jev 0.253 s; korrekt auf derselben Stichprobe 90/120 · 84/120
    2. Für jede Entscheidung werden Geschwindigkeit und Genauigkeit gemeinsam abgewogen, um den Delegationsumfang festzulegen
  3. U2 · Wahrscheinlichkeiten
    1. Jevs Wahrscheinlichkeiten waren in ihrer Größe besser kalibriert, aber Astra reihte seine falschen Urteile zuverlässiger nach vorn
    2. Kalibrierung und Fehlerauswahl werden getrennt gemessen, und der Schwellenwert wird auf dem selection-Split eingefroren
  4. U6a · Absicht und Ziel
    1. Auf 40 vom Experimentdesigner verfassten Familien Jev 216/220 · Astra 220/220, innerhalb der vorregistrierten Marge von −5 pp
    2. Feste Klassifikation von Absicht und Ziel als nächster Anwendungskandidat eingegrenzt
  5. U8n · Auslieferung
    1. 11 Post-hoc-Paare aus einem abgebrochenen Lauf: Nachgebesserte Kandidaten bestanden das Oracle in beiden Armen; Auslieferung Astra 11/11 · Jev Noul 0/11
    2. Urteile wegen fehlender Belege blockierten die korrekte Auslieferung; dem aktuellen Noul-Setup fehlt die Grundlage, um als alleiniger Bewerter der Auslieferung zu dienen