RO
Geodi, personajul pixelat oficial al GEODE
Înapoi în sală

GEODE

Autonomous Agent Harness

De la observație la următoarea acțiune.

Un cadru local pentru agenți autonomi, căruia i se pot încredința cercetare, lucru cu fișiere și sarcini programate.

2026.02.21 — present

Proiectare, judecată, verificare: Author · implementare: Claude · revizuire: Codex

  • CLIPublicat · PyPI
  • Server MCPImplementat

O singură politică schimbată o dată; măsurarea rămâne fixă.

O buclă separată care rulează în afara cadrului. Pornind de la referință, aplică o singură schimbare de politică tipizată, iar același audit Petri și aceeași poartă decid între KEEP și restaurare.

Harta SIL · desenată după căile evolve din commitul fixat 9e2c041 și înregistrarea rulării din iunie 2026
Harta căutării de politici (SIL) în GEODEO buclă de căutare de politici care rulează în afara mediului de execuție. Un contract de rulare aprobat fixează bugetul, seed-urile, rubrica și modelele, iar mutatorul schimbă o singură politică dintre șapte suprafețe permise. measure.py auditează GEODE cu același aparat prin Petri; fitness.py și gate.py decid KEEP sau revenirea cu reguli de regresie critică și de promovare; ledger.py scrie rândurile de referință și de rezultat. Rularea din iunie 2026 a separat zgomotul auditului de efectul mutației cu un braț never fără schimbare, o referință K=5 și măsurători repetate.Aprobarea operatoruluiapeluri reale · bugetAudit Petriauditor · GEODE target · judgeprogram.mdcontract de rulare · modele · bugetreguli de oprire · rulare după aprobaretrain.pybuclă cu buget fix--replicate K · remăsurareloop/mutatemutator · un candidat7 suprafețe · fără hiperparametristate/policiespolitică bazată pe fișiereprepare.pypool de seed-uri · rubrică fixămeasure.pysubproces de audit · timeout fixOVERRIDE per politică · STRICTfitness.pyregresie critică · penalizăriledger.pybaseline · provenancerezultate · rânduri de mutațiigate.py_should_promote · KEEP_reject_and_revertcore · încărcătoare de politiciramura de prompt · system_prompt.py6 încărcătoare de politici · tool, skill…run-2606-broken-tool-usereferința gen-0 · media a 5 audituribrațul never · control fără schimbarebrațele random · gatereplicate · remăsurarea unui singur KEEPevolve/scaffold_searchbuclă externă de căutare · în afara mediului de execuțieschimbare candidatăuna per rulareaparat de măsurarefix pe durata unei comparațiirun-2606 · 3–4 iunie 2026broken_tool_useGEODE auditatse schimbă doar politicile permise1 aprobare · Aprobarea operatorului → contract de rulare · modele · buget12 contract de rulare · contract de rulare · modele · buget → buclă cu buget fix23 cerere pentru un candidat · buclă cu buget fix → mutator · un candidat34schimbare de politică · ID de mutație5 seed-uri · rubrică fixă · pool de seed-uri · rubrică fixă → subproces de audit · timeout fix56politica selectată7căi de override per politică8audit subprocess9dialogul auditului1scoruri pe dimensiuni2 baseline · provenance · baseline · provenance → regresie critică · penalizări23 fitness · motive de regresie · regresie critică · penalizări → _should_promote · KEEP34KEEP · referința următoare5REJECT · restaurarea valorii anterioare6rezultat · rând de verdict1trei brațe2referință medie K=53măsurare fără schimbare4--replicate K5remăsurare → revenire

O schimbare → audit

Cu contractul de rulare fixat, se schimbă o singură politică permisă, iar GEODE este auditat cu același aparat. Nu este produsul în funcțiune care se rescrie singur.

  1. Aprobarea operatoruluiaprobarecontract de rulare · modele · bugetprogram.md

    O rulare pornește doar după aprobarea apelurilor reale și a bugetului fix. Fără aprobare, contractul este doar pregătit și verificat offline.

  2. contract de rulare · modele · bugetprogram.mdcontract de rularebuclă cu buget fixtrain.py

    Reviziile seed-urilor și ale rubricii, modelele de rol și sursele de credențiale, setările de măsurare, bugetele de iterații, timp și cost, politica de promovare și condițiile de oprire sunt fixate înainte de rulare.

  3. buclă cu buget fixtrain.pycerere pentru un candidatmutator · un candidatloop/mutate

    O singură ipoteză susținută de dovezi schimbă o singură suprafață de politică permisă.

  4. 7 suprafețe · fără hiperparametriloop/mutateschimbare de politică · ID de mutațiepolitică bazată pe fișierestate/policies

    Se pot schimba doar șapte suprafețe: promptul învelitoare, politica instrumentelor, sfaturile de descompunere, reflecția, metadatele catalogului de skill-uri, contractul agentului (role, system_prompt, tools) și descrierile și indicațiile instrumentelor. Schimbările de hiperparametri sunt respinse atât la parsare, cât și la aplicare. Aplicarea unei politici, remăsurarea și un commit opțional sunt pași separați, așa că o aplicare nu este în sine un audit.

  5. pool de seed-uri · rubrică fixăprepare.pyseed-uri · rubrică fixăsubproces de audit · timeout fixmeasure.py

    prepare.py este referința fixă pentru pool-ul de seed-uri și rubrică; candidații nu o schimbă. Schimbarea unui modul de măsurare schimbă măsurarea, nu sistemul testat.

  6. politică bazată pe fișierestate/policiespolitica selectatăOVERRIDE per politică · STRICTmeasure.py

    measure.py citește fișierul de politică selectat în acel moment și îl transmite în mediul auditului.

  7. OVERRIDE per politică · STRICTmeasure.pycăi de override per politicăcore · încărcătoare de politici

    measure.py transmite subprocesului de audit căile învelitoarei și căile de override și strict per politică, iar încărcătorul de politici corespunzător din mediul de execuție le citește pe fiecare. Învelitoarea (GEODE_WRAPPER_OVERRIDE → system_prompt) este o singură ramură; cheile de mediu suplimentare nu extind cele șapte suprafețe modificabile. Un fișier editat nu dovedește singur că modificarea candidată a ajuns la țintă; o confirmă diagnosticul din dovezile auditului.

  8. subproces de audit · timeout fixmeasure.pyaudit subprocessAudit Petri

    Auditul rulează cu un timeout și un buget fixe, care nu se schimbă niciodată în timpul unei comparații. O ieșire lipsă este un gol de diagnostic, nu un scor zero.

  9. Audit Petridialogul audituluicore · încărcătoare de politici

    Auditorul vorbește cu GEODE prin scenariul seed-ului, iar judecătorul punctează transcrierea.

Verdict → păstrare · restaurare

Comparat cu referința cu același contract, regresiile critice și regula de promovare decid KEEP; o schimbare respinsă este restaurată la valoarea anterioară înregistrată.

  1. Audit Petriscoruri pe dimensiuniregresie critică · penalizărifitness.py

    Scorurile vin împreună cu dimensiunile lipsă și numărul de eșantioane. O dimensiune nemăsurată nu este citită ca observație.

  2. baseline · provenanceledger.pybaseline · provenanceregresie critică · penalizărifitness.py

    Comparația folosește doar o referință cu același contract și aceeași epocă înregistrate. O ramură Git nouă nu izolează starea referinței.

  3. regresie critică · penalizărifitness.pyfitness · motive de regresie_should_promote · KEEPgate.py

    Mai întâi sunt verificate regresiile pe dimensiunile critice și penalizările auxiliare, apoi testul de marjă sau pe dimensiunea țintă. Un scalar pozitiv singur nu promovează niciodată.

  4. _should_promote · KEEPgate.pyKEEP · referința următoarebaseline · provenanceledger.py

    Un candidat păstrat devine referința următoare. Un candidat păstrat local nu este un merge în depozit și nici o lansare.

  5. _reject_and_revertgate.pyREJECT · restaurarea valorii anterioarepolitică bazată pe fișierestate/policies

    Pentru un candidat creat de runner, secțiunea de politică înregistrată sub ID-ul său de mutație este restaurată, iar o restaurare eșuată este semnalată. Schimbările manuale nu sunt restaurate automat, iar o restaurare incertă oprește trecerea la candidatul următor.

  6. _should_promote · KEEPgate.pyrezultat · rând de verdictrezultate · rânduri de mutațiiledger.py

    Măsurătoarea, verdictul și proveniența sunt scrise o singură dată ca rânduri de rezultat; rândurile vechi nu sunt rescrise niciodată.

Controale · măsurători repetate

Rularea din iunie 2026: un braț never fără schimbare și o referință K=5 au măsurat separat zgomotul auditului, iar un KEEP pe baza unui singur audit a fost reverificat prin repetări.

  1. run-2606-broken-tool-usetrei brațebuclă cu buget fixtrain.py

    Rularea din 3–4 iunie 2026 a separat deriva de efectul mutației cu trei brațe: never (fără schimbare), random (acceptare aleatorie) și gate (acceptare prin verdict). Ținta a fost GPT-5.5; auditorul și judecătorul au fost Claude Opus 4.8.

  2. referința gen-0 · media a 5 auditurirun-2606-broken-tool-usereferință medie K=5baseline · provenanceledger.py

    Referința gen-0 a fost media a cinci audituri (Petri broken_tool_use, mai mic este mai bine, media 2.667).

  3. brațul never · control fără schimbarerun-2606-broken-tool-usemăsurare fără schimbaresubproces de audit · timeout fixmeasure.py

    Brațul never a derivat la o medie de 3.38 fără nicio schimbare de politică (10 audituri, mai mic este mai bine): dovadă directă că zgomotul auditului a depășit efectul mutației.

  4. --replicate K · remăsuraretrain.py--replicate Ksubproces de audit · timeout fixmeasure.py

    Același candidat este măsurat de încă K ori în aceleași condiții, pentru a filtra un singur audit norocos.

  5. replicate · remăsurarea unui singur KEEPrun-2606-broken-tool-useremăsurare → revenire_reject_and_revertgate.py

    Un candidat păstrat pe baza unui singur audit gate (1.6) a măsurat 3.0–3.8 la repetări, mai rău decât referința, așa că a fost restaurat campionul 2.667. Concluzia rulării: nicio îmbunătățire clară.

Fiecare conexiune cu aceeași grosime. Alegeți un flux pentru a evidenția doar traseul lui, cu pași numerotați.

  • Continuă · direcția în care circulă cererile, candidații și rezultatele
  • Întreruptă · rulare, decizie, autorizare, configurare
  • Linie-punct lungă · înregistrări și observație, separate de verdict
  • Linie neagră groasă · fluxul selectat; numerele dau ordinea
  • Casetă · o graniță de cod sau de înregistrări, cu calea în antet
  • Etichetă interioară · o componentă din acea graniță
  • Casetă întreruptă · în afara acelei granițe
  • buclă · rulare de măsurare
  • contract · verdict
  • politică · înregistrări
  • schimbare · ținta auditată · înregistrarea rulării

Driverul SIL al GEODE se numește autoresearch; structura prepare/train/program și bugetul fix sunt inspirate de autoresearch al lui Karpathy. Nicio pondere de model nu se schimbă, iar aparatul și bugetul rămân fixe pe durata unei comparații.

Ce se poate schimba
Șapte suprafețe: promptul învelitoare, politica instrumentelor, sfaturile de descompunere, reflecția, metadatele catalogului de skill-uri, contractul agentului și descrierile și indicațiile instrumentelor. Evaluatorul, bugetul, seed-urile și rubrica rămân fixe pe durata unei comparații.
Domeniul înregistrării rulării
Valorile run-2606 sunt mediile Petri broken_tool_use ale acelei rulări (mai mic este mai bine). Nu sunt dovezi ale unei îmbunătățiri cumulative a SIL sau ale generalizării.