GEODE
Autonomous Agent Harness
De la observație la următoarea acțiune.
Un cadru local pentru agenți autonomi, căruia i se pot încredința cercetare, lucru cu fișiere și sarcini programate.
Implementări trimise înapoi de revizuire, cifre de cercetare recalculate
Două cazuri în care revizuirea a trimis înapoi o implementare și unul în care cifrele de cercetare au fost recalculate cu originalele păstrate. Fiecare rol cuprinde doar ce arată înregistrarea acelui caz.
June 13, 2026
O implementare care trecea pe calea normală a fost trimisă înapoi de două ori de revizuire, pe căile de eroare
PersoanăAuthor
AcțiuneTelemetrie lipsă · fallback tăcut de verificat
- predareEșecuri care trebuie să fie vizibile→ Rând de activitate tipizat · fallback marcat (Claude Fable 5)
Agent de programareClaude Fable 5
AcțiuneRând de activitate tipizat · fallback marcat
- predare→ commit 64bd223 (Commituri publice)
- predareDiff · căi de eșec→ BLOCKER: fallback-ul generic stochează brut details=data (Codex)
ArtefacteCommituri publice
Artefactcommit 64bd223
Revizuire · verificareCodex
Observație · constatareBLOCKER: fallback-ul generic stochează brut details=data
- trimis înapoiProtecția căii normale și pe calea de excepție→ Câmpurile sensibile eliminate și la fallback (Claude Fable 5)
Agent de programareClaude Fable 5
AcțiuneCâmpurile sensibile eliminate și la fallback
- predare→ c808e78 · verificarea de reproducere K4 (Commituri publice)
- predareCorecție revizuită din nou→ BLOCKER #2: textul ValidationError reexpune valorile (Codex)
ArtefacteCommituri publice
Artefactc808e78 · verificarea de reproducere K4
Revizuire · verificareCodex
Observație · constatareBLOCKER #2: textul ValidationError reexpune valorile
- trimis înapoiUn motiv de eroare fără valori brute→ Rămân doar tipul erorii · calea câmpului; args_preview eliminat (Claude Fable 5)
Agent de programareClaude Fable 5
AcțiuneRămân doar tipul erorii · calea câmpului; args_preview eliminat
- predare→ 8dcb386 · verificarea de reproducere K5 (Commituri publice)
ArtefacteCommituri publice
Artefact8dcb386 · verificarea de reproducere K5
- nu este o execuție înregistratăDomeniu verificat→ CI complet și PASS-ul final al revizuirii de atunci, necitite din nou (Commituri publice)
ArtefacteCommituri publice
Regulă · neverificatăCI complet și PASS-ul final al revizuirii de atunci, necitite din nou
- Context
- Schimbarea transforma evenimentele de observabilitate în rânduri de activitate tipizate și împiedica fallback-urile să rămână tăcute. Revizuirea Codex a lăsat două BLOCKER-e, iar fiecare corecție a venit cu o verificare care reproduce ocolirea găsită.
- Rezultat
- K4 forțează un fallback real cu un tip greșit și verifică faptul că nu supraviețuiește niciun câmp brut; K5 verifică faptul că descrierea erorii conține doar nume de câmpuri și tipuri de eroare, niciodată valori de intrare. Aceste verificări reproduc ocolirile găsite de revizuire; nu copiază constante din implementare.
- Limită
- Conversația originală a revizuirii MCP nu a fost deschisă; rolul de revizuire este stabilit din commituri și din CHANGELOG-ul scris atunci. Acest caz nu garantează că niciun jurnal GEODE nu păstrează vreodată date sensibile.
Surse și limite rămase
- Toate cele trei commituri îl menționează pe Claude Fable 5, iar c808e78 și 8dcb386 înregistrează BLOCKER-ul Codex, respectiv BLOCKER #2.
- Politica actuală pentru contribuitori (octombrie 2026) nu este citită retroactiv ca instrucțiune pentru acest caz.
May 26, 2026
O schimbare care ar fi șters un scor a fost restrânsă la o verificare a locurilor în care scorul poate fi folosit
Agent de programareImplementare
Observație · constatareNevoie: valoarea să nu fie folosită ca axă de fitness
- predarePrima ipoteză→ Prima ciornă: eliminarea valorii din baseline writer (Implementare)
Obiectul dezvoltăriiConsumatori din produs
Observație · constatareLa prima generare, baseline-ul este singura sursă a scenario_realism
- predareConsumatorul real urmărit→ Constatare: strică intrarea inițială a criticului (Codex)
Agent de programareImplementare
AcțiunePrima ciornă: eliminarea valorii din baseline writer
- predareSchimbare revizuită→ Constatare: strică intrarea inițială a criticului (Codex)
Revizuire · verificareCodex
Observație · constatareConstatare: strică intrarea inițială a criticului
- trimis înapoiContractul de intrare existent, păstrat→ Schimbarea din writer retrasă · datele păstrate (Implementare)
Agent de programareImplementare
AcțiuneSchimbarea din writer retrasă · datele păstrate
- predareCriteriul de finalizare mutat→ 4 invarianți: absentă doar de pe suprafețele de fitness (Commit public · PR)
ArtefacteCommit public · PR
Artefact4 invarianți: absentă doar de pe suprafețele de fitness
- predareDiff final→ 0792e81 → PR #1690 integrat (Commit public · PR)
ArtefacteCommit public · PR
Artefact0792e81 → PR #1690 integrat
- Context
- Schimbarea trebuia să împiedice ca scenario_realism să servească drept axă de fitness în Scaffold Search extern. Când revizuirea a urmărit primul cititor al valorii, schimbarea a fost micșorată, nu extinsă.
- Rezultat
- Valoarea din baseline rămâne; patru verificări fixează faptul că această dimensiune lipsește din AXIS_TIERS, DIM_WEIGHTS și listele de tier ale căutării externe.
- Limită
- Sesiunea din spatele schimbării retrase din writer nu a fost consultată; ea este stabilită din commit și din descrierile testelor scrise atunci. Aceste verificări nu sunt dovezi ale performanței căutării sau ale îmbunătățirii SIL.
Surse și limite rămase
- Critic și evolver sunt consumatori de date din produsul aflat în dezvoltare, nu agentul de programare sau revizorul Codex folosite pentru a-l construi.
- Titlul PR #1690 spune încă „filter”; diff-ul și commitul final sunt schimbarea reală.
September 27, 2026 to September 28, 2026
După corectarea unei valori-limită, rezultatele originale au fost mai întâi reproduse, apoi recalculate
Sesiune de lucruImplementatorul analizei
Observație · constatareValori aflate exact pe limita de toleranță, respinse
- predareO eroare de admitere, nu de capacitate a modelului→ Comparație ca zecimale · toleranțe neschimbate (Implementatorul analizei)
Sesiune de lucruImplementatorul analizei
AcțiuneComparație ca zecimale · toleranțe neschimbate
- predare→ 4be7a17 · verificări în interiorul / în afara limitei (Artefacte)
ArtefacteArtefacte
Artefact4be7a17 · verificări în interiorul / în afara limitei
PersoanăAuthor
AcțiuneDelegat: doar corectarea offline a tuturor U4 · X2 salvate
- predareDomeniu permis→ contract.json: intrări · reguli fixate, fără apeluri de model (Artefacte)
ArtefacteArtefacte
Artefactcontract.json: intrări · reguli fixate, fără apeluri de model
- predareCondiții fixate→ Mai întâi reproducerea rezultatelor anterioare · numitorilor · CI-urilor (Implementatorul analizei)
Sesiune de lucruImplementatorul analizei
AcțiuneMai întâi reproducerea rezultatelor anterioare · numitorilor · CI-urilor
- predareDupă reproducere→ Corecția calculată separat din aceleași intrări (Implementatorul analizei)
Sesiune de lucruImplementatorul analizei
AcțiuneCorecția calculată separat din aceleași intrări
- predare→ receipt: 24 de originale păstrate · 0 apeluri de model (Artefacte)
- predareVectori de celule, nu rezumate→ Recalcularea câștigătorilor · CI-urilor din vectorii de celule · potrivirea hash-urilor (Verificator independent)
ArtefacteArtefacte
Artefactreceipt: 24 de originale păstrate · 0 apeluri de model
Revizuire · verificareVerificator independent
AcțiuneRecalcularea câștigătorilor · CI-urilor din vectorii de celule · potrivirea hash-urilor
- predare→ independent-review: verdictele rămân valabile, limitele declarate (Artefacte)
ArtefacteArtefacte
Artefactindependent-review: verdictele rămân valabile, limitele declarate
- Context
- În instrumentul de cercetare Jev, răspunsurile numerice tipizate aflate exact pe limita de toleranță erau respinse. După corecție, fiecare rezultat salvat a fost recalculat fără noi rulări ale modelelor, iar partea care calcula și cea care verifica au fost ținute separat.
- Rezultat
- Verdictele au rămas valabile după corecție (U4 not-supported, X2 mixed). Corectarea unei erori numerice și susținerea unei ipoteze de cercetare au fost ținute separat.
- Limită
- O corecție post-hoc, nu un nou experiment cu modele. Cele 640 de celule listwise Astra fără răspuns original își păstrează câștigătorul salvat, iar nici revizuirea independentă nu a reanalizat corpurile private ale răspunsurilor.
Surse și limite rămase
- Toleranța de scor de 0.03 și toleranța sumei distribuției de 0.025 nu au fost schimbate. Cifrele corectate sunt U4 58/80 → 59/80 și X2 194/240 → 196/240.
- Înregistrarea publică a corecției nu numește niciun model pentru partea care a scris sau pentru cea care a verificat, iar 4be7a17 nu menționează nici Claude, nici Codex, așa că niciuna dintre coloane nu primește un nume de model.