GEODE
Autonomous Agent Harness
De la observación a la siguiente acción.
Un arnés local de agentes autónomos al que se pueden encargar investigación, trabajo con archivos y tareas programadas.
La aceptación de candidatos y la autoridad de publicación son juicios separados.
Crucible es un núcleo de experimentación aparte de la búsqueda de políticas. Un commit candidato se valida frente a las superficies permitidas y un contrato congelado, las tareas pareadas se agregan en un checkout de medición separado, y el resultado es KEEP, REJECT o INVALID.
Veredicto de train
Un candidato dentro de la superficie permitida se mide con un contrato fijo en un checkout aislado, y reglas preregistradas deciden KEEP, REJECT o INVALID.
propose → preflight
search/supervisor.pyejecutar · decidir: pedir un candidatosearch/producersEl supervisor de búsqueda pide un candidato a un productor. El candidato de r14 fue uno anterior (r13) reaplicado por el productor replay, no uno nuevo generado por un LLM.
search/producersdatos: un commit candidatopropose → preflight
search/supervisor.pyUn productor devuelve un único commit candidato dentro de las rutas permitidas.
propose → preflight
search/supervisor.pyejecutar · decidir: superficie permitida · comprobación del diffsuperficie permitida · diff candidatocontract.pyEl diff candidato debe quedar dentro de la superficie permitida por el contrato, y se verifica el evaluador congelado. En r14 y r35 el objetivo permitido era un solo archivo, tau2_agent_policy.md; core y la implementación de Crucible quedaron fijados como ruta del evaluador.
evaluate → decide → record
search/supervisor.pyejecutar · decidir: checkout aisladoaislado del productormeasurement checkoutEl candidato se comprueba en un checkout de medición separado del productor.
aislado del productor
measurement checkoutejecutar · decidir: ejecución con contrato fijoejecución de tau2 · receiptassays/La línea base y el candidato se ejecutan con el mismo contrato, la misma semilla y las mismas tareas.
ejecución de tau2 · receipt
assays/datos: diálogo actor · usuarioEntorno tau2El agente GEODE (actor) conversa con el usuario simulado propiedad del evaluador en el entorno de tareas de tau2.
ejecución de tau2 · receipt
assays/datos: llamadas a modelosModelos actor · usuarioEn r14 y r35, tanto el actor como el usuario simulado fueron gpt-5.4/high (suscripción).
verificador de tarea
assays/datos: paired evidenceagregado pareado · tarea · familiapromotion.pyLos resultados del verificador de tarea se conservan como pares línea base–candidato.
evaluador congelado · preregistrado
contract.pyejecutar · decidir: agregación preregistradaagregado pareado · tarea · familiapromotion.pyLos resultados pareados se agregan por tarea y familia preregistrada, y las condiciones de presupuesto, cobertura, infraestructura y seguridad se comprueban aparte.
KEEP · REJECT · INVALID
promotion.pyejecutar · decidir: KEEP · el head avanzasearch/* headrefs/crucibleCon KEEP, el siguiente head de refs/crucible/search/* pasa a ser el candidato. La promotion_authority de un veredicto de train es none.
Rechazo · inválido · retroalimentación
REJECT e INVALID mantienen el head, y el siguiente candidato solo recibe códigos de fallo e ID fijos de tareas de train. INVALID no es una puntuación de cero.
verificador de tarea
assays/datos: paired evidenceagregado pareado · tarea · familiapromotion.pyLos resultados del verificador de tarea se conservan como pares línea base–candidato.
evaluador congelado · preregistrado
contract.pyejecutar · decidir: agregación preregistradaagregado pareado · tarea · familiapromotion.pyLos resultados pareados se agregan por tarea y familia preregistrada, y las condiciones de presupuesto, cobertura, infraestructura y seguridad se comprueban aparte.
KEEP · REJECT · INVALID
promotion.pydatos: REJECT · INVALIDcódigos de fallo · ID de tareas de trainattempt/feedback.jsonSi hay rechazo o invalidez, se mantiene el head anterior y se conservan el candidato y sus registros. Una media INVALID es null, no cero.
códigos de fallo · ID de tareas de train
attempt/feedback.jsondatos: códigos de fallo · ID de tareassearch/producersLa retroalimentación al siguiente candidato se limita a códigos de fallo e ID fijos de tareas de train; no se transmiten trayectorias ni respuestas del evaluador.
Elegibilidad sellada · autoridad aparte
El KEEP de train solo mueve el head de búsqueda. La elegibilidad sellada solo llega a la ref eligible; la publicación del producto y el despliegue son autoridades separadas fuera de Crucible.
evaluate → decide → record
search/supervisor.pydatos: record · ref receiptbundle de train · KEEP recalculadoattestation/bundle.pyUn bundle de train solo se sostiene cuando se conectan el contrato, la evidencia de línea base y candidato, el KEEP recalculado, el linaje de propuestas, el registro del supervisor y el receipt de la ref aplicada. No es otro nombre para la mejora.
bundle de train · KEEP recalculado
attestation/bundle.pyejecutar · decidir: solo bundle de train · una veztest pack disjunto · usado una vezattestation/sealed.pyLa evaluación sellada usa una vez un test pack disjunto de train, con cero reintentos de infraestructura.
ELIGIBLE · release_authority none
attestation/sealed.pyejecutar · decidir: solo ref eligibleeligible/*refs/crucibleIncluso ELIGIBLE solo escribe refs/crucible/eligible/*, y release_authority se fija en none.
Registros públicos · r14 · r35
r14 fue KEEP en train y luego REJECT sellado; r35 (July 13, 2026) fue INVALID por cobertura incompleta y contaminación de infraestructura (0 filas pareadas, media null), con el head sin cambios.
KEEP · REJECT · INVALID
promotion.pydatos: verdict.json públicogeode-eval-artifactsLos artefactos públicos son registros normalizados fijados en 23e3428. El hash preregistrado de la config de train de r14 difiere de los bytes de la config pública, por lo que no se recertifica la cadena original completa.
attestation/sealed.pydatos: sealed decision.jsonr14 · train KEEP → sealed REJECT
geode-eval-artifactsr14: KEEP en telecom train, 6 tareas × 1 ensayo (6 filas pareadas, sin autoridad de promoción), y luego un veredicto sellado aparte de REJECT (sin autoridad de publicación).
Todas las conexiones con el mismo grosor. Elija un flujo para resaltar solo su recorrido, con pasos numerados.
- Continua · dirección en que fluyen solicitudes, candidatos y resultados
- Discontinua · ejecutar, decidir, autorizar, configurar
- Línea negra gruesa · el flujo seleccionado; los números dan el orden
- Recuadro · frontera de código o de registro, con su ruta en la cabecera
- Chip interior · componente de esa frontera
- Recuadro discontinuo · fuera de esa frontera
- supervisor de búsqueda
- contrato · veredicto · atestación
- refs · registros
- productores · ejecución
Crucible es un núcleo aparte de SIL; las dos búsquedas no son un único pipeline que promueva los candidatos de la otra. El recuadro de publicación del producto no tiene ninguna conexión entrante.
- Tres autoridades
- El KEEP de train mueve el head de búsqueda, el ELIGIBLE sellado registra una ref eligible, y la publicación del producto es una decisión aparte fuera de Crucible. Un veredicto anterior nunca otorga una autoridad posterior.
- Null no es cero
- r35 preveía 9 tareas × 3 ensayos (27 filas por brazo) pero tuvo 0 pares comparables, así que su media y su mejora son null. No son 27 tareas fallidas ni una tasa de éxito del 0%.