GEODE
Autonomous Agent Harness
De la observación a la siguiente acción.
Un arnés local de agentes autónomos al que se pueden encargar investigación, trabajo con archivos y tareas programadas.
De los rollouts a la evidencia
Una tasa de éxito por sí sola no puede explicar una ejecución. Conservo el orden de los eventos, las llamadas a herramientas y sus resultados, el linaje de reintentos y la evidencia de verificadores independientes, y luego conecto las partes que se pueden publicar. Estos experimentos muestran cómo evolucionaron los contratos de registro y evaluación.
Por experimento · en orden cronológico
Los seis experimentos se ordenan por fecha; no son un único proceso de optimización conectado. SIL no alimenta automáticamente a Crucible ni a Jev, y esto no afirma que GEODE en producción siguiera mejorando. Las fechas son las de los experimentos y de las instantáneas de publicación, y las flechas solo se usan para las etapas dentro de un experimento.
June 3, 2026 to June 4, 2026SIL · búsqueda de políticas externa
Un KEEP surgido de una sola auditoría se volvió a comprobar con mediciones repetidas
Pregunta¿Mejoró una mutación de política el uso de herramientas más allá del ruido de auditoría?
Experimento externo · fuera del runtime de GEODE
- Línea base · K=5
- Una mutación de política
- Auditoría de Petri
- Medición repetida
- Conservar
- Revertir
- Qué cambió
- En este experimento se añadieron mediciones repetidas a la auditoría única de una mutación antes de decidir conservarla o revertirla. Se añadieron semillas emparejadas por dificultad y una línea base K=5, y los brazos never, random y gate separan la deriva sin cambios de los cambios aceptados.
- Qué respalda
- Al volver a medirlo, el candidato conservado con una sola auditoría resultó peor que la línea base (menor es mejor), así que se revirtió su adopción. Este experimento concluyó sin una mejora robusta. Es una auditoría de comportamiento Petri broken_tool_use, no una recompensa por completar tareas.
July 11, 2026 to July 13, 2026Crucible · núcleo de experimentación externo
Permanecer en la búsqueda y llegar al producto son veredictos separados
Pregunta¿La evidencia para mantener un candidato en la búsqueda es la misma que para promoverlo y publicarlo en el producto?
Núcleo Crucible externo · checkout de medición separado
- Candidato · linaje padre
- Comprobación del contrato congelado
- Medición pareada
- KEEPsolo hacia un veredicto sellado aparte
- REJECT
- INVALIDnull, no 0%
- Qué cambió
- Los candidatos rechazados e inválidos se conservan con su linaje padre, y la selección en train, la elegibilidad sellada y la autoridad de publicación del producto son registros separados.
- Qué respalda
- r14 fue KEEP en train (seis unidades de tareas, un ensayo cada una, sin autoridad de promoción), pero su veredicto sellado aparte fue REJECT (sin autoridad de promoción ni de publicación del producto). r35 es INVALID por cobertura incompleta y contaminación de infraestructura; sin filas pareadas, su media queda en null. No es una automodificación del runtime ni una cadena de despliegue SIL → Crucible.
July 21, 2026 · July 31, 2026Refinamiento · publicación
Se clasificaron los registros restantes, y solo lo que puede compartirse se convirtió en una versión inmutable
Pregunta¿Qué se puede reconstruir realmente y qué se puede compartir con seguridad?
- Fuente privadaRegistro de sesión · evidencia nativaresultado nativo · verificador incluido
- a Eventos normalizadosconservar orden · identidad
- Eventos normalizadosidentidad · orden · pares llamada-resultado
- a Candidato públicolista de permitidos · ocultar · digest
- Candidato públicoen revisión
- a Comprobaciones de integridad · privacidadcomprobar
- Comprobaciones de integridad · privacidademparejamiento · linaje · alcance
- a Versión inmutablesolo bytes revisados
- Repositorio públicoVersión inmutablemanifest · resultados nativos referenciados por digest
- a Relectura remotaverificar el hash
- Relectura remotaSHA-256 fijado
Los eventos que conservan el orden y los identificadores se construyen a partir de la ejecución original, y el contenido sensible del candidato público se elimina o se sustituye por hashes. Tras comprobar los pares llamada-resultado, el alcance y el linaje, los archivos aprobados y el manifest se publican como una versión inmutable y se vuelven a comprobar los hashes remotos. - Qué cambió
- El inventario del July 21, 2026 clasificó por fuente los registros de diálogo, herramientas, búsqueda y decisión, y los duplicados de una misma fuente no se contaron como ejemplos independientes. Desde el July 31, 2026, geode.trajectory@1 y geode.trajectory-release@1 hacen explícitos la identidad, el orden de eventos, los pares llamada-resultado, la integridad del alcance y de la reproducción, y manifests vinculados al contenido. Las copias públicas transformadas y los originales mantienen digests separados.
- Qué respalda
- Aquí, refinamiento significa normalización, correlación, ocultación explícita, linaje y admisión a la publicación. No reconstruye razonamientos ocultos ni declara un conjunto de datos listo para entrenamiento. Un alcance completo no es una reproducción byte a byte completa cuando los cuerpos privados se sustituyen por digests.
- Fuente privadaRegistro de sesión · evidencia nativaresultado nativo · verificador incluido
August 25, 2026Learning view
Un rollout y su evidencia se vincularon mediante identificadores
Pregunta¿Qué entrada, intento, secuencia de eventos y recompensa van juntos?
geode.eval-learning-view@2 · unido por ID y digests verificados, no un orden causal
- example
- rollout
- trajectory
- reward
Los receipts del verificador nativo son dueños de la recompensa. Los reintentos de infraestructura son intentos dentro de un mismo rollout.
- Qué cambió
- Las trayectorias inmutables se reutilizan mediante joins con alcance definido, y las recompensas siguen siendo etiquetas derivadas propiedad del evaluador. Los reintentos de infraestructura no añaden rollouts. Un 0 observado se conserva y una recompensa ausente es null; los intentos inválidos o abortados se excluyen de la selección de recompensa. La validez es una propiedad del rollout, no automáticamente una recompensa null.
- Qué respalda
- Una ejecución de Terminal-Bench fast-3 con Harbor 0.8.0 (tres tareas, 3/3) y un diagnóstico de Tau2 en tres dominios (1/3, dos ceros válidos) se vinculan en la misma estructura. Son candidatos para post-entrenamiento, no conjuntos de datos usados para entrenar ni evidencia de pesos mejorados, y un resultado de tres tareas no es la exactitud de la suite.
August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1
Un mismo ensayo produjo por separado el resultado y el registro de reproducción
Pregunta¿Cómo se convierte la ejecución real de una tarea en un resultado y una reproducción inspeccionable?
- Tarea congelada · specfijada de antemano · cinco repeticiones
- a Ensayo aisladoinstrucciones · entorno · límites
- Ensayo de Harbor 0.22.0 · ejecución realEnsayo aisladoGEODE como actor
- a Acciones y estado finalejecutar
- Acciones y estado finalcomportamiento observado
- a Verificador de la tareacomprobar el estado de la tarea
- a ATIF · proyección a eventos públicosproyectar los eventos registrados
- Verificador de la tarea
- a Recompensa nativa · receiptrecompensa
- Recompensa nativa · receipt
- a Análisis del intento seleccionadoselección congelada
- ATIF · proyección a eventos públicosposprocesamiento · no es una ejecución nueva
- Análisis del intento seleccionadoregla de selección congelada
Una tarea y una spec congeladas dan a un ensayo aislado sus instrucciones, entorno y límites; el verificador propio de la tarea comprueba el estado que dejó GEODE y produce la recompensa. El análisis solo usa el intento seleccionado por una regla congelada. Los eventos registrados en la misma ejecución se proyectan por separado a ATIF y a eventos públicos, lo cual es un posprocesamiento, no una ejecución nueva. - Qué cambió
- La spec congelada, cada intento, el resultado seleccionado, el verificador propio de la tarea y una reproducción fiel pero limitada se conservan como registros vinculados separados. Harbor 0.22.0 ejecutó cinco repeticiones con GPT-5.6 Sol/max, comparando GEODE (entonces un adaptador con una sola herramienta de terminal) con Codex.
- Qué respalda
- Una tarea contiene instrucciones, entorno y pruebas; un ensayo es un intento; un trabajo agrupa ensayos. El verificador propio de la tarea decide la recompensa, y el juez de finalización interno de GEODE es retroalimentación del runtime. La reproducción pública es una proyección a posteriori de los eventos de herramientas registrados, no un PTY en bruto ni una ejecución nueva, y no se inventaron comandos para las celdas faltantes. No se pudo medir la métrica principal preregistrada.
- Tarea congelada · specfijada de antemano · cinco repeticiones
September 24, 2026 to September 28, 2026Jev · delegación de decisiones
Un candidato correcto sigue necesitando verificar la entrega
Pregunta¿Un juicio delegado preserva realmente la calidad de la tarea y la entrega final?
- U8n · ejecución Noul · Harbor 0.22 · Astra ejecuta y repara, solo cambia el enrutamiento del juicioEstado de decisióncontrato de tarea · candidato · observaciones de herramientas
- a Juicio · Noulentrada del juicio
- Juicio · NoulAstra o Jev
- a GEODE consumeprobabilidades por condición
- GEODE consumerespaldado: entregar; falta evidencia: retener
- a Entrega finalrespaldado
- a Reparación de Astrafalta evidencia · retener
- Entrega final
- a Comprobación independiente del resultadoresultado entregado
- Reparación de Astrasiguiente candidato tras la retroalimentación
- a Juicio · Noulvolver a juzgar
- a Último candidato · conservadoúltimo candidato conservado
- Comprobación independiente del resultadooráculo de reglas · resultado entregado
- Paneles fijos U3solo juicio · sin actor, herramientas ni Harbor
- Diagnóstico a posteriori · tras la ejecuciónÚltimo candidato · conservado
- a Diagnóstico con oráculo a posterioricomprobación a posteriori
- Diagnóstico con oráculo a posterioricorrección del candidato · sin efecto en la entrega
En la ejecución real, el estado de decisión va a un juicio; GEODE lo consume, entrega cuando está respaldado y, si falta evidencia, retiene el resultado mientras Astra repara y el juicio se vuelve a ejecutar. Un oráculo de reglas independiente verifica el resultado entregado. Por separado, tras la ejecución, el último candidato conservado se diagnosticó con un oráculo a posteriori; ese diagnóstico no afecta a la entrega. Los paneles fijos U3 son un experimento aparte que solo compara juicios, sin actor, herramientas ni Harbor. - Qué cambió
- La aceptación del juicio, la corrección del candidato y la entrega final se registran como resultados separados, y los linajes de preparación, fallo y reparación se conservan en la copia pública. Los hashes originales y los de la copia pública transformada se mantienen separados.
- Qué respalda
- En los 11 pares a posteriori del estudio U8n interrumpido, el último candidato era correcto en ambos brazos, pero la entrega fue Astra 11/11 y Jev Noul 0/11: el juicio de evidencia faltante de Jev Noul retuvo la entrega. Es un análisis a posteriori y no se generaliza. El recálculo numérico público, la inspección de la reproducción y una nueva ejecución en vivo son tres operaciones distintas.
- U8n · ejecución Noul · Harbor 0.22 · Astra ejecuta y repara, solo cambia el enrutamiento del juicioEstado de decisióncontrato de tarea · candidato · observaciones de herramientas