ES
Geodi, el personaje oficial de GEODE en pixel art
Volver a la sala

GEODE

Autonomous Agent Harness

De la observación a la siguiente acción.

Un arnés local de agentes autónomos al que se pueden encargar investigación, trabajo con archivos y tareas programadas.

2026.02.21 — present

Diseño, juicio, verificación: Author · implementación: Claude · revisión: Codex

  • CLIPublicado · PyPI
  • Servidor MCPImplementado

Cambiar una política a la vez; mantener fija la medición.

Un bucle aparte que se ejecuta fuera del arnés. Desde la línea base aplica un cambio de política tipado, y la misma auditoría de Petri y la misma puerta deciden entre KEEP y restaurar.

Mapa de SIL · trazado a partir de las rutas de evolve en el commit fijado 9e2c041 y del registro de ejecución de June 2026
Mapa de la búsqueda de políticas (SIL) de GEODEUn bucle de búsqueda de políticas que se ejecuta fuera del runtime. Un contrato de ejecución aprobado fija presupuesto, semillas, rúbrica y modelos, y el mutator cambia una política entre siete superficies permitidas. measure.py audita GEODE con el mismo aparato mediante Petri; fitness.py y gate.py deciden KEEP o revert con reglas de regresión crítica y de promoción; ledger.py escribe la línea base y las filas de resultados. La ejecución de June 2026 separó el ruido de auditoría del efecto de la mutación con un brazo never sin cambios, una línea base K=5 y medición replicada.Aprobación del operadorllamadas reales · presupuestoAuditoría de Petriauditor · GEODE target · judgeprogram.mdcontrato de ejecución · modelos · presupuestoreglas de parada · ejecución tras aprobacióntrain.pybucle de presupuesto fijo--replicate K · nueva mediciónloop/mutatemutator · un candidato7 superficies · sin hiperparámetrosstate/policiespolítica respaldada en archivoprepare.pyconjunto de semillas · rúbrica fijosmeasure.pysubproceso de auditoría · timeout fijoOVERRIDE · STRICT por políticafitness.pyregresión crítica · penalizacionesledger.pybaseline · provenancefilas de results · mutationsgate.py_should_promote · KEEP_reject_and_revertcore · cargadores de políticasrama de prompt · system_prompt.py6 cargadores de políticas · tool, skill…run-2606-broken-tool-uselínea base gen-0 · media de 5 auditoríasbrazo never · control sin cambiosbrazos random · gatereplicate · volver a medir un KEEP únicoevolve/scaffold_searchbucle de búsqueda externo · fuera del runtimecambio candidatouno por ejecuciónaparato de mediciónfijo durante una comparaciónrun-2606 · June 3–4, 2026broken_tool_useGEODE auditadosolo cambian las políticas permitidas1 aprobación · Aprobación del operador → contrato de ejecución · modelos · presupuesto12 contrato de ejecución · contrato de ejecución · modelos · presupuesto → bucle de presupuesto fijo23 pedir un candidato · bucle de presupuesto fijo → mutator · un candidato34cambio de política · ID de mutación5 semillas · rúbrica fijas · conjunto de semillas · rúbrica fijos → subproceso de auditoría · timeout fijo56política seleccionada7rutas de override por política8audit subprocess9diálogo de auditoría1puntuaciones por dimensión2 baseline · provenance · baseline · provenance → regresión crítica · penalizaciones23 fitness · motivos de regresión · regresión crítica · penalizaciones → _should_promote · KEEP34KEEP · siguiente línea base5REJECT · restaurar lo anterior6fila de resultado · veredicto1tres brazos2línea base media K=53medir sin cambios4--replicate K5volver a medir → revertir

Un cambio → auditoría

Con el contrato de ejecución fijado, cambia una política permitida y GEODE se audita con el mismo aparato. No es el producto en ejecución reescribiéndose a sí mismo.

  1. Aprobación del operadoraprobacióncontrato de ejecución · modelos · presupuestoprogram.md

    Una ejecución solo empieza tras aprobarse las llamadas reales y el presupuesto fijo. Sin aprobación, solo se prepara el contrato y se comprueba offline.

  2. contrato de ejecución · modelos · presupuestoprogram.mdcontrato de ejecuciónbucle de presupuesto fijotrain.py

    Las revisiones de semillas y rúbrica, los modelos de rol y las fuentes de credenciales, la configuración de medición, los presupuestos de iteraciones, tiempo y costo, la política de promoción y las condiciones de parada se fijan antes de la ejecución.

  3. bucle de presupuesto fijotrain.pypedir un candidatomutator · un candidatoloop/mutate

    Una hipótesis respaldada por evidencia cambia una superficie de política permitida.

  4. 7 superficies · sin hiperparámetrosloop/mutatecambio de política · ID de mutaciónpolítica respaldada en archivostate/policies

    Solo pueden cambiar siete superficies: prompt envolvente, política de herramientas, consejos de descomposición, reflexión, metadatos del catálogo de skills, contrato del agente (role, system_prompt, tools) y descripciones y pistas de herramientas. Los cambios de hiperparámetros se rechazan tanto al analizar como al aplicar. Aplicar una política, volver a medir y un commit opcional son pasos separados, así que una aplicación no es en sí una auditoría.

  5. conjunto de semillas · rúbrica fijosprepare.pysemillas · rúbrica fijassubproceso de auditoría · timeout fijomeasure.py

    prepare.py es la referencia fija del conjunto de semillas y la rúbrica; los candidatos no la cambian. Cambiar un módulo de medición cambia la medición, no el sistema bajo prueba.

  6. política respaldada en archivostate/policiespolítica seleccionadaOVERRIDE · STRICT por políticameasure.py

    measure.py lee el archivo de política seleccionado en ese momento y lo pasa al entorno de auditoría.

  7. OVERRIDE · STRICT por políticameasure.pyrutas de override por políticacore · cargadores de políticas

    measure.py pasa al subproceso de auditoría el envoltorio y las rutas override y strict de cada política, y el cargador de políticas correspondiente del runtime lee cada una. El envoltorio (GEODE_WRAPPER_OVERRIDE → system_prompt) es una rama; las claves de entorno adicionales no amplían las siete superficies modificables. Un archivo editado no prueba por sí solo que el candidato llegara al objetivo; lo confirma el diagnóstico de la evidencia de auditoría.

  8. subproceso de auditoría · timeout fijomeasure.pyaudit subprocessAuditoría de Petri

    La auditoría se ejecuta con un timeout y un presupuesto fijos, que nunca cambian a mitad de una comparación. Una salida ausente es un hueco de diagnóstico, no una puntuación de cero.

  9. Auditoría de Petridiálogo de auditoríacore · cargadores de políticas

    El auditor conversa con GEODE mediante el escenario de la semilla, y el juez puntúa la transcripción.

Veredicto → conservar · restaurar

En comparación con la línea base del mismo contrato, las regresiones críticas y la regla de promoción deciden KEEP; un cambio rechazado se restaura a su valor anterior registrado.

  1. Auditoría de Petripuntuaciones por dimensiónregresión crítica · penalizacionesfitness.py

    Las puntuaciones vienen con las dimensiones ausentes y el número de muestras. Una dimensión no medida no se lee como una observación.

  2. baseline · provenanceledger.pybaseline · provenanceregresión crítica · penalizacionesfitness.py

    La comparación solo usa una línea base con el mismo contrato y el mismo epoch registrados. Una rama nueva de Git no aísla el estado de la línea base.

  3. regresión crítica · penalizacionesfitness.pyfitness · motivos de regresión_should_promote · KEEPgate.py

    Primero se comprueban las regresiones en dimensiones críticas y las penalizaciones auxiliares, y luego la prueba de margen o de dimensión objetivo. Un escalar positivo por sí solo nunca promueve.

  4. _should_promote · KEEPgate.pyKEEP · siguiente línea basebaseline · provenanceledger.py

    Un candidato conservado se convierte en la siguiente línea base. Un candidato conservado localmente no es un merge en el repositorio ni una versión publicada.

  5. _reject_and_revertgate.pyREJECT · restaurar lo anteriorpolítica respaldada en archivostate/policies

    En un candidato creado por el runner, se restaura la sección de política registrada con su ID de mutación, y una restauración fallida se marca. Los cambios manuales no se restauran automáticamente, y una restauración incierta detiene el siguiente candidato.

  6. _should_promote · KEEPgate.pyfila de resultado · veredictofilas de results · mutationsledger.py

    La medición, el veredicto y la procedencia se escriben una vez como filas de resultados; las filas históricas nunca se reescriben.

Controles · medición replicada

Ejecución de June 2026: un brazo never sin cambios y una línea base K=5 midieron por separado el ruido de auditoría, y un KEEP de auditoría única se volvió a comprobar con réplicas.

  1. run-2606-broken-tool-usetres brazosbucle de presupuesto fijotrain.py

    La ejecución del June 3–4, 2026 separó la deriva del efecto de la mutación con tres brazos: never (sin cambios), random (aceptación aleatoria) y gate (aceptado por el veredicto). El objetivo fue GPT-5.5; el auditor y el juez fueron Claude Opus 4.8.

  2. línea base gen-0 · media de 5 auditoríasrun-2606-broken-tool-uselínea base media K=5baseline · provenanceledger.py

    La línea base gen-0 fue la media de cinco auditorías (Petri broken_tool_use, menor es mejor, media 2.667).

  3. brazo never · control sin cambiosrun-2606-broken-tool-usemedir sin cambiossubproceso de auditoría · timeout fijomeasure.py

    El brazo never derivó a una media de 3.38 sin ningún cambio de política (10 auditorías, menor es mejor): evidencia directa de que el ruido de auditoría superaba el efecto de la mutación.

  4. --replicate K · nueva medicióntrain.py--replicate Ksubproceso de auditoría · timeout fijomeasure.py

    El mismo candidato se mide K veces más en las mismas condiciones para descartar una auditoría única afortunada.

  5. replicate · volver a medir un KEEP únicorun-2606-broken-tool-usevolver a medir → revertir_reject_and_revertgate.py

    Un candidato conservado con una sola auditoría gate (1.6) midió 3.0–3.8 en las réplicas, peor que la línea base, así que se restauró el campeón 2.667. La ejecución concluyó que no hubo una mejora clara.

Todas las conexiones con el mismo grosor. Elija un flujo para resaltar solo su recorrido, con pasos numerados.

  • Continua · dirección en que fluyen solicitudes, candidatos y resultados
  • Discontinua · ejecutar, decidir, autorizar, configurar
  • Raya larga y punto · registros y observación, aparte del veredicto
  • Línea negra gruesa · el flujo seleccionado; los números dan el orden
  • Recuadro · frontera de código o de registro, con su ruta en la cabecera
  • Chip interior · componente de esa frontera
  • Recuadro discontinuo · fuera de esa frontera
  • bucle · ejecución de medición
  • contrato · veredicto
  • política · registros
  • cambio · objetivo auditado · registro de ejecución

El driver de SIL de GEODE se llama autoresearch; su forma prepare/train/program y su presupuesto fijo se inspiran en el autoresearch de Karpathy. No cambia ningún peso del modelo, y el aparato y el presupuesto se mantienen fijos durante una comparación.

Qué puede cambiar
Siete superficies: prompt envolvente, política de herramientas, consejos de descomposición, reflexión, metadatos del catálogo de skills, contrato del agente y descripciones y pistas de herramientas. El evaluador, el presupuesto, las semillas y la rúbrica se mantienen fijos durante una comparación.
Alcance del registro de ejecución
Los valores de run-2606 son las medias Petri broken_tool_use de esa ejecución (menor es mejor). No son evidencia de una mejora acumulada de SIL ni de generalización.