PT
Geodi, personagem oficial do GEODE em pixel art
Voltar à sala

GEODE

Autonomous Agent Harness

Da observação à próxima ação.

Um harness local de agentes autônomos ao qual se pode confiar pesquisa, trabalho com arquivos e tarefas agendadas.

2026.02.21 — present

Concepção, julgamento, verificação: Author · implementação: Claude · revisão: Codex

  • CLIPublicado · PyPI
  • Servidor MCPImplementado

Mudar uma política por vez; manter a medição fixa.

Um loop separado que roda fora do harness. A partir da linha de base, aplica uma mudança de política tipada, e a mesma auditoria do Petri e o mesmo portão decidem entre KEEP e restaurar.

Mapa do SIL · desenhado a partir dos caminhos de evolve no commit fixado 9e2c041 e do registro de execução de June 2026
Mapa da busca de políticas (SIL) do GEODEUm loop de busca de políticas que roda fora do runtime. Um contrato de execução aprovado fixa orçamento, sementes, rubrica e modelos, e o mutator muda uma política entre sete superfícies permitidas. O measure.py audita o GEODE com o mesmo aparato via Petri; fitness.py e gate.py decidem KEEP ou revert com regras de regressão crítica e de promoção; ledger.py grava a linha de base e as linhas de resultado. A execução de June 2026 separou o ruído da auditoria do efeito da mutação com um braço never sem mudança, uma linha de base K=5 e medição replicada.Aprovação do operadorchamadas reais · orçamentoAuditoria do Petriauditor · GEODE target · judgeprogram.mdcontrato de execução · modelos · orçamentoregras de parada · execução após aprovaçãotrain.pyloop de orçamento fixo--replicate K · nova mediçãoloop/mutatemutator · um candidato7 superfícies · sem hiperparâmetrosstate/policiespolítica baseada em arquivoprepare.pyconjunto de sementes · rubrica fixosmeasure.pysubprocesso de auditoria · timeout fixoOVERRIDE · STRICT por políticafitness.pyregressão crítica · penalidadesledger.pybaseline · provenancelinhas de results · mutationsgate.py_should_promote · KEEP_reject_and_revertcore · carregadores de políticasramo de prompt · system_prompt.py6 carregadores de políticas · tool, skill…run-2606-broken-tool-uselinha de base gen-0 · média de 5 auditoriasbraço never · controle sem mudançabraços random · gatereplicate · medir de novo um KEEP únicoevolve/scaffold_searchloop de busca externo · fora do runtimemudança candidatauma por execuçãoaparato de mediçãofixo durante uma comparaçãorun-2606 · June 3–4, 2026broken_tool_useGEODE auditadosó mudam as políticas permitidas1 aprovação · Aprovação do operador → contrato de execução · modelos · orçamento12 contrato de execução · contrato de execução · modelos · orçamento → loop de orçamento fixo23 pedir um candidato · loop de orçamento fixo → mutator · um candidato34mudança de política · ID de mutação5 sementes · rubrica fixas · conjunto de sementes · rubrica fixos → subprocesso de auditoria · timeout fixo56política selecionada7caminhos de override por política8audit subprocess9diálogo de auditoria1pontuações por dimensão2 baseline · provenance · baseline · provenance → regressão crítica · penalidades23 fitness · motivos de regressão · regressão crítica · penalidades → _should_promote · KEEP34KEEP · próxima linha de base5REJECT · restaurar o anterior6linha de resultado · veredito1três braços2linha de base média K=53medir sem mudança4--replicate K5medir de novo → reverter

Uma mudança → auditoria

Com o contrato de execução fixado, uma política permitida muda e o GEODE é auditado com o mesmo aparato. Não é o produto em execução reescrevendo a si mesmo.

  1. Aprovação do operadoraprovaçãocontrato de execução · modelos · orçamentoprogram.md

    Uma execução só começa depois que as chamadas reais e o orçamento fixo são aprovados. Sem aprovação, só o contrato é preparado e verificado offline.

  2. contrato de execução · modelos · orçamentoprogram.mdcontrato de execuçãoloop de orçamento fixotrain.py

    Revisões de sementes e rubrica, modelos de papel e fontes de credenciais, configurações de medição, orçamentos de iterações, tempo e custo, a política de promoção e as condições de parada são fixados antes da execução.

  3. loop de orçamento fixotrain.pypedir um candidatomutator · um candidatoloop/mutate

    Uma hipótese apoiada em evidências muda uma superfície de política permitida.

  4. 7 superfícies · sem hiperparâmetrosloop/mutatemudança de política · ID de mutaçãopolítica baseada em arquivostate/policies

    Só sete superfícies podem mudar: prompt de wrapper, política de ferramentas, conselhos de decomposição, reflexão, metadados do catálogo de skills, contrato do agente (role, system_prompt, tools) e descrições e dicas de ferramentas. Mudanças de hiperparâmetros são rejeitadas tanto na análise quanto na aplicação. Aplicar uma política, medir de novo e um commit opcional são etapas separadas, então uma aplicação não é por si só uma auditoria.

  5. conjunto de sementes · rubrica fixosprepare.pysementes · rubrica fixassubprocesso de auditoria · timeout fixomeasure.py

    prepare.py é a referência fixa do conjunto de sementes e da rubrica; os candidatos não a mudam. Mudar um módulo de medição muda a medição, não o sistema sob teste.

  6. política baseada em arquivostate/policiespolítica selecionadaOVERRIDE · STRICT por políticameasure.py

    measure.py lê o arquivo de política selecionado no momento e o passa para o ambiente de auditoria.

  7. OVERRIDE · STRICT por políticameasure.pycaminhos de override por políticacore · carregadores de políticas

    measure.py passa ao subprocesso de auditoria o wrapper e os caminhos override e strict de cada política, e o carregador de política correspondente do runtime lê cada um. O wrapper (GEODE_WRAPPER_OVERRIDE → system_prompt) é um ramo; chaves de ambiente extras não ampliam as sete superfícies mutáveis. Um arquivo editado não prova por si só que o candidato chegou ao alvo; o diagnóstico das evidências da auditoria confirma.

  8. subprocesso de auditoria · timeout fixomeasure.pyaudit subprocessAuditoria do Petri

    A auditoria roda com timeout e orçamento fixos, nunca alterados no meio de uma comparação. Saída ausente é uma lacuna de diagnóstico, não uma pontuação zero.

  9. Auditoria do Petridiálogo de auditoriacore · carregadores de políticas

    O auditor conversa com o GEODE pelo cenário da semente, e o juiz pontua a transcrição.

Veredito → manter · restaurar

Em comparação com a linha de base do mesmo contrato, as regressões críticas e a regra de promoção decidem KEEP; uma mudança rejeitada é restaurada ao valor anterior registrado.

  1. Auditoria do Petripontuações por dimensãoregressão crítica · penalidadesfitness.py

    As pontuações vêm com as dimensões ausentes e o número de amostras. Uma dimensão não medida não é lida como observação.

  2. baseline · provenanceledger.pybaseline · provenanceregressão crítica · penalidadesfitness.py

    A comparação só usa uma linha de base com o mesmo contrato e o mesmo epoch registrados. Um novo branch do Git não isola o estado da linha de base.

  3. regressão crítica · penalidadesfitness.pyfitness · motivos de regressão_should_promote · KEEPgate.py

    Primeiro são verificadas as regressões em dimensões críticas e as penalidades auxiliares, depois o teste de margem ou de dimensão-alvo. Um escalar positivo sozinho nunca promove.

  4. _should_promote · KEEPgate.pyKEEP · próxima linha de basebaseline · provenanceledger.py

    Um candidato mantido vira a próxima linha de base. Um candidato mantido localmente não é um merge no repositório nem uma versão publicada.

  5. _reject_and_revertgate.pyREJECT · restaurar o anteriorpolítica baseada em arquivostate/policies

    Para um candidato criado pelo runner, a seção de política registrada sob seu ID de mutação é restaurada, e uma restauração com falha é sinalizada. Mudanças manuais não são restauradas automaticamente, e uma restauração incerta impede o próximo candidato.

  6. _should_promote · KEEPgate.pylinha de resultado · vereditolinhas de results · mutationsledger.py

    A medição, o veredito e a procedência são gravados uma vez como linhas de resultado; linhas históricas nunca são reescritas.

Controles · medição replicada

Execução de June 2026: um braço never sem mudança e uma linha de base K=5 mediram separadamente o ruído da auditoria, e um KEEP de auditoria única foi reverificado com réplicas.

  1. run-2606-broken-tool-usetrês braçosloop de orçamento fixotrain.py

    A execução de June 3–4, 2026 separou a deriva do efeito da mutação com três braços: never (sem mudança), random (aceitação aleatória) e gate (aceito pelo veredito). O alvo foi o GPT-5.5; o auditor e o juiz foram o Claude Opus 4.8.

  2. linha de base gen-0 · média de 5 auditoriasrun-2606-broken-tool-uselinha de base média K=5baseline · provenanceledger.py

    A linha de base gen-0 foi a média de cinco auditorias (Petri broken_tool_use, menor é melhor, média 2.667).

  3. braço never · controle sem mudançarun-2606-broken-tool-usemedir sem mudançasubprocesso de auditoria · timeout fixomeasure.py

    O braço never derivou para uma média de 3.38 sem nenhuma mudança de política (10 auditorias, menor é melhor): evidência direta de que o ruído da auditoria superou o efeito da mutação.

  4. --replicate K · nova mediçãotrain.py--replicate Ksubprocesso de auditoria · timeout fixomeasure.py

    O mesmo candidato é medido K vezes mais nas mesmas condições para filtrar uma auditoria única de sorte.

  5. replicate · medir de novo um KEEP únicorun-2606-broken-tool-usemedir de novo → reverter_reject_and_revertgate.py

    Um candidato mantido com uma única auditoria gate (1.6) mediu 3.0–3.8 nas réplicas, pior que a linha de base, então o campeão 2.667 foi restaurado. A execução concluiu que não houve melhora clara.

Todas as conexões com a mesma espessura. Escolha um fluxo para destacar só o caminho dele, com etapas numeradas.

  • Contínua · direção em que fluem requisições, candidatos e resultados
  • Tracejada · executar, decidir, autorizar, configurar
  • Traço longo e ponto · registros e observação, separados do veredito
  • Linha preta grossa · o fluxo selecionado; os números dão a ordem
  • Caixa · fronteira de código ou de registro, com o caminho no cabeçalho
  • Chip interno · componente dessa fronteira
  • Caixa tracejada · fora dessa fronteira
  • loop · execução de medição
  • contrato · veredito
  • política · registros
  • mudança · alvo auditado · registro de execução

O driver do SIL do GEODE se chama autoresearch; sua forma prepare/train/program e o orçamento fixo se inspiram no autoresearch de Karpathy. Nenhum peso de modelo muda, e o aparato e o orçamento ficam fixos durante uma comparação.

O que pode mudar
Sete superfícies: prompt de wrapper, política de ferramentas, conselhos de decomposição, reflexão, metadados do catálogo de skills, contrato do agente e descrições e dicas de ferramentas. Avaliador, orçamento, sementes e rubrica ficam fixos durante uma comparação.
Escopo do registro de execução
Os valores de run-2606 são as médias Petri broken_tool_use daquela execução (menor é melhor). Não são evidência de melhora cumulativa do SIL nem de generalização.