VI
Geodi, nhân vật pixel chính thức của GEODE
Trở lại phòng trưng bày

GEODE

Autonomous Agent Harness

Từ quan sát đến hành động tiếp theo.

Một harness tác nhân tự hành chạy cục bộ, có thể nhận việc nghiên cứu, thao tác tệp và tác vụ theo lịch.

2026.02.21 — present

Thiết kế, phán đoán, kiểm chứng: Author · hiện thực: Claude · rà soát: Codex

  • CLIĐã phát hành · PyPI
  • Máy chủ MCPĐã hiện thực

Mỗi lần chỉ đổi một chính sách; giữ cố định phép đo.

Một vòng lặp riêng chạy bên ngoài harness. Từ baseline, nó áp dụng một thay đổi chính sách có kiểu, và cùng một đợt kiểm định Petri cùng cổng quyết định giữa KEEP và khôi phục.

Bản đồ SIL · vẽ từ các đường dẫn evolve tại commit cố định 9e2c041 và bản ghi lượt chạy June 2026
Bản đồ tìm kiếm chính sách (SIL) của GEODEMột vòng lặp tìm kiếm chính sách chạy bên ngoài runtime. Một hợp đồng chạy đã phê duyệt cố định ngân sách, seed, rubric và mô hình, và mutator thay đổi một chính sách trong bảy bề mặt được phép. measure.py kiểm định GEODE bằng cùng bộ đo qua Petri; fitness.py và gate.py quyết định KEEP hoặc hoàn lại bằng các quy tắc hồi quy nghiêm trọng và thăng hạng; ledger.py ghi baseline và các hàng kết quả. Lượt chạy June 2026 tách nhiễu kiểm định khỏi tác động của thay đổi bằng một never arm không thay đổi, một baseline K=5 và phép đo lặp lại.Phê duyệt của người vận hànhlệnh gọi thật · ngân sáchKiểm định Petriauditor · GEODE target · judgeprogram.mdhợp đồng chạy · mô hình · ngân sáchquy tắc dừng · chạy sau phê duyệttrain.pyvòng lặp ngân sách cố định--replicate K · đo lạiloop/mutatemutator · một ứng viên7 bề mặt · không nhận hyperparamstate/policieschính sách dựa trên tệpprepare.pykho seed · rubric cố địnhmeasure.pytiến trình con kiểm định · timeout cố địnhOVERRIDE theo chính sách · STRICTfitness.pyhồi quy nghiêm trọng · điểm phạtledger.pybaseline · provenancekết quả · hàng mutationgate.py_should_promote · KEEP_reject_and_revertcore · bộ nạp chính sáchnhánh prompt · system_prompt.py6 bộ nạp chính sách · tool, skill…run-2606-broken-tool-usebaseline gen-0 · trung bình 5 đợt kiểm địnhnever arm · đối chứng không thay đổirandom · gate armreplicate · đo lại một KEEP đơn lẻevolve/scaffold_searchvòng lặp tìm kiếm bên ngoài · ngoài runtimethay đổi ứng viênmột cho mỗi lượt chạybộ đocố định trong khi so sánhrun-2606 · June 3–4, 2026broken_tool_useGEODE được kiểm địnhchỉ chính sách được phép mới thay đổi1 phê duyệt · Phê duyệt của người vận hành → hợp đồng chạy · mô hình · ngân sách12 hợp đồng chạy · hợp đồng chạy · mô hình · ngân sách → vòng lặp ngân sách cố định23 yêu cầu một ứng viên · vòng lặp ngân sách cố định → mutator · một ứng viên34thay đổi chính sách · mutation ID5 seed · rubric cố định · kho seed · rubric cố định → tiến trình con kiểm định · timeout cố định56chính sách được chọn7đường dẫn override theo chính sách8audit subprocess9hội thoại kiểm định1điểm theo chiều2 baseline · provenance · baseline · provenance → hồi quy nghiêm trọng · điểm phạt23 fitness · lý do hồi quy · hồi quy nghiêm trọng · điểm phạt → _should_promote · KEEP34KEEP · baseline tiếp theo5REJECT · khôi phục giá trị trước6kết quả · hàng phán định1ba arm2baseline trung bình K=53đo không thay đổi4--replicate K5đo lại → hoàn lại

Một thay đổi → kiểm định

Với hợp đồng chạy đã cố định, một chính sách được phép thay đổi và GEODE được kiểm định bằng cùng bộ đo. Đây không phải sản phẩm đang chạy tự viết lại chính nó.

  1. Phê duyệt của người vận hànhphê duyệthợp đồng chạy · mô hình · ngân sáchprogram.md

    Một lượt chạy chỉ bắt đầu sau khi các lệnh gọi thật và ngân sách cố định được phê duyệt. Không có phê duyệt thì chỉ hợp đồng được chuẩn bị và kiểm tra offline.

  2. hợp đồng chạy · mô hình · ngân sáchprogram.mdhợp đồng chạyvòng lặp ngân sách cố địnhtrain.py

    Phiên bản seed và rubric, mô hình theo vai trò và nguồn thông tin xác thực, thiết lập đo, ngân sách vòng lặp, thời gian và chi phí, chính sách thăng hạng và điều kiện dừng được cố định trước lượt chạy.

  3. vòng lặp ngân sách cố địnhtrain.pyyêu cầu một ứng viênmutator · một ứng viênloop/mutate

    Một giả thuyết có bằng chứng thay đổi một bề mặt chính sách được phép.

  4. 7 bề mặt · không nhận hyperparamloop/mutatethay đổi chính sách · mutation IDchính sách dựa trên tệpstate/policies

    Chỉ bảy bề mặt được phép thay đổi: prompt wrapper, chính sách công cụ, gợi ý phân rã, reflection, siêu dữ liệu danh mục skill, hợp đồng tác nhân (role, system_prompt, tools), và mô tả cùng gợi ý của công cụ. Thay đổi hyperparameter bị từ chối ở cả bước phân tích lẫn bước áp dụng. Áp dụng chính sách, đo lại và commit tùy chọn là các bước riêng, nên việc áp dụng tự nó không phải là kiểm định.

  5. kho seed · rubric cố địnhprepare.pyseed · rubric cố địnhtiến trình con kiểm định · timeout cố địnhmeasure.py

    prepare.py là tham chiếu cố định cho kho seed và rubric; ứng viên không thay đổi nó. Thay đổi một module đo là thay đổi phép đo, không phải hệ thống đang được kiểm thử.

  6. chính sách dựa trên tệpstate/policieschính sách được chọnOVERRIDE theo chính sách · STRICTmeasure.py

    measure.py đọc tệp chính sách đang được chọn và đưa nó vào môi trường kiểm định.

  7. OVERRIDE theo chính sách · STRICTmeasure.pyđường dẫn override theo chính sáchcore · bộ nạp chính sách

    measure.py chuyển đường dẫn wrapper cùng các đường dẫn override và strict theo chính sách cho tiến trình con kiểm định, và bộ nạp chính sách tương ứng của runtime đọc từng cái. Wrapper (GEODE_WRAPPER_OVERRIDE → system_prompt) là một nhánh; thêm khóa môi trường không mở rộng bảy bề mặt có thể thay đổi. Chỉ riêng một tệp đã sửa không chứng minh ứng viên đã đến được target; chẩn đoán trong bằng chứng kiểm định mới xác nhận điều đó.

  8. tiến trình con kiểm định · timeout cố địnhmeasure.pyaudit subprocessKiểm định Petri

    Kiểm định chạy với timeout và ngân sách cố định, không bao giờ thay đổi giữa chừng một phép so sánh. Đầu ra bị thiếu là khoảng trống chẩn đoán, không phải điểm không.

  9. Kiểm định Petrihội thoại kiểm địnhcore · bộ nạp chính sách

    Auditor trò chuyện với GEODE qua kịch bản seed, và judge chấm bản ghi hội thoại.

Phán định → giữ · khôi phục

So với baseline cùng hợp đồng, hồi quy nghiêm trọng và quy tắc thăng hạng quyết định KEEP; một thay đổi bị từ chối được khôi phục về giá trị trước đã ghi.

  1. Kiểm định Petriđiểm theo chiềuhồi quy nghiêm trọng · điểm phạtfitness.py

    Điểm số đi kèm các chiều bị thiếu và số mẫu. Một chiều chưa được đo không được đọc như một quan sát.

  2. baseline · provenanceledger.pybaseline · provenancehồi quy nghiêm trọng · điểm phạtfitness.py

    Phép so sánh chỉ dùng baseline có cùng hợp đồng và epoch đã ghi. Một nhánh Git mới không cô lập trạng thái baseline.

  3. hồi quy nghiêm trọng · điểm phạtfitness.pyfitness · lý do hồi quy_should_promote · KEEPgate.py

    Hồi quy ở chiều nghiêm trọng và điểm phạt phụ được kiểm tra trước, sau đó mới đến phép kiểm margin hoặc chiều mục tiêu. Một giá trị vô hướng dương tự nó không bao giờ dẫn đến thăng hạng.

  4. _should_promote · KEEPgate.pyKEEP · baseline tiếp theobaseline · provenanceledger.py

    Ứng viên được giữ trở thành baseline tiếp theo. Một ứng viên được giữ cục bộ không phải là merge vào kho mã hay một bản phát hành.

  5. _reject_and_revertgate.pyREJECT · khôi phục giá trị trướcchính sách dựa trên tệpstate/policies

    Với ứng viên do runner tạo, phần chính sách được ghi theo mutation ID của nó sẽ được khôi phục, và khôi phục thất bại sẽ được đánh dấu. Thay đổi thủ công không được khôi phục tự động, và một lần khôi phục không chắc chắn sẽ chặn ứng viên tiếp theo.

  6. _should_promote · KEEPgate.pykết quả · hàng phán địnhkết quả · hàng mutationledger.py

    Phép đo, phán định và nguồn gốc được ghi một lần thành các hàng kết quả; các hàng cũ không bao giờ bị ghi đè.

Đối chứng · đo lặp lại

Lượt chạy June 2026: một never arm không thay đổi và một baseline K=5 đo riêng nhiễu kiểm định, và một KEEP từ đợt kiểm định đơn lẻ được kiểm tra lại bằng replicate.

  1. run-2606-broken-tool-useba armvòng lặp ngân sách cố địnhtrain.py

    Lượt chạy June 3–4, 2026 tách dao động khỏi tác động của thay đổi bằng ba arm: never (không thay đổi), random (chấp nhận ngẫu nhiên) và gate (chấp nhận theo phán định). Target là GPT-5.5; auditor và judge là Claude Opus 4.8.

  2. baseline gen-0 · trung bình 5 đợt kiểm địnhrun-2606-broken-tool-usebaseline trung bình K=5baseline · provenanceledger.py

    Baseline gen-0 là trung bình của năm đợt kiểm định (Petri broken_tool_use, càng thấp càng tốt, trung bình 2.667).

  3. never arm · đối chứng không thay đổirun-2606-broken-tool-useđo không thay đổitiến trình con kiểm định · timeout cố địnhmeasure.py

    Never arm dao động đến trung bình 3.38 mà không có thay đổi chính sách nào (10 đợt kiểm định, càng thấp càng tốt): bằng chứng trực tiếp rằng nhiễu kiểm định lớn hơn tác động của thay đổi.

  4. --replicate K · đo lạitrain.py--replicate Ktiến trình con kiểm định · timeout cố địnhmeasure.py

    Cùng ứng viên được đo thêm K lần trong cùng điều kiện để loại một đợt kiểm định đơn lẻ may mắn.

  5. replicate · đo lại một KEEP đơn lẻrun-2606-broken-tool-useđo lại → hoàn lại_reject_and_revertgate.py

    Một ứng viên được KEEP sau một đợt kiểm định gate đơn lẻ (1.6) đo lại được 3.0–3.8, tệ hơn baseline, nên champion 2.667 được khôi phục. Lượt chạy kết luận không có cải thiện rõ rệt.

Mọi kết nối có cùng độ đậm. Chọn một luồng để chỉ làm nổi bật đường đi của nó, kèm các bước được đánh số.

  • Nét liền · hướng đi của yêu cầu, ứng viên và kết quả
  • Nét đứt · chạy, quyết định, cấp quyền, cấu hình
  • Nét gạch chấm dài · bản ghi và quan sát, tách khỏi phán định
  • Nét đen đậm · luồng được chọn; số chỉ thứ tự
  • Hộp · một ranh giới mã hoặc bản ghi, đường dẫn ở phần đầu
  • Chip bên trong · một thành phần trong ranh giới đó
  • Hộp nét đứt · bên ngoài ranh giới đó
  • vòng lặp · lượt đo
  • hợp đồng · phán định
  • chính sách · bản ghi
  • thay đổi · target được kiểm định · bản ghi lượt chạy

Trình điều khiển SIL của GEODE có tên autoresearch; cấu trúc prepare/train/program và ngân sách cố định của nó lấy cảm hứng từ autoresearch của Karpathy. Không có trọng số mô hình nào thay đổi, và bộ đo cùng ngân sách được giữ cố định trong khi so sánh.

Những gì được thay đổi
Bảy bề mặt: prompt wrapper, chính sách công cụ, gợi ý phân rã, reflection, siêu dữ liệu danh mục skill, hợp đồng tác nhân, và mô tả cùng gợi ý của công cụ. Bộ đánh giá, ngân sách, seed và rubric được giữ cố định trong khi so sánh.
Phạm vi của bản ghi lượt chạy
Các giá trị của run-2606 là trung bình Petri broken_tool_use của lượt chạy đó (càng thấp càng tốt). Chúng không phải bằng chứng về cải thiện tích lũy hay khả năng khái quát của SIL.