VI
Geodi, nhân vật pixel chính thức của GEODE
Trở lại phòng trưng bày

GEODE

Autonomous Agent Harness

Từ quan sát đến hành động tiếp theo.

Một harness tác nhân tự hành chạy cục bộ, có thể nhận việc nghiên cứu, thao tác tệp và tác vụ theo lịch.

2026.02.21 — present

Thiết kế, phán đoán, kiểm chứng: Author · hiện thực: Claude · rà soát: Codex

  • CLIĐã phát hành · PyPI
  • Máy chủ MCPĐã hiện thực

Chấp nhận ứng viên và thẩm quyền phát hành là hai phán định riêng biệt.

Crucible là một nhân thử nghiệm tách biệt với tìm kiếm chính sách. Một commit ứng viên được xác thực theo các bề mặt được phép và một hợp đồng đóng băng, các tác vụ ghép cặp được tổng hợp trong một checkout đo riêng, và kết quả là KEEP, REJECT hoặc INVALID.

Bản đồ Crucible · vẽ từ commit cố định 9e2c041 và artifact công khai 23e3428
Bản đồ Crucible của GEODEMột nhân thử nghiệm giữ việc chấp nhận ứng viên, tư cách sealed và phát hành sản phẩm là những thẩm quyền riêng biệt. Supervisor nhận một commit ứng viên từ một producer, kiểm tra nó theo bề mặt được phép và evaluator đóng băng, rồi chạy các tác vụ tau2 trong một checkout đo cô lập. promotion.py tổng hợp kết quả ghép cặp theo task và family đã đăng ký trước thành KEEP, REJECT hoặc INVALID; KEEP chỉ di chuyển head tìm kiếm. Đánh giá sealed phán định một train bundle trên một test pack rời, dùng một lần; ngay cả ELIGIBLE cũng chỉ đến được một eligible ref, không có thẩm quyền phát hành.Mô hình actor · userr14 · r35: gpt-5.4/highMôi trường tau2tác vụ · người dùng mô phỏngPhát hành sản phẩm GEODEkhông kết nối · thẩm quyền riêngsearch/producerslệnh producer · đã cấu hìnhreplay producersearch/supervisor.pypropose → preflightevaluate → decide → recordcontract.pybề mặt được phép · diff ứng viênfrozen evaluator · đăng ký trướcattempt/feedback.jsonmã lỗi · ID tác vụ trainmeasurement checkoutcô lập khỏi producerassays/lượt chạy tau2 · receiptverifier của tác vụpromotion.pypaired · tổng hợp theo task · familyKEEP · REJECT · INVALIDattestation/bundle.pytrain bundle · KEEP tính lạiattestation/sealed.pydisjoint test pack · dùng một lầnELIGIBLE · release_authority nonerefs/cruciblesearch/* headeligible/*geode-eval-artifactsr14 · train KEEP → sealed REJECTr35 · INVALID · 0 cặp · nullevolve/cruciblenhân thử nghiệm bên ngoài · tách biệt với SILsearch · phán định trainattestation · sealed1 yêu cầu ứng viên · propose → preflight → search/producers12 một commit ứng viên · search/producers → propose → preflight23 bề mặt được phép · kiểm tra diff · propose → preflight → bề mặt được phép · diff ứng viên34checkout cô lập5chạy theo hợp đồng cố định6hội thoại actor · user7lệnh gọi mô hình8paired evidence9tổng hợp đã đăng ký trước10KEEP · head di chuyển1paired evidence2tổng hợp đã đăng ký trước3REJECT · INVALID4mã lỗi · ID tác vụ1record · ref receipt2 chỉ train bundle · một lần · train bundle · KEEP tính lại → disjoint test pack · dùng một lần23 chỉ eligible ref · ELIGIBLE · release_authority none → eligible/*31verdict.json công khai2sealed decision.json

Phán định train

Một ứng viên trong bề mặt được phép được đo theo hợp đồng cố định trong một checkout cô lập, và các quy tắc đăng ký trước quyết định KEEP, REJECT hoặc INVALID.

  1. propose → preflightsearch/supervisor.pyyêu cầu ứng viênsearch/producers

    Supervisor tìm kiếm yêu cầu một producer cung cấp ứng viên. Ứng viên r14 là một ứng viên trước đó (r13) được replay producer áp dụng lại, không phải ứng viên mới do LLM sinh ra.

  2. search/producersmột commit ứng viênpropose → preflightsearch/supervisor.py

    Producer trả về một commit ứng viên duy nhất trong các đường dẫn được phép.

  3. propose → preflightsearch/supervisor.pybề mặt được phép · kiểm tra diffbề mặt được phép · diff ứng viêncontract.py

    Diff của ứng viên phải nằm trong bề mặt được hợp đồng cho phép, và evaluator đóng băng được kiểm chứng. Trong r14 và r35, đích được phép là một tệp, tau2_agent_policy.md; core và phần hiện thực Crucible được cố định làm đường dẫn evaluator.

  4. evaluate → decide → recordsearch/supervisor.pycheckout cô lậpcô lập khỏi producermeasurement checkout

    Ứng viên được kiểm tra trong một checkout đo tách khỏi producer.

  5. cô lập khỏi producermeasurement checkoutchạy theo hợp đồng cố địnhlượt chạy tau2 · receiptassays/

    Baseline và ứng viên chạy với cùng hợp đồng, seed và tác vụ.

  6. lượt chạy tau2 · receiptassays/hội thoại actor · userMôi trường tau2

    Tác nhân GEODE (actor) trò chuyện với người dùng mô phỏng do evaluator sở hữu trong môi trường tác vụ tau2.

  7. lượt chạy tau2 · receiptassays/lệnh gọi mô hìnhMô hình actor · user

    Trong r14 và r35, cả actor lẫn người dùng mô phỏng đều là gpt-5.4/high (gói thuê bao).

  8. verifier của tác vụassays/paired evidencepaired · tổng hợp theo task · familypromotion.py

    Kết quả của verifier tác vụ được giữ dưới dạng các cặp baseline–ứng viên.

  9. frozen evaluator · đăng ký trướccontract.pytổng hợp đã đăng ký trướcpaired · tổng hợp theo task · familypromotion.py

    Kết quả ghép cặp được tổng hợp theo task và family đã đăng ký trước, với các điều kiện ngân sách, độ bao phủ, hạ tầng và an toàn được kiểm tra riêng.

  10. KEEP · REJECT · INVALIDpromotion.pyKEEP · head di chuyểnsearch/* headrefs/crucible

    Khi KEEP, head refs/crucible/search/* tiếp theo trở thành ứng viên. promotion_authority của một phán định train là none.

Từ chối · vô hiệu · phản hồi

REJECT và INVALID giữ nguyên head, và ứng viên tiếp theo chỉ nhận mã lỗi và ID tác vụ train cố định. INVALID không phải điểm không.

  1. verifier của tác vụassays/paired evidencepaired · tổng hợp theo task · familypromotion.py

    Kết quả của verifier tác vụ được giữ dưới dạng các cặp baseline–ứng viên.

  2. frozen evaluator · đăng ký trướccontract.pytổng hợp đã đăng ký trướcpaired · tổng hợp theo task · familypromotion.py

    Kết quả ghép cặp được tổng hợp theo task và family đã đăng ký trước, với các điều kiện ngân sách, độ bao phủ, hạ tầng và an toàn được kiểm tra riêng.

  3. KEEP · REJECT · INVALIDpromotion.pyREJECT · INVALIDmã lỗi · ID tác vụ trainattempt/feedback.json

    Khi bị từ chối hoặc vô hiệu, head trước đó được giữ, và ứng viên cùng bản ghi của nó được lưu lại. Trung bình của INVALID là null, không phải không.

  4. mã lỗi · ID tác vụ trainattempt/feedback.jsonmã lỗi · ID tác vụsearch/producers

    Phản hồi cho ứng viên tiếp theo chỉ giới hạn ở mã lỗi và ID tác vụ train cố định; không trajectory hay đáp án nào của evaluator được chuyển tiếp.

Tư cách sealed · thẩm quyền riêng

Train KEEP chỉ di chuyển head tìm kiếm. Tư cách sealed chỉ đến được eligible ref; phát hành và triển khai sản phẩm là những thẩm quyền riêng nằm ngoài Crucible.

  1. evaluate → decide → recordsearch/supervisor.pyrecord · ref receipttrain bundle · KEEP tính lạiattestation/bundle.py

    Một train bundle chỉ thành lập khi hợp đồng, bằng chứng của baseline và ứng viên, KEEP tính lại, phả hệ đề xuất, bản ghi supervisor và receipt của ref đã áp dụng đều nối liền với nhau. Nó không phải một tên gọi khác của cải thiện.

  2. train bundle · KEEP tính lạiattestation/bundle.pychỉ train bundle · một lầndisjoint test pack · dùng một lầnattestation/sealed.py

    Đánh giá sealed dùng một test pack rời khỏi train, một lần, không thử lại hạ tầng nào.

  3. ELIGIBLE · release_authority noneattestation/sealed.pychỉ eligible refeligible/*refs/crucible

    Ngay cả ELIGIBLE cũng chỉ ghi refs/crucible/eligible/*, và release_authority được cố định là none.

Bản ghi công khai · r14 · r35

r14 là train KEEP rồi sealed REJECT; r35 (July 13, 2026) là INVALID do độ bao phủ chưa đủ và hạ tầng bị nhiễm (0 hàng ghép cặp, trung bình null), với head không đổi.

  1. KEEP · REJECT · INVALIDpromotion.pyverdict.json công khaigeode-eval-artifacts

    Các artifact công khai là bản ghi đã chuẩn hóa, cố định tại 23e3428. Hash cấu hình train đã đăng ký trước của r14 khác với byte cấu hình công khai, nên toàn bộ chuỗi gốc không được chứng nhận lại.

  2. attestation/sealed.pysealed decision.jsonr14 · train KEEP → sealed REJECTgeode-eval-artifacts

    r14: KEEP trên telecom train, 6 tác vụ × 1 lần thử (6 hàng ghép cặp, không có thẩm quyền thăng hạng), sau đó một phán định sealed riêng là REJECT (không có thẩm quyền phát hành).

Mọi kết nối có cùng độ đậm. Chọn một luồng để chỉ làm nổi bật đường đi của nó, kèm các bước được đánh số.

  • Nét liền · hướng đi của yêu cầu, ứng viên và kết quả
  • Nét đứt · chạy, quyết định, cấp quyền, cấu hình
  • Nét đen đậm · luồng được chọn; số chỉ thứ tự
  • Hộp · một ranh giới mã hoặc bản ghi, đường dẫn ở phần đầu
  • Chip bên trong · một thành phần trong ranh giới đó
  • Hộp nét đứt · bên ngoài ranh giới đó
  • supervisor tìm kiếm
  • hợp đồng · phán định · chứng thực
  • ref · bản ghi
  • producer · thực thi

Crucible là một nhân tách biệt với SIL; hai quá trình tìm kiếm không phải một pipeline thăng hạng ứng viên cho nhau. Hộp phát hành sản phẩm không có kết nối đi vào.

Ba thẩm quyền
Train KEEP di chuyển head tìm kiếm, sealed ELIGIBLE ghi một eligible ref, và phát hành sản phẩm là một quyết định riêng ngoài Crucible. Một phán định trước không bao giờ trao thẩm quyền cho bước sau.
Null không phải không
r35 dự kiến 9 tác vụ × 3 lần thử (27 hàng mỗi arm) nhưng có 0 cặp so sánh được, nên trung bình và mức cải thiện của nó là null. Đó không phải 27 tác vụ thất bại hay tỷ lệ thành công 0%.