VI
Geodi, nhân vật pixel chính thức của GEODE
Trở lại phòng trưng bày

GEODE

Autonomous Agent Harness

Từ quan sát đến hành động tiếp theo.

Một harness tác nhân tự hành chạy cục bộ, có thể nhận việc nghiên cứu, thao tác tệp và tác vụ theo lịch.

2026.02.21 — present

Thiết kế, phán đoán, kiểm chứng: Author · hiện thực: Claude · rà soát: Codex

  • CLIĐã phát hành · PyPI
  • Máy chủ MCPĐã hiện thực

Kịch bản kiểm định được tạo qua các giai đoạn theo thứ tự cố định.

Host nắm thứ tự giai đoạn, và các tác nhân theo vai trò trong mỗi giai đoạn chia nhau công việc. Kho seed thu được và rubric đã chọn trở thành đầu vào cho đợt kiểm định hành vi Petri.

Bản đồ seed · vẽ từ các đường dẫn evals tại commit cố định 9e2c041
Tạo kịch bản kiểm định và kiểm định Petri của GEODECách các kịch bản kiểm định (seed) được viết và kiểm định. Bộ điều phối seed_generation nắm thứ tự giai đoạn trong khi các tác nhân theo vai trò soạn thảo, rà soát và cải thiện, và kết quả được xuất thành thư mục survivors cùng các tệp meta-review. Một đợt kiểm định Petri nhận một lựa chọn seed và gán ba vai trò mô hình riêng biệt: auditor diễn kịch bản seed, target là toàn bộ scaffold GEODE, và judge chấm bản ghi hội thoại theo từng chiều vào một log Inspect. Phép đo SIL đọc kết quả đó, và một phép đo được giữ lại trở thành bằng chứng baseline cho thế hệ tiếp theo.Mô hình auditordiễn kịch bản seedMô hình nền của targetmô hình mà GEODE bao bọcMô hình judgechấm toàn bộ bản ghi hội thoạiLog Inspect .evallưu trữ · tóm tắtPhép đo SIL · measure.pyđược chương tìm kiếm chính sách đọcbaseline snapshottrung bình theo chiều · bằng chứnghandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pythứ tự giai đoạn · PipelineStatecheckpoint · resumeagents/ · bản nhápSupervisor · chiến lược chạyliterature_review · mặc định tắtGenerator · seed ứng viênagents/ · rà soátProximity · loại trùngCritic · rà soátPilot · tùy chọn · không có trong smokeRanker · Eloagents/ · cải thiệnEvolver · cải thiệnMeta-reviewer · priors tiếp theorun_dir/survivors/ · bản sao .md của ứng viênsurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedsseed đi kèm · *.mdpetri/runner.pygeode audit · /audit · công cụước tính chi phí · mặc định dry-runpetri/geode_target.pyGEODE làm target · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLtệp trạng thái bên ngoài lượt chạyevals/seed_generationsoạn kịch bảnevals/petrilượt chạy kiểm định1chạy các giai đoạn theo thứ tự2bằng chứng baseline3 meta-review trước đó · latest_pointer.json · priors → agents/ · bản nháp34 seed ứng viên · agents/ · bản nháp → agents/ · rà soát45survivors · Elo6 vòng lặp tiếp theo · từ Critic · Meta-reviewer · priors tiếp theo → Critic · rà soát67 xuất survivors · agents/ · cải thiện → run_dir/78con trỏ latest1--seed-select2seed đi kèm3 vai trò mô hình · ba vị trí · geode audit · /audit · công cụ → Mô hình auditor34hội thoại kịch bản seed5 lệnh gọi mô hình · GEODE làm target · AgenticLoop → Mô hình nền của target56bản ghi hội thoại7 judge_dimensions · judge_dimensions · YAML → Mô hình judge78điểm theo chiều1điểm theo chiều2 phép đo · Log Inspect .eval → Phép đo SIL · measure.py23cập nhật baseline4bằng chứng baseline

Soạn kịch bản

Bộ điều phối nắm thứ tự giai đoạn, các tác nhân theo vai trò soạn và lọc ứng viên, và kết quả được xuất qua một hợp đồng tệp.

  1. thứ tự giai đoạn · PipelineStateseed_generation/orchestrator.pychạy các giai đoạn theo thứ tựagents/ · bản nháp

    Bộ điều phối nắm thứ tự giai đoạn và việc hợp nhất trạng thái; tác nhân theo vai trò của mỗi giai đoạn làm việc. Trong một giai đoạn, công việc có thể tỏa ra qua SubAgentManager, và tác nhân con không đệ quy (depth 1).

  2. trung bình theo chiều · bằng chứngbaseline snapshotbằng chứng baselineagents/ · bản nháp

    Generator, Critic và Evolver đọc giá trị trung bình, sai số chuẩn và bằng chứng theo từng chiều của baseline đã chọn. Thế hệ đầu tiên không có baseline và dùng prompt mặc định.

  3. latest_pointer.json · priorshandoff pointermeta-review trước đóagents/ · bản nháp

    Meta-review của lượt chạy trước để lại priors cho thế hệ tiếp theo và các chiều chưa được bao quát đủ để thế hệ này cân nhắc.

  4. agents/ · bản nhápseed ứng viênagents/ · rà soát

    Ứng viên của Generator lần lượt qua bước loại trùng của Proximity, rà soát của Critic, Pilot (tùy chọn; bỏ qua trong lượt chạy smoke) và xếp hạng Elo của Ranker.

  5. agents/ · rà soátsurvivors · Eloagents/ · cải thiện

    Evolver cải thiện các ứng viên xếp hạng cao nhất, và Meta-reviewer tổng hợp lượt chạy thành priors cho thế hệ tiếp theo.

  6. Meta-reviewer · priors tiếp theoagents/ · cải thiệnvòng lặp tiếp theo · từ CriticCritic · rà soátagents/ · rà soát

    Khi đặt max_iterations, sau Meta-reviewer các ứng viên đã cải thiện lại đi qua Critic → Pilot → Ranker → Evolver → Meta-reviewer. Supervisor, Generator và Proximity không chạy lại; mặc định là không vòng nào.

  7. agents/ · cải thiệnxuất survivorsrun_dir/

    Nội dung các ứng viên còn lại được sao thành tệp vào survivors/, điểm Elo và pilot vào survivors.json, còn meta-review và trạng thái được ghi riêng.

  8. meta_review.json · state.jsonrun_dir/con trỏ latestlatest_pointer.json · priorshandoff pointer

    Một tệp latest_pointer.json ghi vị trí seed_pool và meta_review của lượt chạy này. Đầu ra theo từng lượt chạy là chuẩn; con trỏ chỉ là hỗ trợ best-effort cho lượt chạy kế tiếp, và việc ghi thất bại chỉ được ghi log. Không phải lượt chạy nào cũng có cả hai trường.

Lượt chạy kiểm định

Auditor diễn seed (một chỉ thị kịch bản), target là scaffold GEODE, và judge chấm bản ghi hội thoại. Ba vai trò là những vị trí mô hình riêng biệt.

  1. survivors/ · bản sao .md của ứng viênrun_dir/--seed-selectgeode audit · /audit · công cụpetri/runner.py

    Một đợt kiểm định nhận lựa chọn seed (thư mục survivors, seed đi kèm, id hoặc tag) và chuyển cho tác vụ inspect_petri/audit của Inspect. Việc tạo seed không tự khởi động kiểm định.

  2. seed đi kèm · *.mdpetri/seedsseed đi kèmgeode audit · /audit · công cụpetri/runner.py

    Có thể chọn nguyên trạng các seed đi kèm trong kho mã.

  3. geode audit · /audit · công cụpetri/runner.pyvai trò mô hình · ba vị tríMô hình auditor

    Mô hình auditor, target và judge được đặt riêng. Mặc định là dry run; lệnh gọi thật chỉ diễn ra sau khi ước tính chi phí được xác nhận. Khi cả ba vai trò dùng chung một nhà cung cấp, một dấu hiệu thiên lệch cùng nhà cung cấp được gắn vào.

  4. Mô hình auditorhội thoại kịch bản seedGEODE làm target · AgenticLooppetri/geode_target.py

    Seed là chỉ thị kịch bản cho auditor. Auditor dẫn dắt hội thoại và chỉ có thể tạo công cụ và kết quả công cụ khi target_tools được bật.

  5. GEODE làm target · AgenticLooppetri/geode_target.pylệnh gọi mô hìnhMô hình nền của target

    Toàn bộ AgenticLoop của GEODE (công cụ, hook, bộ nhớ) được bao thành một API mô hình, nên target được kiểm định là scaffold GEODE, không chỉ mô hình nền.

  6. GEODE làm target · AgenticLooppetri/geode_target.pybản ghi hội thoạiMô hình judge

    Judge đọc toàn bộ bản ghi hội thoại của mỗi mẫu một lần và chấm theo từng chiều.

  7. judge_dimensions · YAMLpetri/judge_dimsjudge_dimensionsMô hình judge

    Tệp YAML về chiều của judge được chọn quy định các chiều chấm điểm. Đây là một đợt kiểm định hành vi, một phép đo khác với việc hoàn thành tác vụ.

  8. Mô hình judgeđiểm theo chiềuLog Inspect .eval

    Log Inspect .eval và bản tóm tắt được lưu trữ. Lưu trữ thất bại sẽ được ghi chú và không chặn kết quả kiểm định.

Phép đo → thế hệ tiếp theo

SIL dùng điểm kiểm định cho phán định của mình, và một phép đo được giữ lại trở thành bằng chứng baseline cho lần tạo seed tiếp theo. Điều này không có nghĩa liên kết đó đã tự động chạy trong mọi chiến dịch.

  1. Mô hình judgeđiểm theo chiềuLog Inspect .eval

    Log Inspect .eval và bản tóm tắt được lưu trữ. Lưu trữ thất bại sẽ được ghi chú và không chặn kết quả kiểm định.

  2. Log Inspect .evalphép đoPhép đo SIL · measure.py

    measure.py của SIL chạy tiến trình con kiểm định và tính fitness từ kết quả của nó.

  3. Phép đo SIL · measure.pycập nhật baselinetrung bình theo chiều · bằng chứngbaseline snapshot

    Ledger của SIL ghi một phép đo được giữ lại làm baseline. Việc tạo seed đọc bằng chứng đó khi một baseline được chọn (tự động hoặc tường minh).

  4. trung bình theo chiều · bằng chứngbaseline snapshotbằng chứng baselineagents/ · bản nháp

    Generator, Critic và Evolver đọc giá trị trung bình, sai số chuẩn và bằng chứng theo từng chiều của baseline đã chọn. Thế hệ đầu tiên không có baseline và dùng prompt mặc định.

Mọi kết nối có cùng độ đậm. Chọn một luồng để chỉ làm nổi bật đường đi của nó, kèm các bước được đánh số.

  • Nét liền · hướng đi của yêu cầu, ứng viên và kết quả
  • Nét đứt · chạy, quyết định, cấp quyền, cấu hình
  • Nét gạch chấm dài · bản ghi và quan sát, tách khỏi phán định
  • Nét đen đậm · luồng được chọn; số chỉ thứ tự
  • Hộp · một ranh giới mã hoặc bản ghi, đường dẫn ở phần đầu
  • Chip bên trong · một thành phần trong ranh giới đó
  • Hộp nét đứt · bên ngoài ranh giới đó
  • bộ điều phối · đầu vào kiểm định
  • target kiểm định · chiều chấm điểm
  • sản phẩm đầu ra · tệp trạng thái
  • tác nhân theo vai trò · seed đi kèm

Bộ điều phối cố định thứ tự lượt đầu và thứ tự lặp. Cấu hình, các vai trò đã đăng ký và điểm tiếp tục có thể bỏ qua một số giai đoạn, và không phải chiến dịch nào cũng chạy mọi giai đoạn. Vị trí tệp trạng thái tùy thuộc môi trường, nên không có đường dẫn nào được hiển thị.

Ba vai trò
Seed là một chỉ thị kịch bản do người viết hoặc được tạo ra; auditor là mô hình diễn nó, target là scaffold GEODE được kiểm định, và judge là mô hình chấm bản ghi hội thoại. Điểm số và log là sản phẩm đầu ra của judge.
Đo cái gì
Một đợt kiểm định Petri chấm điểm các chiều hành vi. Nó không phải tỷ lệ hoàn thành tác vụ hay bảo đảm chất lượng sản phẩm.