TH
Geodi ตัวละครพิกเซลอย่างเป็นทางการของ GEODE
กลับไปที่ห้องจัดแสดง

GEODE

Autonomous Agent Harness

จากการสังเกตสู่การกระทำถัดไป

ฮาร์เนสเอเจนต์อัตโนมัติที่รันบนเครื่อง ซึ่งรับงานวิจัย งานไฟล์ และงานตามกำหนดเวลาได้ โมเดลเลือกการกระทำถัดไป ส่วนรันไทม์ตรวจสิทธิ์การใช้เครื่องมือและตัดสินว่างานเสร็จเมื่อใด

2026.02.21 — present

การออกแบบ การตัดสินใจ การตรวจยืนยัน: Author · การพัฒนา: Claude · รีวิว: Codex

  • CLIเผยแพร่แล้ว · PyPI
  • เซิร์ฟเวอร์ MCPพัฒนาแล้ว

ซีนาริโอการออดิตถูกสร้างผ่านเฟสที่มีลำดับตายตัว

โฮสต์เป็นเจ้าของลำดับเฟส และเอเจนต์ตามบทบาทในแต่ละเฟสแบ่งงานกัน คลังซีดที่ได้และรูบริกที่เลือกจะเป็นอินพุตของการออดิตพฤติกรรม Petri

แผนที่ซีด · วาดจากเส้นทาง evals ที่คอมมิตที่ตรึงไว้ 9e2c041
การสร้างซีนาริโอการออดิตและการออดิต Petri ของ GEODEวิธีเขียนและออดิตซีนาริโอการออดิต (ซีด) ออร์เคสเตรเตอร์ seed_generation เป็นเจ้าของลำดับเฟส ขณะที่เอเจนต์ตามบทบาทร่าง รีวิว และปรับปรุง และผลลัพธ์ถูกส่งออกเป็นไดเรกทอรี survivors และไฟล์ meta-review การออดิต Petri รับซีดที่เลือกและกำหนดบทบาทโมเดลสามตำแหน่งแยกกัน: auditor แสดงตามซีนาริโอของซีด target คือสแคฟโฟลด์ GEODE ทั้งหมด และ judge ให้คะแนนบันทึกบทสนทนาตามมิติลงในล็อก Inspect การวัดของ SIL อ่านผลลัพธ์นั้น และการวัดที่คงไว้จะกลายเป็นหลักฐาน baseline ของเจเนอเรชันถัดไปโมเดล auditorแสดงตามซีนาริโอของซีดโมเดลฐานของ targetโมเดลที่ GEODE ห่อไว้โมเดล judgeให้คะแนนบันทึกบทสนทนาทั้งหมดล็อก Inspect .evalที่เก็บถาวร · สรุปการวัด SIL · measure.pyอ่านโดยบทการค้นหานโยบายbaseline snapshotค่าเฉลี่ยรายมิติ · หลักฐานhandoff pointerlatest_pointer.json · priorsseed_generation/orchestrator.pyลำดับเฟส · PipelineStatecheckpoint · resumeagents/ · ร่างSupervisor · กลยุทธ์การรันliterature_review · ปิดเป็นค่าเริ่มต้นGenerator · ซีดแคนดิเดตagents/ · รีวิวProximity · ตัดรายการซ้ำCritic · รีวิวPilot · ไม่บังคับ · ไม่มีใน smokeRanker · Eloagents/ · ปรับปรุงEvolver · ปรับปรุงMeta-reviewer · priors ถัดไปrun_dir/survivors/ · สำเนา .md ของแคนดิเดตsurvivors.json · Elo · pilotmeta_review.json · state.jsonpetri/seedsซีดที่รวมมา · *.mdpetri/runner.pygeode audit · /audit · เครื่องมือประมาณค่าใช้จ่าย · dry-run เป็นค่าเริ่มต้นpetri/geode_target.pyGEODE เป็น target · AgenticLooppetri/judge_dimsjudge_dimensions · YAMLไฟล์สถานะนอกการรันevals/seed_generationการเขียนซีนาริโอevals/petriการรันออดิต1รันเฟสตามลำดับ2หลักฐาน baseline3 meta-review ก่อนหน้า · latest_pointer.json · priors → agents/ · ร่าง34 ซีดแคนดิเดต · agents/ · ร่าง → agents/ · รีวิว45survivors · Elo6 รอบถัดไป · เริ่มจาก Critic · Meta-reviewer · priors ถัดไป → Critic · รีวิว67 ส่งออก survivors · agents/ · ปรับปรุง → run_dir/78พอยน์เตอร์ latest1--seed-select2ซีดที่รวมมา3 บทบาทโมเดล · สามตำแหน่ง · geode audit · /audit · เครื่องมือ → โมเดล auditor34บทสนทนาตามซีนาริโอของซีด5 การเรียกโมเดล · GEODE เป็น target · AgenticLoop → โมเดลฐานของ target56บันทึกบทสนทนา7 judge_dimensions · judge_dimensions · YAML → โมเดล judge78คะแนนรายมิติ1คะแนนรายมิติ2 การวัด · ล็อก Inspect .eval → การวัด SIL · measure.py23อัปเดต baseline4หลักฐาน baseline

การเขียนซีนาริโอ

ออร์เคสเตรเตอร์เป็นเจ้าของลำดับเฟส เอเจนต์ตามบทบาทร่างและคัดกรองแคนดิเดต และผลลัพธ์ถูกส่งออกผ่านสัญญาไฟล์

  1. ลำดับเฟส · PipelineStateseed_generation/orchestrator.pyรันเฟสตามลำดับagents/ · ร่าง

    ออร์เคสเตรเตอร์เป็นเจ้าของลำดับเฟสและการรวมสถานะ เอเจนต์ตามบทบาทของแต่ละเฟสเป็นผู้ทำงาน ภายในเฟสหนึ่ง งานกระจายออกได้ผ่าน SubAgentManager และซับเอเจนต์ไม่เรียกซ้อนลงไปอีก (depth 1)

  2. ค่าเฉลี่ยรายมิติ · หลักฐานbaseline snapshotหลักฐาน baselineagents/ · ร่าง

    Generator, Critic และ Evolver อ่านค่าเฉลี่ยรายมิติ ค่าคลาดเคลื่อนมาตรฐาน และหลักฐานของ baseline ที่เลือก เจเนอเรชันแรกไม่มี baseline จึงใช้พรอมต์เริ่มต้น

  3. latest_pointer.json · priorshandoff pointermeta-review ก่อนหน้าagents/ · ร่าง

    meta-review ของการรันก่อนหน้าทิ้ง priors สำหรับเจเนอเรชันถัดไปและมิติที่ยังครอบคลุมไม่พอ ไว้ให้เจเนอเรชันนี้พิจารณา

  4. agents/ · ร่างซีดแคนดิเดตagents/ · รีวิว

    แคนดิเดตของ Generator ผ่านการตัดรายการซ้ำของ Proximity รีวิวของ Critic, Pilot (ไม่บังคับ ข้ามในการรัน smoke) และการจัดอันดับ Elo ของ Ranker ตามลำดับ

  5. agents/ · รีวิวsurvivors · Eloagents/ · ปรับปรุง

    Evolver ปรับปรุงแคนดิเดตที่อันดับสูงสุด และ Meta-reviewer สรุปการรันเป็น priors สำหรับเจเนอเรชันถัดไป

  6. Meta-reviewer · priors ถัดไปagents/ · ปรับปรุงรอบถัดไป · เริ่มจาก CriticCritic · รีวิวagents/ · รีวิว

    เมื่อตั้ง max_iterations หลัง Meta-reviewer แคนดิเดตที่ปรับปรุงแล้วจะผ่าน Critic → Pilot → Ranker → Evolver → Meta-reviewer อีกครั้ง Supervisor, Generator และ Proximity ไม่รันซ้ำ ค่าเริ่มต้นคือศูนย์รอบ

  7. agents/ · ปรับปรุงส่งออก survivorsrun_dir/

    เนื้อหาแคนดิเดตที่รอดถูกคัดลอกเป็นไฟล์ลงใน survivors/ คะแนน Elo และ pilot ไปที่ survivors.json ส่วน meta-review และสถานะถูกเขียนแยกกัน

  8. meta_review.json · state.jsonrun_dir/พอยน์เตอร์ latestlatest_pointer.json · priorshandoff pointer

    latest_pointer.json ไฟล์เดียวบันทึกว่า seed_pool และ meta_review ของการรันนี้อยู่ที่ใด เอาต์พุตรายการรันเป็นแหล่งอ้างอิงหลัก พอยน์เตอร์เป็นตัวช่วยแบบ best-effort สำหรับการรันถัดไป และการเขียนที่ล้มเหลวจะถูกบันทึกลงล็อกเท่านั้น ไม่ใช่ทุกการรันจะมีทั้งสองฟิลด์

การรันออดิต

auditor แสดงตามซีด (คำสั่งซีนาริโอ) target คือสแคฟโฟลด์ GEODE และ judge ให้คะแนนบันทึกบทสนทนา ทั้งสามบทบาทเป็นตำแหน่งโมเดลที่แยกกัน

  1. survivors/ · สำเนา .md ของแคนดิเดตrun_dir/--seed-selectgeode audit · /audit · เครื่องมือpetri/runner.py

    การออดิตรับซีดที่เลือก (ไดเรกทอรี survivors ซีดที่รวมมา id หรือ tag) และส่งต่อให้งาน inspect_petri/audit ของ Inspect การสร้างซีดไม่ได้เริ่มการออดิตเอง

  2. ซีดที่รวมมา · *.mdpetri/seedsซีดที่รวมมาgeode audit · /audit · เครื่องมือpetri/runner.py

    เลือกซีดที่รวมมากับรีโพซิทอรีได้ตามสภาพเดิม

  3. geode audit · /audit · เครื่องมือpetri/runner.pyบทบาทโมเดล · สามตำแหน่งโมเดล auditor

    โมเดล auditor, target และ judge ถูกกำหนดแยกกัน ค่าเริ่มต้นคือ dry run การเรียกจริงเกิดขึ้นหลังยืนยันการประมาณค่าใช้จ่ายแล้วเท่านั้น เมื่อทั้งสามบทบาทใช้ผู้ให้บริการเดียวกัน จะติดเครื่องหมายอคติจากผู้ให้บริการเดียวกัน

  4. โมเดล auditorบทสนทนาตามซีนาริโอของซีดGEODE เป็น target · AgenticLooppetri/geode_target.py

    ซีดคือคำสั่งซีนาริโอสำหรับ auditor ซึ่งเป็นผู้นำบทสนทนา และสร้างเครื่องมือกับผลลัพธ์เครื่องมือได้เฉพาะเมื่อเปิด target_tools

  5. GEODE เป็น target · AgenticLooppetri/geode_target.pyการเรียกโมเดลโมเดลฐานของ target

    AgenticLoop ทั้งหมดของ GEODE (เครื่องมือ hook หน่วยความจำ) ถูกห่อเป็น API โมเดลเดียว target ที่ถูกออดิตจึงเป็นสแคฟโฟลด์ GEODE ไม่ใช่โมเดลฐานเพียงอย่างเดียว

  6. GEODE เป็น target · AgenticLooppetri/geode_target.pyบันทึกบทสนทนาโมเดล judge

    judge อ่านบันทึกบทสนทนาทั้งหมดของแต่ละตัวอย่างหนึ่งครั้งและให้คะแนนตามมิติ

  7. judge_dimensions · YAMLpetri/judge_dimsjudge_dimensionsโมเดล judge

    YAML มิติของ judge ที่เลือกกำหนดมิติการให้คะแนน นี่คือการออดิตพฤติกรรม ซึ่งเป็นการวัดที่ต่างจากการทำงานให้เสร็จ

  8. โมเดล judgeคะแนนรายมิติล็อก Inspect .eval

    ล็อก Inspect .eval และสรุปถูกเก็บถาวร หากเก็บถาวรล้มเหลวจะมีบันทึกไว้ และไม่ขัดขวางผลการออดิต

การวัด → เจเนอเรชันถัดไป

SIL ใช้คะแนนการออดิตในคำตัดสิน และการวัดที่คงไว้จะเป็นหลักฐาน baseline สำหรับการสร้างซีดครั้งถัดไป นี่ไม่ได้หมายความว่าการเชื่อมโยงนี้ทำงานอัตโนมัติในทุกแคมเปญ

  1. โมเดล judgeคะแนนรายมิติล็อก Inspect .eval

    ล็อก Inspect .eval และสรุปถูกเก็บถาวร หากเก็บถาวรล้มเหลวจะมีบันทึกไว้ และไม่ขัดขวางผลการออดิต

  2. ล็อก Inspect .evalการวัดการวัด SIL · measure.py

    measure.py ของ SIL รัน subprocess การออดิตและคำนวณ fitness จากผลลัพธ์

  3. การวัด SIL · measure.pyอัปเดต baselineค่าเฉลี่ยรายมิติ · หลักฐานbaseline snapshot

    ledger ของ SIL เขียนการวัดที่คงไว้เป็น baseline การสร้างซีดอ่านหลักฐานนั้นเมื่อมีการเลือก baseline (อัตโนมัติหรือระบุชัดแจ้ง)

  4. ค่าเฉลี่ยรายมิติ · หลักฐานbaseline snapshotหลักฐาน baselineagents/ · ร่าง

    Generator, Critic และ Evolver อ่านค่าเฉลี่ยรายมิติ ค่าคลาดเคลื่อนมาตรฐาน และหลักฐานของ baseline ที่เลือก เจเนอเรชันแรกไม่มี baseline จึงใช้พรอมต์เริ่มต้น

ทุกการเชื่อมต่อมีน้ำหนักเท่ากัน เลือกโฟลว์เพื่อไฮไลต์เฉพาะเส้นทางของโฟลว์นั้นพร้อมขั้นตอนที่มีหมายเลข

  • เส้นทึบ · ทิศทางที่คำขอ แคนดิเดต และผลลัพธ์ไหลไป
  • เส้นประ · รัน ตัดสิน อนุญาต ตั้งค่า
  • เส้นยาวสลับจุด · บันทึกและการสังเกต แยกจากคำตัดสิน
  • เส้นดำหนา · โฟลว์ที่เลือก ตัวเลขบอกลำดับ
  • กล่อง · ขอบเขตของโค้ดหรือบันทึก พร้อมพาธในส่วนหัว
  • ชิปด้านใน · องค์ประกอบภายในขอบเขตนั้น
  • กล่องเส้นประ · อยู่นอกขอบเขตนั้น
  • ออร์เคสเตรเตอร์ · ทางเข้าการออดิต
  • target การออดิต · มิติการให้คะแนน
  • ผลงาน · ไฟล์สถานะ
  • เอเจนต์ตามบทบาท · ซีดที่รวมมา

ออร์เคสเตรเตอร์ตรึงลำดับรอบแรกและลำดับการทำซ้ำ การตั้งค่า บทบาทที่ลงทะเบียน และจุดที่กลับมาทำต่อ อาจทำให้ข้ามบางเฟส และไม่ใช่ทุกแคมเปญที่รันทุกเฟส ตำแหน่งไฟล์สถานะขึ้นกับสภาพแวดล้อม จึงไม่แสดงพาธ

สามบทบาท
ซีดคือคำสั่งซีนาริโอที่คนเขียนหรือสร้างขึ้น auditor คือโมเดลที่แสดงตามคำสั่งนั้น target คือสแคฟโฟลด์ GEODE ที่ถูกออดิต และ judge คือโมเดลที่ให้คะแนนบันทึกบทสนทนา คะแนนและล็อกเป็นผลงานของ judge
สิ่งที่วัด
การออดิต Petri ให้คะแนนมิติด้านพฤติกรรม ไม่ใช่อัตราการทำงานสำเร็จหรือการรับประกันคุณภาพผลิตภัณฑ์