Geodi ตัวละครพิกเซลอย่างเป็นทางการของ GEODE
กลับไปที่ห้องจัดแสดง

GEODE

Autonomous Agent Harness

จากการสังเกตสู่การกระทำถัดไป

ฮาร์เนสเอเจนต์อัตโนมัติที่รันบนเครื่อง ซึ่งรับงานวิจัย งานไฟล์ และงานตามกำหนดเวลาได้ โมเดลเลือกการกระทำถัดไป ส่วนรันไทม์ตรวจสิทธิ์การใช้เครื่องมือและตัดสินว่างานเสร็จเมื่อใด

2026.02.21 — present

การออกแบบ การตัดสินใจ การตรวจยืนยัน: Author · การพัฒนา: Claude · รีวิว: Codex

  • CLIเผยแพร่แล้ว · PyPI
  • เซิร์ฟเวอร์ MCPพัฒนาแล้ว

จากโรลเอาต์สู่หลักฐาน

อัตราการผ่านเพียงอย่างเดียวอธิบายการรันไม่ได้ จึงเก็บลำดับอีเวนต์ การเรียกเครื่องมือและผลลัพธ์ สายการลองใหม่ และหลักฐานจาก verifier อิสระไว้ แล้วเชื่อมส่วนที่เผยแพร่ได้เข้าด้วยกัน การทดลองเหล่านี้แสดงให้เห็นว่าสัญญาการบันทึกและการประเมินพัฒนามาอย่างไร

ตามการทดลอง · เรียงตามวันที่

การทดลองทั้งหกเรียงตามวันที่ ไม่ใช่กระบวนการปรับให้เหมาะที่เชื่อมต่อกันเป็นหนึ่งเดียว SIL ไม่ได้ป้อนเข้าสู่ Crucible หรือ Jev โดยอัตโนมัติ และนี่ไม่ใช่การอ้างว่า GEODE ที่ใช้งานจริงดีขึ้นเรื่อย ๆ วันที่คือวันที่ของการทดลองและสแนปช็อตการเผยแพร่ และลูกศรใช้เฉพาะกับขั้นตอนภายในการทดลองเดียว

  1. June 3, 2026 to June 4, 2026SIL · การค้นหานโยบายภายนอก

    KEEP จากการออดิตครั้งเดียวถูกตรวจซ้ำด้วยการวัดซ้ำ

    คำถามการเปลี่ยนนโยบายปรับปรุงพฤติกรรมการใช้เครื่องมือได้เกินกว่าสัญญาณรบกวนของการออดิตหรือไม่?

    การทดลองภายนอก · นอกรันไทม์ GEODE

    1. baseline · K=5
    2. การเปลี่ยนนโยบายหนึ่งรายการ
    3. การออดิต Petri
    4. การวัดซ้ำ
      • คงไว้
      • ย้อนกลับ
    สิ่งที่เปลี่ยน
    ในการทดลองนี้ มีการเพิ่มการวัดซ้ำเข้ากับการออดิตครั้งเดียวของการเปลี่ยนแปลง ก่อนตัดสินว่าจะคงไว้หรือย้อนกลับ มีการเพิ่มซีดที่ปรับระดับความยากให้ตรงกันและ baseline K=5 และ arm แบบ never, random และ gate แยกการแกว่งที่เกิดขึ้นโดยไม่มีการเปลี่ยนแปลงออกจากการเปลี่ยนแปลงที่ได้รับการยอมรับ
    สิ่งที่สนับสนุน
    เมื่อวัดซ้ำ แคนดิเดตที่คงไว้จากการออดิตครั้งเดียวแย่กว่า baseline (ยิ่งต่ำยิ่งดี) จึงถอนการรับเข้าใช้ การทดลองนี้สรุปว่าไม่มีการปรับปรุงที่หนักแน่น นี่คือการออดิตพฤติกรรม Petri broken_tool_use ไม่ใช่รางวัลจากการทำงานเสร็จ
  2. July 11, 2026 to July 13, 2026Crucible · เคอร์เนลการทดลองภายนอก

    การคงอยู่ในการค้นหาและการไปถึงผลิตภัณฑ์เป็นคำตัดสินที่แยกกัน

    คำถามหลักฐานสำหรับการคงแคนดิเดตไว้ในการค้นหา เป็นหลักฐานเดียวกับการเลื่อนขั้นและรีลีสสู่ผลิตภัณฑ์หรือไม่?

    เคอร์เนล Crucible ภายนอก · checkout สำหรับการวัดที่แยกต่างหาก

    1. แคนดิเดต · สายต้นทาง
    2. ตรวจกับสัญญาที่ตรึงไว้
    3. การวัดแบบจับคู่
      • KEEPไปได้เพียงคำตัดสิน sealed ที่แยกต่างหาก
      • REJECT
      • INVALIDnull ไม่ใช่ 0%
    สิ่งที่เปลี่ยน
    แคนดิเดตที่ถูกปฏิเสธและไม่ถูกต้องถูกเก็บไว้พร้อมสายต้นทาง และการคัดเลือกใน train การมีสิทธิ์แบบ sealed และอำนาจการรีลีสผลิตภัณฑ์เป็นบันทึกที่แยกกัน
    สิ่งที่สนับสนุน
    r14 ได้ KEEP ใน train (หกหน่วยงาน หน่วยละหนึ่งการทดลอง ไม่มีอำนาจการเลื่อนขั้น) แต่คำตัดสิน sealed ที่แยกต่างหากคือ REJECT (ไม่มีอำนาจเลื่อนขั้นสู่ผลิตภัณฑ์หรือรีลีส) r35 เป็น INVALID เพราะความครอบคลุมไม่ครบและโครงสร้างพื้นฐานปนเปื้อน เมื่อไม่มีแถวคู่ ค่าเฉลี่ยจึงยังเป็น null นี่ไม่ใช่ทั้งการแก้ไขตัวเองของรันไทม์และสายการดีพลอย SIL → Crucible
  3. July 21, 2026 · July 31, 2026การกลั่นกรอง · การเผยแพร่

    บันทึกที่เหลือถูกจัดประเภท และเฉพาะส่วนที่แบ่งปันได้เท่านั้นที่กลายเป็นรีลีสที่เปลี่ยนแปลงไม่ได้

    คำถามอะไรที่สร้างขึ้นใหม่ได้จริง และอะไรที่แบ่งปันได้อย่างปลอดภัย?

    1. ต้นทางส่วนตัวบันทึกเซสชัน · หลักฐานต้นฉบับผลลัพธ์ native · รวม verifier
      • ไปยัง อีเวนต์ที่ปรับมาตรฐานรักษาลำดับ · ตัวระบุ
    2. อีเวนต์ที่ปรับมาตรฐานตัวระบุ · ลำดับ · คู่การเรียก-ผลลัพธ์
      • ไปยัง แคนดิเดตสาธารณะallowlist · ปิดบัง · digest
    3. แคนดิเดตสาธารณะอยู่ระหว่างรีวิว
      • ไปยัง การตรวจความสมบูรณ์ · ความเป็นส่วนตัวตรวจ
    4. การตรวจความสมบูรณ์ · ความเป็นส่วนตัวการจับคู่ · สายที่มา · ขอบเขต
      • ไปยัง รีลีสที่เปลี่ยนแปลงไม่ได้เฉพาะไบต์ที่รีวิวแล้ว
    5. รีโพซิทอรีสาธารณะรีลีสที่เปลี่ยนแปลงไม่ได้manifest · ผลลัพธ์ native อ้างอิงด้วย digest
      • ไปยัง อ่านกลับจากรีโมตตรวจแฮช
    6. อ่านกลับจากรีโมตSHA-256 ที่ตรึงไว้
    อีเวนต์ที่รักษาลำดับและตัวระบุถูกสร้างจากการรันต้นฉบับ และเนื้อหาอ่อนไหวในแคนดิเดตสาธารณะถูกลบหรือแทนด้วยแฮช หลังตรวจคู่การเรียก-ผลลัพธ์ ขอบเขต และสายที่มาแล้ว ไฟล์ที่อนุมัติและ manifest จะถูกเผยแพร่เป็นรีลีสที่เปลี่ยนแปลงไม่ได้ และตรวจแฮชฝั่งรีโมตอีกครั้ง
    สิ่งที่เปลี่ยน
    การสำรวจเมื่อ July 21, 2026 จัดประเภทบันทึกบทสนทนา เครื่องมือ การค้นหา และการตัดสินตามแหล่งที่มา และรายการซ้ำจากแหล่งเดียวกันไม่ถูกนับเป็นตัวอย่างอิสระ ตั้งแต่ July 31, 2026 geode.trajectory@1 และ geode.trajectory-release@1 ระบุชัดแจ้งถึงตัวระบุ ลำดับอีเวนต์ คู่การเรียก-ผลลัพธ์ ความสมบูรณ์ของขอบเขตและการเล่นซ้ำ และ manifest ที่ผูกกับเนื้อหา ฉบับสาธารณะที่แปลงแล้วกับต้นฉบับมี digest แยกกัน
    สิ่งที่สนับสนุน
    การกลั่นกรองในที่นี้หมายถึงการปรับมาตรฐาน การเชื่อมโยงความสัมพันธ์ การปิดบังอย่างชัดแจ้ง สายที่มา และการอนุมัติให้เผยแพร่ ไม่ใช่การสร้างการให้เหตุผลที่ซ่อนอยู่ขึ้นใหม่หรือการประกาศว่าเป็นชุดข้อมูลพร้อมฝึก ขอบเขตที่ครบถ้วนไม่ได้หมายถึงการเล่นซ้ำระดับไบต์ที่ครบถ้วน เมื่อเนื้อหาส่วนตัวถูกแทนด้วย digest
  4. August 25, 2026Learning view

    โรลเอาต์หนึ่งครั้งและหลักฐานของมันถูกผูกเข้าด้วยกันด้วยตัวระบุ

    คำถามอินพุต ความพยายาม ลำดับอีเวนต์ และรางวัลใดที่เป็นคู่กัน?

    geode.eval-learning-view@2 · เชื่อมด้วย ID และ digest ที่ตรวจยืนยันแล้ว ไม่ใช่ลำดับเชิงเหตุและผล

    1. example
    2. rollout
    3. trajectory
    4. reward

    receipt ของ verifier native เป็นเจ้าของรางวัล การลองใหม่ด้านโครงสร้างพื้นฐานคือความพยายามภายในโรลเอาต์เดียว

    สิ่งที่เปลี่ยน
    trajectory ที่เปลี่ยนแปลงไม่ได้ถูกนำกลับมาใช้ผ่าน join ที่จำกัดขอบเขต และรางวัลยังคงเป็นป้ายกำกับที่คำนวณได้ซึ่ง evaluator เป็นเจ้าของ การลองใหม่ด้านโครงสร้างพื้นฐานไม่ได้เพิ่มจำนวนโรลเอาต์ ค่า 0 ที่สังเกตได้ถูกเก็บไว้ และรางวัลที่หายไปคือ null ความพยายามที่ไม่ถูกต้องหรือถูกยกเลิกถูกตัดออกจากการเลือกรางวัล ความถูกต้องเป็นคุณสมบัติของโรลเอาต์ ไม่ได้ทำให้รางวัลเป็น null โดยอัตโนมัติ
    สิ่งที่สนับสนุน
    การรัน Terminal-Bench fast-3 ด้วย Harbor 0.8.0 (สามงาน 3/3) และการวินิจฉัย Tau2 สามโดเมน (1/3 มีศูนย์ที่ถูกต้องสองค่า) ถูกผูกไว้ในโครงสร้างเดียวกัน ทั้งหมดนี้เป็นแคนดิเดตสำหรับ post-training ไม่ใช่ชุดข้อมูลที่ใช้ฝึกหรือหลักฐานว่าน้ำหนักดีขึ้น และผลของสามงานไม่ใช่ความแม่นยำของทั้งชุด
  5. August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1

    trial หนึ่งครั้งสร้างผลลัพธ์และบันทึกการเล่นซ้ำแยกกัน

    คำถามการรันงานจริงกลายเป็นผลลัพธ์และการเล่นซ้ำที่ตรวจสอบได้อย่างไร?

    1. งานที่ตรึงไว้ · specตรึงไว้ล่วงหน้า · ทำซ้ำห้าครั้ง
      • ไปยัง trial ที่แยกออกมาคำสั่ง · สภาพแวดล้อม · ขีดจำกัด
    2. Harbor 0.22.0 trial · การรันจริงtrial ที่แยกออกมาGEODE เป็น actor
      • ไปยัง การกระทำและสถานะสุดท้ายรัน
    3. การกระทำและสถานะสุดท้ายพฤติกรรมที่สังเกตได้
      • ไปยัง verifier ที่งานเป็นเจ้าของตรวจสถานะงาน
      • ไปยัง ATIF · การฉายอีเวนต์สาธารณะฉายอีเวนต์ที่บันทึก
    4. verifier ที่งานเป็นเจ้าของ
      • ไปยัง รางวัล native · receiptรางวัล
    5. รางวัล native · receipt
      • ไปยัง การวิเคราะห์ความพยายามที่เลือกการเลือกที่ตรึงไว้
    6. ATIF · การฉายอีเวนต์สาธารณะประมวลผลภายหลัง · ไม่ใช่การรันใหม่
    7. การวิเคราะห์ความพยายามที่เลือกกฎการเลือกที่ตรึงไว้
    งานและ spec ที่ตรึงไว้ให้คำสั่ง สภาพแวดล้อม และขีดจำกัดแก่ trial ที่แยกออกมา verifier ที่งานเป็นเจ้าของตรวจสถานะที่ GEODE ทิ้งไว้และให้รางวัล การวิเคราะห์ใช้เฉพาะความพยายามที่ถูกเลือกด้วยกฎที่ตรึงไว้ อีเวนต์ที่บันทึกในการรันเดียวกันถูกฉายแยกเป็น ATIF และอีเวนต์สาธารณะ ซึ่งเป็นการประมวลผลภายหลัง ไม่ใช่การรันใหม่
    สิ่งที่เปลี่ยน
    spec ที่ตรึงไว้ ทุกความพยายาม ผลลัพธ์ที่เลือก verifier ที่งานเป็นเจ้าของ และการเล่นซ้ำที่ซื่อตรงแต่มีขอบเขตจำกัด ถูกเก็บเป็นบันทึกที่แยกกันแต่เชื่อมโยงกัน Harbor 0.22.0 รันซ้ำห้าครั้งด้วย GPT-5.6 Sol/max เปรียบเทียบ GEODE (ขณะนั้นเป็น adapter เครื่องมือเทอร์มินัลเดียว) กับ Codex
    สิ่งที่สนับสนุน
    งานเป็นเจ้าของคำสั่ง สภาพแวดล้อม และเทสต์ trial คือความพยายามหนึ่งครั้ง job คือกลุ่มของ trial verifier ที่งานเป็นเจ้าของตัดสินรางวัล ส่วนผู้ตัดสินความเสร็จภายในของ GEODE เป็นข้อมูลป้อนกลับระหว่างรัน การเล่นซ้ำสาธารณะเป็นการฉายภายหลังของอีเวนต์เครื่องมือที่บันทึกไว้ ไม่ใช่ PTY ดิบหรือการรันใหม่ และไม่มีการแต่งคำสั่งเติมลงในช่องที่ขาด ตัวชี้วัดหลักที่ลงทะเบียนล่วงหน้าวัดไม่ได้
  6. September 24, 2026 to September 28, 2026Jev · การมอบหมายการตัดสินใจ

    แคนดิเดตที่ถูกต้องยังต้องการการตรวจยืนยันการส่งมอบ

    คำถามการตัดสินที่ถูกมอบหมายรักษาคุณภาพงานและการส่งมอบสุดท้ายได้จริงหรือไม่?

    1. U8n · การรัน Noul · Harbor 0.22 · Astra รันและซ่อม เปลี่ยนเฉพาะเส้นทางการตัดสินสถานะการตัดสินใจสัญญาของงาน · แคนดิเดต · การสังเกตจากเครื่องมือ
      • ไปยัง การตัดสิน · Noulอินพุตการตัดสิน
    2. การตัดสิน · NoulAstra หรือ Jev
      • ไปยัง GEODE ใช้ผลความน่าจะเป็นของเงื่อนไข
    3. GEODE ใช้ผลครบเงื่อนไข: ส่งมอบ หลักฐานไม่พอ: ระงับ
      • ไปยัง การส่งมอบสุดท้ายครบเงื่อนไข
      • ไปยัง Astra ซ่อมหลักฐานไม่พอ · ระงับ
    4. การส่งมอบสุดท้าย
      • ไปยัง การตรวจผลลัพธ์อิสระผลลัพธ์ที่ส่งมอบ
    5. Astra ซ่อมแคนดิเดตถัดไปหลังได้ข้อมูลป้อนกลับ
      • ไปยัง การตัดสิน · Noulตัดสินอีกครั้ง
      • ไปยัง แคนดิเดตสุดท้าย · เก็บไว้เก็บแคนดิเดตสุดท้ายไว้
    6. การตรวจผลลัพธ์อิสระrule oracle · ผลลัพธ์ที่ส่งมอบ
    7. แผงตายตัว U3การตัดสินเท่านั้น · ไม่มี actor เครื่องมือ หรือ Harbor
    8. การวินิจฉัยภายหลัง · หลังการรันแคนดิเดตสุดท้าย · เก็บไว้
      • ไปยัง การวินิจฉัยด้วย oracle ภายหลังตรวจภายหลัง
    9. การวินิจฉัยด้วย oracle ภายหลังความถูกต้องของแคนดิเดต · ไม่มีผลต่อการส่งมอบ
    ในการรันจริง สถานะการตัดสินใจถูกส่งไปยังการตัดสิน GEODE ใช้ผลนั้น ส่งมอบเมื่อครบเงื่อนไข และเมื่อหลักฐานไม่เพียงพอจะระงับผลลัพธ์ไว้ขณะที่ Astra ซ่อมแล้วตัดสินอีกครั้ง rule oracle อิสระตรวจยืนยันผลลัพธ์ที่ส่งมอบ แยกจากนั้น หลังการรัน แคนดิเดตสุดท้ายที่เก็บไว้ถูกวินิจฉัยด้วย oracle ภายหลัง ซึ่งการวินิจฉัยนั้นไม่มีผลต่อการส่งมอบ แผงตายตัว U3 เป็นการทดลองแยกที่เปรียบเทียบเฉพาะการตัดสิน โดยไม่มี actor เครื่องมือ หรือ Harbor
    สิ่งที่เปลี่ยน
    การยอมรับผลตัดสิน ความถูกต้องของแคนดิเดต และการส่งมอบสุดท้าย ถูกบันทึกเป็นผลลัพธ์ที่แยกกัน และสายการเตรียม ความล้มเหลว และการซ่อมถูกเก็บไว้ในฉบับสาธารณะ แฮชของต้นฉบับและฉบับสาธารณะที่แปลงแล้วแยกจากกัน
    สิ่งที่สนับสนุน
    ใน 11 คู่ที่วิเคราะห์ภายหลังจากการศึกษา U8n ที่หยุดกลางคัน แคนดิเดตสุดท้ายถูกต้องในทั้งสอง arm แต่การส่งมอบคือ Astra 11/11 และ Jev Noul 0/11 การตัดสินว่าหลักฐานไม่เพียงพอของ Jev Noul ระงับการส่งมอบไว้ นี่เป็นการวิเคราะห์ภายหลังและไม่ได้นำไปสรุปทั่วไป การคำนวณตัวเลขสาธารณะใหม่ การตรวจการเล่นซ้ำ และการรันจริงครั้งใหม่ เป็นการดำเนินการสามอย่างที่ต่างกัน