GEODE
Autonomous Agent Harness
จากการสังเกตสู่การกระทำถัดไป
ฮาร์เนสเอเจนต์อัตโนมัติที่รันบนเครื่อง ซึ่งรับงานวิจัย งานไฟล์ และงานตามกำหนดเวลาได้ โมเดลเลือกการกระทำถัดไป ส่วนรันไทม์ตรวจสิทธิ์การใช้เครื่องมือและตัดสินว่างานเสร็จเมื่อใด
จากโรลเอาต์สู่หลักฐาน
อัตราการผ่านเพียงอย่างเดียวอธิบายการรันไม่ได้ จึงเก็บลำดับอีเวนต์ การเรียกเครื่องมือและผลลัพธ์ สายการลองใหม่ และหลักฐานจาก verifier อิสระไว้ แล้วเชื่อมส่วนที่เผยแพร่ได้เข้าด้วยกัน การทดลองเหล่านี้แสดงให้เห็นว่าสัญญาการบันทึกและการประเมินพัฒนามาอย่างไร
ตามการทดลอง · เรียงตามวันที่
การทดลองทั้งหกเรียงตามวันที่ ไม่ใช่กระบวนการปรับให้เหมาะที่เชื่อมต่อกันเป็นหนึ่งเดียว SIL ไม่ได้ป้อนเข้าสู่ Crucible หรือ Jev โดยอัตโนมัติ และนี่ไม่ใช่การอ้างว่า GEODE ที่ใช้งานจริงดีขึ้นเรื่อย ๆ วันที่คือวันที่ของการทดลองและสแนปช็อตการเผยแพร่ และลูกศรใช้เฉพาะกับขั้นตอนภายในการทดลองเดียว
June 3, 2026 to June 4, 2026SIL · การค้นหานโยบายภายนอก
KEEP จากการออดิตครั้งเดียวถูกตรวจซ้ำด้วยการวัดซ้ำ
คำถามการเปลี่ยนนโยบายปรับปรุงพฤติกรรมการใช้เครื่องมือได้เกินกว่าสัญญาณรบกวนของการออดิตหรือไม่?
การทดลองภายนอก · นอกรันไทม์ GEODE
- baseline · K=5
- การเปลี่ยนนโยบายหนึ่งรายการ
- การออดิต Petri
- การวัดซ้ำ
- คงไว้
- ย้อนกลับ
- สิ่งที่เปลี่ยน
- ในการทดลองนี้ มีการเพิ่มการวัดซ้ำเข้ากับการออดิตครั้งเดียวของการเปลี่ยนแปลง ก่อนตัดสินว่าจะคงไว้หรือย้อนกลับ มีการเพิ่มซีดที่ปรับระดับความยากให้ตรงกันและ baseline K=5 และ arm แบบ never, random และ gate แยกการแกว่งที่เกิดขึ้นโดยไม่มีการเปลี่ยนแปลงออกจากการเปลี่ยนแปลงที่ได้รับการยอมรับ
- สิ่งที่สนับสนุน
- เมื่อวัดซ้ำ แคนดิเดตที่คงไว้จากการออดิตครั้งเดียวแย่กว่า baseline (ยิ่งต่ำยิ่งดี) จึงถอนการรับเข้าใช้ การทดลองนี้สรุปว่าไม่มีการปรับปรุงที่หนักแน่น นี่คือการออดิตพฤติกรรม Petri broken_tool_use ไม่ใช่รางวัลจากการทำงานเสร็จ
July 11, 2026 to July 13, 2026Crucible · เคอร์เนลการทดลองภายนอก
การคงอยู่ในการค้นหาและการไปถึงผลิตภัณฑ์เป็นคำตัดสินที่แยกกัน
คำถามหลักฐานสำหรับการคงแคนดิเดตไว้ในการค้นหา เป็นหลักฐานเดียวกับการเลื่อนขั้นและรีลีสสู่ผลิตภัณฑ์หรือไม่?
เคอร์เนล Crucible ภายนอก · checkout สำหรับการวัดที่แยกต่างหาก
- แคนดิเดต · สายต้นทาง
- ตรวจกับสัญญาที่ตรึงไว้
- การวัดแบบจับคู่
- KEEPไปได้เพียงคำตัดสิน sealed ที่แยกต่างหาก
- REJECT
- INVALIDnull ไม่ใช่ 0%
- สิ่งที่เปลี่ยน
- แคนดิเดตที่ถูกปฏิเสธและไม่ถูกต้องถูกเก็บไว้พร้อมสายต้นทาง และการคัดเลือกใน train การมีสิทธิ์แบบ sealed และอำนาจการรีลีสผลิตภัณฑ์เป็นบันทึกที่แยกกัน
- สิ่งที่สนับสนุน
- r14 ได้ KEEP ใน train (หกหน่วยงาน หน่วยละหนึ่งการทดลอง ไม่มีอำนาจการเลื่อนขั้น) แต่คำตัดสิน sealed ที่แยกต่างหากคือ REJECT (ไม่มีอำนาจเลื่อนขั้นสู่ผลิตภัณฑ์หรือรีลีส) r35 เป็น INVALID เพราะความครอบคลุมไม่ครบและโครงสร้างพื้นฐานปนเปื้อน เมื่อไม่มีแถวคู่ ค่าเฉลี่ยจึงยังเป็น null นี่ไม่ใช่ทั้งการแก้ไขตัวเองของรันไทม์และสายการดีพลอย SIL → Crucible
July 21, 2026 · July 31, 2026การกลั่นกรอง · การเผยแพร่
บันทึกที่เหลือถูกจัดประเภท และเฉพาะส่วนที่แบ่งปันได้เท่านั้นที่กลายเป็นรีลีสที่เปลี่ยนแปลงไม่ได้
คำถามอะไรที่สร้างขึ้นใหม่ได้จริง และอะไรที่แบ่งปันได้อย่างปลอดภัย?
- ต้นทางส่วนตัวบันทึกเซสชัน · หลักฐานต้นฉบับผลลัพธ์ native · รวม verifier
- ไปยัง อีเวนต์ที่ปรับมาตรฐานรักษาลำดับ · ตัวระบุ
- อีเวนต์ที่ปรับมาตรฐานตัวระบุ · ลำดับ · คู่การเรียก-ผลลัพธ์
- ไปยัง แคนดิเดตสาธารณะallowlist · ปิดบัง · digest
- แคนดิเดตสาธารณะอยู่ระหว่างรีวิว
- ไปยัง การตรวจความสมบูรณ์ · ความเป็นส่วนตัวตรวจ
- การตรวจความสมบูรณ์ · ความเป็นส่วนตัวการจับคู่ · สายที่มา · ขอบเขต
- ไปยัง รีลีสที่เปลี่ยนแปลงไม่ได้เฉพาะไบต์ที่รีวิวแล้ว
- รีโพซิทอรีสาธารณะรีลีสที่เปลี่ยนแปลงไม่ได้manifest · ผลลัพธ์ native อ้างอิงด้วย digest
- ไปยัง อ่านกลับจากรีโมตตรวจแฮช
- อ่านกลับจากรีโมตSHA-256 ที่ตรึงไว้
อีเวนต์ที่รักษาลำดับและตัวระบุถูกสร้างจากการรันต้นฉบับ และเนื้อหาอ่อนไหวในแคนดิเดตสาธารณะถูกลบหรือแทนด้วยแฮช หลังตรวจคู่การเรียก-ผลลัพธ์ ขอบเขต และสายที่มาแล้ว ไฟล์ที่อนุมัติและ manifest จะถูกเผยแพร่เป็นรีลีสที่เปลี่ยนแปลงไม่ได้ และตรวจแฮชฝั่งรีโมตอีกครั้ง - สิ่งที่เปลี่ยน
- การสำรวจเมื่อ July 21, 2026 จัดประเภทบันทึกบทสนทนา เครื่องมือ การค้นหา และการตัดสินตามแหล่งที่มา และรายการซ้ำจากแหล่งเดียวกันไม่ถูกนับเป็นตัวอย่างอิสระ ตั้งแต่ July 31, 2026 geode.trajectory@1 และ geode.trajectory-release@1 ระบุชัดแจ้งถึงตัวระบุ ลำดับอีเวนต์ คู่การเรียก-ผลลัพธ์ ความสมบูรณ์ของขอบเขตและการเล่นซ้ำ และ manifest ที่ผูกกับเนื้อหา ฉบับสาธารณะที่แปลงแล้วกับต้นฉบับมี digest แยกกัน
- สิ่งที่สนับสนุน
- การกลั่นกรองในที่นี้หมายถึงการปรับมาตรฐาน การเชื่อมโยงความสัมพันธ์ การปิดบังอย่างชัดแจ้ง สายที่มา และการอนุมัติให้เผยแพร่ ไม่ใช่การสร้างการให้เหตุผลที่ซ่อนอยู่ขึ้นใหม่หรือการประกาศว่าเป็นชุดข้อมูลพร้อมฝึก ขอบเขตที่ครบถ้วนไม่ได้หมายถึงการเล่นซ้ำระดับไบต์ที่ครบถ้วน เมื่อเนื้อหาส่วนตัวถูกแทนด้วย digest
- ต้นทางส่วนตัวบันทึกเซสชัน · หลักฐานต้นฉบับผลลัพธ์ native · รวม verifier
August 25, 2026Learning view
โรลเอาต์หนึ่งครั้งและหลักฐานของมันถูกผูกเข้าด้วยกันด้วยตัวระบุ
คำถามอินพุต ความพยายาม ลำดับอีเวนต์ และรางวัลใดที่เป็นคู่กัน?
geode.eval-learning-view@2 · เชื่อมด้วย ID และ digest ที่ตรวจยืนยันแล้ว ไม่ใช่ลำดับเชิงเหตุและผล
- example
- rollout
- trajectory
- reward
receipt ของ verifier native เป็นเจ้าของรางวัล การลองใหม่ด้านโครงสร้างพื้นฐานคือความพยายามภายในโรลเอาต์เดียว
- สิ่งที่เปลี่ยน
- trajectory ที่เปลี่ยนแปลงไม่ได้ถูกนำกลับมาใช้ผ่าน join ที่จำกัดขอบเขต และรางวัลยังคงเป็นป้ายกำกับที่คำนวณได้ซึ่ง evaluator เป็นเจ้าของ การลองใหม่ด้านโครงสร้างพื้นฐานไม่ได้เพิ่มจำนวนโรลเอาต์ ค่า 0 ที่สังเกตได้ถูกเก็บไว้ และรางวัลที่หายไปคือ null ความพยายามที่ไม่ถูกต้องหรือถูกยกเลิกถูกตัดออกจากการเลือกรางวัล ความถูกต้องเป็นคุณสมบัติของโรลเอาต์ ไม่ได้ทำให้รางวัลเป็น null โดยอัตโนมัติ
- สิ่งที่สนับสนุน
- การรัน Terminal-Bench fast-3 ด้วย Harbor 0.8.0 (สามงาน 3/3) และการวินิจฉัย Tau2 สามโดเมน (1/3 มีศูนย์ที่ถูกต้องสองค่า) ถูกผูกไว้ในโครงสร้างเดียวกัน ทั้งหมดนี้เป็นแคนดิเดตสำหรับ post-training ไม่ใช่ชุดข้อมูลที่ใช้ฝึกหรือหลักฐานว่าน้ำหนักดีขึ้น และผลของสามงานไม่ใช่ความแม่นยำของทั้งชุด
August 27, 2026 to September 5, 2026Harbor · Terminal-Bench 2.1
trial หนึ่งครั้งสร้างผลลัพธ์และบันทึกการเล่นซ้ำแยกกัน
คำถามการรันงานจริงกลายเป็นผลลัพธ์และการเล่นซ้ำที่ตรวจสอบได้อย่างไร?
- งานที่ตรึงไว้ · specตรึงไว้ล่วงหน้า · ทำซ้ำห้าครั้ง
- ไปยัง trial ที่แยกออกมาคำสั่ง · สภาพแวดล้อม · ขีดจำกัด
- Harbor 0.22.0 trial · การรันจริงtrial ที่แยกออกมาGEODE เป็น actor
- ไปยัง การกระทำและสถานะสุดท้ายรัน
- การกระทำและสถานะสุดท้ายพฤติกรรมที่สังเกตได้
- ไปยัง verifier ที่งานเป็นเจ้าของตรวจสถานะงาน
- ไปยัง ATIF · การฉายอีเวนต์สาธารณะฉายอีเวนต์ที่บันทึก
- verifier ที่งานเป็นเจ้าของ
- ไปยัง รางวัล native · receiptรางวัล
- รางวัล native · receipt
- ไปยัง การวิเคราะห์ความพยายามที่เลือกการเลือกที่ตรึงไว้
- ATIF · การฉายอีเวนต์สาธารณะประมวลผลภายหลัง · ไม่ใช่การรันใหม่
- การวิเคราะห์ความพยายามที่เลือกกฎการเลือกที่ตรึงไว้
งานและ spec ที่ตรึงไว้ให้คำสั่ง สภาพแวดล้อม และขีดจำกัดแก่ trial ที่แยกออกมา verifier ที่งานเป็นเจ้าของตรวจสถานะที่ GEODE ทิ้งไว้และให้รางวัล การวิเคราะห์ใช้เฉพาะความพยายามที่ถูกเลือกด้วยกฎที่ตรึงไว้ อีเวนต์ที่บันทึกในการรันเดียวกันถูกฉายแยกเป็น ATIF และอีเวนต์สาธารณะ ซึ่งเป็นการประมวลผลภายหลัง ไม่ใช่การรันใหม่ - สิ่งที่เปลี่ยน
- spec ที่ตรึงไว้ ทุกความพยายาม ผลลัพธ์ที่เลือก verifier ที่งานเป็นเจ้าของ และการเล่นซ้ำที่ซื่อตรงแต่มีขอบเขตจำกัด ถูกเก็บเป็นบันทึกที่แยกกันแต่เชื่อมโยงกัน Harbor 0.22.0 รันซ้ำห้าครั้งด้วย GPT-5.6 Sol/max เปรียบเทียบ GEODE (ขณะนั้นเป็น adapter เครื่องมือเทอร์มินัลเดียว) กับ Codex
- สิ่งที่สนับสนุน
- งานเป็นเจ้าของคำสั่ง สภาพแวดล้อม และเทสต์ trial คือความพยายามหนึ่งครั้ง job คือกลุ่มของ trial verifier ที่งานเป็นเจ้าของตัดสินรางวัล ส่วนผู้ตัดสินความเสร็จภายในของ GEODE เป็นข้อมูลป้อนกลับระหว่างรัน การเล่นซ้ำสาธารณะเป็นการฉายภายหลังของอีเวนต์เครื่องมือที่บันทึกไว้ ไม่ใช่ PTY ดิบหรือการรันใหม่ และไม่มีการแต่งคำสั่งเติมลงในช่องที่ขาด ตัวชี้วัดหลักที่ลงทะเบียนล่วงหน้าวัดไม่ได้
- งานที่ตรึงไว้ · specตรึงไว้ล่วงหน้า · ทำซ้ำห้าครั้ง
September 24, 2026 to September 28, 2026Jev · การมอบหมายการตัดสินใจ
แคนดิเดตที่ถูกต้องยังต้องการการตรวจยืนยันการส่งมอบ
คำถามการตัดสินที่ถูกมอบหมายรักษาคุณภาพงานและการส่งมอบสุดท้ายได้จริงหรือไม่?
- U8n · การรัน Noul · Harbor 0.22 · Astra รันและซ่อม เปลี่ยนเฉพาะเส้นทางการตัดสินสถานะการตัดสินใจสัญญาของงาน · แคนดิเดต · การสังเกตจากเครื่องมือ
- ไปยัง การตัดสิน · Noulอินพุตการตัดสิน
- การตัดสิน · NoulAstra หรือ Jev
- ไปยัง GEODE ใช้ผลความน่าจะเป็นของเงื่อนไข
- GEODE ใช้ผลครบเงื่อนไข: ส่งมอบ หลักฐานไม่พอ: ระงับ
- ไปยัง การส่งมอบสุดท้ายครบเงื่อนไข
- ไปยัง Astra ซ่อมหลักฐานไม่พอ · ระงับ
- การส่งมอบสุดท้าย
- ไปยัง การตรวจผลลัพธ์อิสระผลลัพธ์ที่ส่งมอบ
- Astra ซ่อมแคนดิเดตถัดไปหลังได้ข้อมูลป้อนกลับ
- ไปยัง การตัดสิน · Noulตัดสินอีกครั้ง
- ไปยัง แคนดิเดตสุดท้าย · เก็บไว้เก็บแคนดิเดตสุดท้ายไว้
- การตรวจผลลัพธ์อิสระrule oracle · ผลลัพธ์ที่ส่งมอบ
- แผงตายตัว U3การตัดสินเท่านั้น · ไม่มี actor เครื่องมือ หรือ Harbor
- การวินิจฉัยภายหลัง · หลังการรันแคนดิเดตสุดท้าย · เก็บไว้
- ไปยัง การวินิจฉัยด้วย oracle ภายหลังตรวจภายหลัง
- การวินิจฉัยด้วย oracle ภายหลังความถูกต้องของแคนดิเดต · ไม่มีผลต่อการส่งมอบ
ในการรันจริง สถานะการตัดสินใจถูกส่งไปยังการตัดสิน GEODE ใช้ผลนั้น ส่งมอบเมื่อครบเงื่อนไข และเมื่อหลักฐานไม่เพียงพอจะระงับผลลัพธ์ไว้ขณะที่ Astra ซ่อมแล้วตัดสินอีกครั้ง rule oracle อิสระตรวจยืนยันผลลัพธ์ที่ส่งมอบ แยกจากนั้น หลังการรัน แคนดิเดตสุดท้ายที่เก็บไว้ถูกวินิจฉัยด้วย oracle ภายหลัง ซึ่งการวินิจฉัยนั้นไม่มีผลต่อการส่งมอบ แผงตายตัว U3 เป็นการทดลองแยกที่เปรียบเทียบเฉพาะการตัดสิน โดยไม่มี actor เครื่องมือ หรือ Harbor - สิ่งที่เปลี่ยน
- การยอมรับผลตัดสิน ความถูกต้องของแคนดิเดต และการส่งมอบสุดท้าย ถูกบันทึกเป็นผลลัพธ์ที่แยกกัน และสายการเตรียม ความล้มเหลว และการซ่อมถูกเก็บไว้ในฉบับสาธารณะ แฮชของต้นฉบับและฉบับสาธารณะที่แปลงแล้วแยกจากกัน
- สิ่งที่สนับสนุน
- ใน 11 คู่ที่วิเคราะห์ภายหลังจากการศึกษา U8n ที่หยุดกลางคัน แคนดิเดตสุดท้ายถูกต้องในทั้งสอง arm แต่การส่งมอบคือ Astra 11/11 และ Jev Noul 0/11 การตัดสินว่าหลักฐานไม่เพียงพอของ Jev Noul ระงับการส่งมอบไว้ นี่เป็นการวิเคราะห์ภายหลังและไม่ได้นำไปสรุปทั่วไป การคำนวณตัวเลขสาธารณะใหม่ การตรวจการเล่นซ้ำ และการรันจริงครั้งใหม่ เป็นการดำเนินการสามอย่างที่ต่างกัน
- U8n · การรัน Noul · Harbor 0.22 · Astra รันและซ่อม เปลี่ยนเฉพาะเส้นทางการตัดสินสถานะการตัดสินใจสัญญาของงาน · แคนดิเดต · การสังเกตจากเครื่องมือ