GEODE
Autonomous Agent Harness
จากการสังเกตสู่การกระทำถัดไป
ฮาร์เนสเอเจนต์อัตโนมัติที่รันบนเครื่อง ซึ่งรับงานวิจัย งานไฟล์ และงานตามกำหนดเวลาได้ โมเดลเลือกการกระทำถัดไป ส่วนรันไทม์ตรวจสิทธิ์การใช้เครื่องมือและตัดสินว่างานเสร็จเมื่อใด
งานที่รีวิวตีกลับ ตัวเลขวิจัยที่คำนวณใหม่
สองกรณีที่รีวิวตีกลับงานพัฒนา และหนึ่งกรณีที่คำนวณตัวเลขวิจัยใหม่โดยเก็บต้นฉบับไว้ บทบาทแต่ละฝ่ายระบุเฉพาะที่บันทึกของกรณีนั้นแสดงไว้
June 13, 2026
งานที่ผ่านเส้นทางปกติ ถูกรีวิวตีกลับสองครั้งที่เส้นทางข้อผิดพลาด
คนAuthor
การกระทำเทเลเมทรีขาดหาย · fallback ที่เงียบต้องถูกตรวจ
- ส่งต่อความล้มเหลวที่ต้องมองเห็นได้→ แถวกิจกรรมแบบมีชนิด · ทำเครื่องหมาย fallback (Claude Fable 5)
เอเจนต์เขียนโค้ดClaude Fable 5
การกระทำแถวกิจกรรมแบบมีชนิด · ทำเครื่องหมาย fallback
- ส่งต่อ→ commit 64bd223 (คอมมิตสาธารณะ)
- ส่งต่อDiff · เส้นทางความล้มเหลว→ BLOCKER: generic fallback เก็บ details=data แบบดิบ (Codex)
อาร์ติแฟกต์คอมมิตสาธารณะ
อาร์ติแฟกต์commit 64bd223
รีวิว · การตรวจยืนยันCodex
การสังเกต · ข้อค้นพบBLOCKER: generic fallback เก็บ details=data แบบดิบ
- ส่งกลับการป้องกันของเส้นทางปกติบนเส้นทาง exception→ ตัดฟิลด์อ่อนไหวออกใน fallback ด้วย (Claude Fable 5)
เอเจนต์เขียนโค้ดClaude Fable 5
การกระทำตัดฟิลด์อ่อนไหวออกใน fallback ด้วย
- ส่งต่อ→ c808e78 · การตรวจทำซ้ำ K4 (คอมมิตสาธารณะ)
- ส่งต่อรีวิวการแก้ไขซ้ำ→ BLOCKER #2: ข้อความ ValidationError เผยค่าออกมาอีกครั้ง (Codex)
อาร์ติแฟกต์คอมมิตสาธารณะ
อาร์ติแฟกต์c808e78 · การตรวจทำซ้ำ K4
รีวิว · การตรวจยืนยันCodex
การสังเกต · ข้อค้นพบBLOCKER #2: ข้อความ ValidationError เผยค่าออกมาอีกครั้ง
- ส่งกลับเหตุผลข้อผิดพลาดที่ไม่มีค่าดิบ→ เก็บเฉพาะชนิดข้อผิดพลาด · เส้นทางฟิลด์ ตัด args_preview (Claude Fable 5)
เอเจนต์เขียนโค้ดClaude Fable 5
การกระทำเก็บเฉพาะชนิดข้อผิดพลาด · เส้นทางฟิลด์ ตัด args_preview
- ส่งต่อ→ 8dcb386 · การตรวจทำซ้ำ K5 (คอมมิตสาธารณะ)
อาร์ติแฟกต์คอมมิตสาธารณะ
อาร์ติแฟกต์8dcb386 · การตรวจทำซ้ำ K5
- ไม่ใช่การรันที่บันทึกไว้ขอบเขตที่ตรวจแล้ว→ CI เต็มชุดและ PASS ของรีวิวสุดท้ายในตอนนั้นไม่ได้อ่านซ้ำ (คอมมิตสาธารณะ)
อาร์ติแฟกต์คอมมิตสาธารณะ
กฎ · ยังไม่ตรวจยืนยันCI เต็มชุดและ PASS ของรีวิวสุดท้ายในตอนนั้นไม่ได้อ่านซ้ำ
- บริบท
- การเปลี่ยนแปลงนี้แปลงอีเวนต์การสังเกตการณ์เป็นแถวกิจกรรมแบบมีชนิด และหยุดไม่ให้ fallback เกิดขึ้นอย่างเงียบ ๆ รีวิวของ Codex ทิ้ง BLOCKER ไว้สองรายการ และการแก้แต่ละครั้งมาพร้อมการตรวจที่ทำซ้ำช่องทางเลี่ยงที่พบ
- ผลลัพธ์
- K4 บังคับให้เกิด fallback จริงด้วยชนิดที่ผิดและตรวจว่าไม่มีฟิลด์ดิบหลงเหลือ K5 ตรวจว่าคำอธิบายข้อผิดพลาดมีเพียงชื่อฟิลด์และชนิดข้อผิดพลาด ไม่มีค่าอินพุตเลย การตรวจเหล่านี้ทำซ้ำช่องทางเลี่ยงที่รีวิวพบ ไม่ได้คัดลอกค่าคงที่จากโค้ด
- ข้อจำกัด
- ไม่ได้เปิดบทสนทนารีวิว MCP ต้นฉบับ บทบาทการรีวิวยืนยันจากคอมมิตและ CHANGELOG ที่เขียนในตอนนั้น กรณีนี้ไม่ได้รับประกันว่าไม่มีล็อกใดของ GEODE เก็บข้อมูลอ่อนไหวเลย
แหล่งอ้างอิงและข้อจำกัดที่เหลือ
- คอมมิตทั้งสามให้เครดิต Claude Fable 5 และ c808e78 กับ 8dcb386 บันทึก BLOCKER และ BLOCKER #2 ของ Codex ตามลำดับ
- นโยบายผู้ร่วมพัฒนาปัจจุบัน (October 2026) ไม่ได้ถูกตีความย้อนหลังว่าเป็นคำสั่งของกรณีนี้
May 26, 2026
การเปลี่ยนแปลงที่จะลบคะแนน ถูกลดเหลือการตรวจว่าคะแนนนำไปใช้ที่ใดได้บ้าง
เอเจนต์เขียนโค้ดการพัฒนา
การสังเกต · ข้อค้นพบความต้องการ: ไม่ใช้ค่านี้เป็นแกน fitness
- ส่งต่อสมมติฐานแรก→ ร่างแรก: ตัดค่านี้ออกใน baseline writer (การพัฒนา)
กำลังพัฒนาผู้ใช้ข้อมูลในผลิตภัณฑ์
การสังเกต · ข้อค้นพบในเจเนอเรชันแรก baseline เป็นแหล่งเดียวของ scenario_realism
- ส่งต่อไล่หาผู้ใช้ข้อมูลจริง→ ข้อค้นพบ: ทำให้อินพุตเริ่มต้นของ critic พัง (Codex)
เอเจนต์เขียนโค้ดการพัฒนา
การกระทำร่างแรก: ตัดค่านี้ออกใน baseline writer
- ส่งต่อรีวิวการเปลี่ยนแปลง→ ข้อค้นพบ: ทำให้อินพุตเริ่มต้นของ critic พัง (Codex)
รีวิว · การตรวจยืนยันCodex
การสังเกต · ข้อค้นพบข้อค้นพบ: ทำให้อินพุตเริ่มต้นของ critic พัง
- ส่งกลับรักษาสัญญาอินพุตเดิม→ ถอนการเปลี่ยน writer · เก็บข้อมูลไว้ (การพัฒนา)
เอเจนต์เขียนโค้ดการพัฒนา
การกระทำถอนการเปลี่ยน writer · เก็บข้อมูลไว้
- ส่งต่อย้ายเกณฑ์ความเสร็จ→ invariant 4 ข้อ: ไม่ปรากฏเฉพาะบนพื้นผิว fitness (คอมมิตสาธารณะ · PR)
อาร์ติแฟกต์คอมมิตสาธารณะ · PR
อาร์ติแฟกต์invariant 4 ข้อ: ไม่ปรากฏเฉพาะบนพื้นผิว fitness
- ส่งต่อDiff สุดท้าย→ 0792e81 → ผสาน PR #1690 แล้ว (คอมมิตสาธารณะ · PR)
อาร์ติแฟกต์คอมมิตสาธารณะ · PR
อาร์ติแฟกต์0792e81 → ผสาน PR #1690 แล้ว
- บริบท
- การเปลี่ยนแปลงนี้มีเป้าหมายไม่ให้ scenario_realism ถูกใช้เป็นแกน fitness ใน Scaffold Search ภายนอก เมื่อรีวิวไล่หาผู้อ่านค่านี้รายแรก การเปลี่ยนแปลงจึงถูกทำให้เล็กลง ไม่ใช่ใหญ่ขึ้น
- ผลลัพธ์
- ค่า baseline ยังอยู่ การตรวจสี่ข้อตรึงว่ามิตินี้ไม่ปรากฏใน AXIS_TIERS, DIM_WEIGHTS และรายการ tier ของการค้นหาภายนอก
- ข้อจำกัด
- ไม่ได้ดูเซสชันเบื้องหลังการเปลี่ยน writer ที่ถูกถอน ยืนยันจากคอมมิตและคำอธิบายเทสต์ที่เขียนในตอนนั้น การตรวจเหล่านี้ไม่ใช่หลักฐานด้านประสิทธิภาพการค้นหาหรือการปรับปรุงของ SIL
แหล่งอ้างอิงและข้อจำกัดที่เหลือ
- critic และ evolver เป็นผู้ใช้ข้อมูลภายในผลิตภัณฑ์ที่กำลังพัฒนา ไม่ใช่เอเจนต์เขียนโค้ดหรือผู้รีวิว Codex ที่ใช้สร้างมัน
- ชื่อ PR #1690 ยังเขียนว่า “filter” แต่ diff และคอมมิตสุดท้ายคือการเปลี่ยนแปลงจริง
September 27, 2026 to September 28, 2026
หลังแก้ข้อผิดพลาดค่าขอบเขต ทำซ้ำผลลัพธ์เดิมก่อน แล้วจึงคำนวณใหม่
เซสชันการทำงานผู้พัฒนาการวิเคราะห์
การสังเกต · ข้อค้นพบค่าที่อยู่บนขอบค่าคลาดเคลื่อนพอดีถูกปฏิเสธ
- ส่งต่อข้อผิดพลาดในการรับคำตอบ ไม่ใช่ความสามารถของโมเดล→ เปรียบเทียบเป็นทศนิยม · ค่าคลาดเคลื่อนคงเดิม (ผู้พัฒนาการวิเคราะห์)
เซสชันการทำงานผู้พัฒนาการวิเคราะห์
การกระทำเปรียบเทียบเป็นทศนิยม · ค่าคลาดเคลื่อนคงเดิม
- ส่งต่อ→ 4be7a17 · ตรวจด้านใน / ด้านนอกขอบ (ผลงาน)
อาร์ติแฟกต์ผลงาน
อาร์ติแฟกต์4be7a17 · ตรวจด้านใน / ด้านนอกขอบ
คนAuthor
การกระทำมอบหมาย: แก้ไขแบบออฟไลน์เฉพาะ U4 · X2 ที่บันทึกไว้ทั้งหมด
- ส่งต่อขอบเขตที่อนุญาต→ contract.json: ตรึงอินพุต · กฎ ไม่เรียกโมเดล (ผลงาน)
อาร์ติแฟกต์ผลงาน
อาร์ติแฟกต์contract.json: ตรึงอินพุต · กฎ ไม่เรียกโมเดล
- ส่งต่อเงื่อนไขที่ตรึงไว้→ ทำซ้ำผลเดิม · ตัวหาร · CI ก่อน (ผู้พัฒนาการวิเคราะห์)
เซสชันการทำงานผู้พัฒนาการวิเคราะห์
การกระทำทำซ้ำผลเดิม · ตัวหาร · CI ก่อน
- ส่งต่อหลังทำซ้ำได้→ คำนวณฉบับแก้ไขแยกต่างหากจากอินพุตชุดเดียวกัน (ผู้พัฒนาการวิเคราะห์)
เซสชันการทำงานผู้พัฒนาการวิเคราะห์
การกระทำคำนวณฉบับแก้ไขแยกต่างหากจากอินพุตชุดเดียวกัน
- ส่งต่อ→ receipt: เก็บต้นฉบับ 24 รายการ · เรียกโมเดล 0 ครั้ง (ผลงาน)
- ส่งต่อเวกเตอร์ cell ไม่ใช่ค่าสรุป→ คำนวณ winner · CI ใหม่จากเวกเตอร์ cell · เทียบแฮช (ผู้ตรวจยืนยันอิสระ)
อาร์ติแฟกต์ผลงาน
อาร์ติแฟกต์receipt: เก็บต้นฉบับ 24 รายการ · เรียกโมเดล 0 ครั้ง
รีวิว · การตรวจยืนยันผู้ตรวจยืนยันอิสระ
การกระทำคำนวณ winner · CI ใหม่จากเวกเตอร์ cell · เทียบแฮช
- ส่งต่อ→ independent-review: คำตัดสินคงเดิม ระบุข้อจำกัด (ผลงาน)
อาร์ติแฟกต์ผลงาน
อาร์ติแฟกต์independent-review: คำตัดสินคงเดิม ระบุข้อจำกัด
- บริบท
- ในเครื่องมือวิจัย Jev คำตอบตัวเลขแบบ typed ที่อยู่บนขอบค่าคลาดเคลื่อนที่ยอมรับได้พอดีถูกปฏิเสธ หลังการแก้ไข ผลที่บันทึกไว้ทั้งหมดถูกคำนวณใหม่โดยไม่รันโมเดลใหม่ และแยกฝ่ายที่คำนวณกับฝ่ายที่ตรวจยืนยันออกจากกัน
- ผลลัพธ์
- คำตัดสินคงเดิมหลังการแก้ไข (U4 not-supported, X2 mixed) การแก้ข้อผิดพลาดเชิงตัวเลขถูกแยกออกจากการสนับสนุนสมมติฐานวิจัย
- ข้อจำกัด
- เป็นการแก้ไขภายหลัง ไม่ใช่การทดลองโมเดลใหม่ cell แบบ listwise ของ Astra 640 รายการที่ไม่มีคำตอบต้นฉบับยังคง winner ที่บันทึกไว้ และรีวิวอิสระก็ไม่ได้พาร์สเนื้อหาคำตอบที่ไม่เปิดเผยซ้ำเช่นกัน
แหล่งอ้างอิงและข้อจำกัดที่เหลือ
- ค่าคลาดเคลื่อนของคะแนน 0.03 และค่าคลาดเคลื่อนของผลรวมการแจกแจง 0.025 ไม่ได้เปลี่ยน ตัวเลขที่แก้ไขแล้วคือ U4 58/80 → 59/80 และ X2 194/240 → 196/240
- บันทึกการแก้ไขสาธารณะไม่ได้ระบุชื่อโมเดลของฝ่ายเขียนหรือฝ่ายตรวจยืนยัน และ 4be7a17 ไม่มีเครดิต Claude หรือ Codex จึงไม่ใส่ชื่อโมเดลให้คอลัมน์ใดเลย