GEODE
Autonomous Agent Harness
من الملاحظة إلى الإجراء التالي.
إطار تشغيل محلي لوكيل مستقل يمكن أن تُسند إليه الأبحاث والعمل على الملفات والمهام المجدولة.
Decision Offloading w. Jev
أيُّ القرارات الوسيطة التي يتخذها الوكيل في أثناء المهمة يمكن إسنادها إلى Jev، وهو نموذج مخصص للقرار؟ يتحقق هذا البحث مما إذا كانت جودة المهام المُتحقَّق منها باستقلال تصمد بعد الإسناد، باحتساب التحضير والأحكام المتكررة والإصلاح والتسليم النهائي. ولم يكن ممكنًا تفسير نتائج التجارب الأولية باستبدال استدعاء الحكم وحده، ففُصل كلٌّ من عقد المدخلات وعقد القرار وسياسة الاحتمالات واستهلاك وكيل التنفيذ في تجربة خاصة به.
بيئة التشغيل · الحكم النهائي
عند اختيار Jev، يستدعيه التحقق النهائي مرة واحدة بسؤال Choice واحد، ولا يجتاز إلا حكم supported مقبول.
judgment_engine · llm | jev
core/config/judgment.pyتشغيل · حكم: اختيار المسارالحكم النهائي · سؤال Choice واحدcore/agent/verify.pyلا يُستخدم مسار Jev إلا حين يُضبط judgment_engine على jev (الافتراضي llm). ويختار provider auto المزوّد TypeSafe ثم OpenRouter، أيهما يملك مفتاحًا، ومن دون مفتاح يبقى مسار LLM judge. وليس هذا fallback يعيد محاولة طلب فاشل في مكان آخر.
الحكم النهائي · سؤال Choice واحد
core/agent/verify.pyبيانات: الطلب · المرشح · الملاحظاتSystemOne · استدعاء واحد · بلا fallbackadapters/typesafe.pyيُنقّح الطلب الأصلي والمرشح ويُقيَّد طولهما، ثم يُرسلان مع ملاحظات الأدوات بوصفهما سؤال Choice واحدًا (supported، contradicted، insufficient_evidence). ولا يحصل استدعاء الحكم على أي أدوات (allow_tools=False). والحكم الذي يحتاج إلى صور لا يُرسل إلى Jev ويصبح verification_error.
SystemOne · استدعاء واحد · بلا fallback
adapters/typesafe.pyبيانات: استدعاء SystemOne واحدTypeSafe SystemOneاستدعاء واحد، مباشرةً إلى TypeSafe أو عبر OpenRouter، دون انتقال إلى مزوّد آخر. ولا يُستخدم Jev أبدًا نموذجًا جذريًا لتوليد النص.
فحص القبول · تفاوت المجموع 1e-5
adapters/typesafe.pyبيانات: Choice مقبوللا يجتاز إلا supported · نص فقطcore/agent/verify.pyلا تُستخدم الاستجابة إلا بعد فحص قبول للنوع والنطاق ومجموع الاحتمالات (بتفاوت 1e-5). ولا يجتاز إلا supported، ويصبح contradicted وinsufficient_evidence إشارةَ إعادة محاولة مع فحص تالٍ ثابت. والاستجابة التي ليست end_turn أو تخفق في فحص القبول تصبح verification_error، وهي ليست إشارة إعادة محاولة (should_retry=False). والدرجة إسقاط ثنائي، لا احتمال مُعايَر.
لا يجتاز إلا supported · نص فقط
core/agent/verify.pyبيانات: passed · reflectionPostVerify · سياسة Stoploop/_lifecycle.pyيذهب الحكم إلى سياسة PostVerify وStop في فصل «الاكتمال». والحكم مُدخل لتلك السياسة لا سلطة، وحين ينتظر المراجعة يبقى المرشح pending_text فقط وتكون الاستجابة النهائية فارغة، فلا يُسلَّم شيء.
PostVerify · سياسة Stop
loop/_lifecycle.pyتسجيل · ملاحظة: صفوف الحكمtimeline · صفوف قرارات ledgermemory · observabilityتُسجَّل قرارات الحكم في timeline وevidence ledger: سجلات بيئة تشغيل منفصلة عن مُخرَجات البحث.
بيئة التشغيل · reflection
الاختيار نفسه يقود تصنيف الأدلة في reflection، وتحدد الشيفرة جملة الفحص التالي.
judgment_engine · llm | jev
core/config/judgment.pyتشغيل · حكم: الاختيار نفسهreflection · تصنيف الأدلةloop/_reflection.pyينطبق الاختيار نفسه على reflection.
reflection · تصنيف الأدلة
loop/_reflection.pyبيانات: تصنيف الأدلةSystemOne · استدعاء واحد · بلا fallbackadapters/typesafe.pyيستخدم reflection نموذج Jev لتصنيف أدلة محدودة، ويُلحق فحصًا تاليًا تملكه الشيفرة. ولا يغيّر فرضيات الاعتقاد ولا الثقة الذاتية.
SystemOne · استدعاء واحد · بلا fallback
adapters/typesafe.pyبيانات: استدعاء SystemOne واحدTypeSafe SystemOneاستدعاء واحد، مباشرةً إلى TypeSafe أو عبر OpenRouter، دون انتقال إلى مزوّد آخر. ولا يُستخدم Jev أبدًا نموذجًا جذريًا لتوليد النص.
فحص القبول · تفاوت المجموع 1e-5
adapters/typesafe.pyبيانات: التصنيفreflection · تصنيف الأدلةloop/_reflection.pyلا يحدّث حالةَ reflection إلا تصنيفٌ مقبول، وعند الإخفاق تعيد الجولة التالية المحاولة من الحالة السابقة نفسها.
البحث · اللوحة الثابتة U3
دون actor، قُورنت أحكام Jev وAstra على الحالة والسؤال نفسيهما في أزواج.
Astra · Jev · السؤال نفسه
U3 · لوحة حالات ثابتةبيانات: حكم JevTypeSafe SystemOneU3 (إيداع التجربة الأصلي 2f2b494): 120 حالة ثابتة · 27 مجموعة مصادر · 240 استدعاءً. ذهبت كل حالة وسؤال إلى Jev وAstra زوجًا واحدًا، دون actor أو أدوات أو Harbor.
Astra · Jev · السؤال نفسه
U3 · لوحة حالات ثابتةبيانات: حكم Astraحَكَم Astra · نموذج actorالإجابات الصحيحة على العينة نفسها: Astra 90/120، وJev 84/120، والوسيط لكل استدعاء 10.446 s مقابل 0.253 s. وهذا زمن استجابة استدعاء الحكم وحده، لا زمن المهمة ولا توفير التكلفة.
U3 · لوحة حالات ثابتةبيانات: نتائج اللوحة · التقريرتقرير بحث Jev
تظهر نتائج الدقة وزمن الاستجابة في U3 في التقرير التقني العام. ولا يُدّعى هنا ما إذا كانت هذه اللوحة جزءًا من الحزمة العامة E2E.
البحث · تشغيلات E/I
مع Astra بوصفه actor، لم يتغير إلا مسار الحكم، وفحص oracle قواعد مستقل النتائج والتسليم كلًّا على حدة.
Astra actor · الأدوات · الإصلاح
E/I · Harbor 0.22بيانات: التوليد · الأدوات · الإصلاححَكَم Astra · نموذج actorفي E/I على Harbor 0.22، يتولى Astra بوصفه actor التوليدَ واستدعاءات الأدوات والإصلاح، ولا يتغير إلا مسار الحكم.
مسار الحكم · Astra · Jev · Jev-first
E/I · Harbor 0.22بيانات: مسار حكم الاكتمالTypeSafe SystemOneE7 (إيداع التجربة الأصلي 1f65534): 12 مهمة اصطناعية مؤلَّفة × 3 إعدادات × 2 تشغيل = 72 تشغيلًا، 24/24 لكل إعداد. وسجّل إعداد Jev-first حالات fallback فعلية بنسبة 0/24، فلم يُقَس أثره.
E/I · Harbor 0.22تسجيل · ملاحظة: فحص مستقلالصحة · التسليم كلٌّ على حدة
rule oracleيفحص oracle مستقل للقواعد النتيجةَ النهائية، ويُحتسب التسليم النهائي الفعلي على حدة. وفي الأزواج الـ 11 اللاحقة من U8n المتوقف، اجتاز كل مرشح الـ oracle، لكن التسليم كان Astra 11/11 وJev Noul 0/11.
E/I · Harbor 0.22بيانات: سلسلة نسب الإخفاق · الإصلاحE2E-DATA · قيم hash للمصدر والنسخة العامة
jev-v3-20260927تحتفظ الحزمة العامة E2E بسلاسل نسب التحضير والإخفاق والإصلاح، مع الفصل بين قيم hash للمصدر وللنسخة العامة. والنسخة العامة المنقّحة لا تحل محل التحقق من المصدر غير المعدَّل.
REPRODUCE · model-free
jev-v3-20260927بيانات: إعادة حساب model-freeتقرير بحث Jevإعادة حساب الأرقام من الاستجابات المخزّنة والتشغيل من جديد عمليتان مختلفتان. والتقرير تقرير تقني عام، وليس ورقة محكَّمة.
كل الروابط بالسماكة نفسها. اختر مسارًا لإبراز طريقه وحده، مع خطوات مرقّمة.
- خط متصل · اتجاه تدفق الطلبات والمرشحين والنتائج
- خط متقطع · تشغيل، حكم، تفويض، تهيئة
- شرطة طويلة ونقطة · السجلات والملاحظة، بمعزل عن الحكم
- خط أسود سميك · المسار المختار، والأرقام تبيّن الترتيب
- مربع · حدّ شيفرة أو سجل، ومساره في الترويسة
- شريحة داخلية · مكوّن ضمن ذلك الحد
- مربع متقطع · خارج ذلك الحد
- الحلقة · إطار التنفيذ
- اختيار المسار · الحكم · oracle
- السجلات · الحزمة العامة
- النقل · لوحة الحكم
الجزءان العلوي والسفلي نظامان مختلفان. ولا تعمل إعدادات البحث ونتائجه كلها في مسار بيئة التشغيل الحالي، والرابط المشترك الوحيد أن كليهما يستدعي نموذج Jev نفسه (jev-1.13.0).
- فحص القبول في بيئة التشغيل
- تُبقي بيئة التشغيل تفاوت مجموع الاحتمالات صارمًا عند 1e-5. ويمرّر مستدعو التقييم تفاوتهم المسجّل بدلًا من إرخاء محلّل بيئة التشغيل.
- نطاق البحث
- يقيس U3 استدعاءات الحكم وحدها، بينما يشمل E/I الـ actor والإصلاح. ولا تُخلط مقاماتهما أبدًا، والأزواج الـ 11 في U8n تحليل لاحق لدراسة متوقفة.
ثلاثة عقود قرار
Choice
- يُرجع
- احتمال لكل فئة أو خيار
- يقرر
- الاكتمال، ونية الطلب وهدفه
Noul
- يُرجع
- P(true) لكل شرط
- يقرر
- التناقض، ونقص الأدلة
Score
- يُرجع
- القيمة المتوقعة والتوزيع على مقياس ترتيبي ثابت
- يقرر
- ترتيب المرشحين المولَّدين
تحدد القيمة المتوقعة موضع المرشح على المقياس، ولا تُستخدم درجةَ ثقة.
التقييم والربط
قُيّم كل عقد على لوحة مدخلات ثابتة خاصة به، ورُبط بعضها بمسار التنفيذ في إطار تشغيل التجارب لمعرفة كيف يستهلك وكيل التنفيذ الحكم. وفي الخريطة أعلاه، يعرض الجزء البحثي تلك التشغيلات، أما جزء بيئة التشغيل فهو المسار الاختياري في GEODE الحالي.
ملاحظات غيّرت التصميم
- I5 → I6 · عقد المدخلات
- كشف تتبّع إخفاق تسليم مشترك أن مُدخل الحكم يفتقر إلى عقد المهمة، ويصف ملاحظات أدوات الطلب نفسه كأنها سياق سابق
- سلّم I6 بنسبة 6/6 في تشغيل منفصل بالشيفرة المعدّلة وحساب جديد
- U3 · أزواج الحالات الـ 120 نفسها
- الوسيط لكل استدعاء Astra 10.446 s · Jev 0.253 s، والصحيح على العينة نفسها 90/120 · 84/120
- تُوزن السرعة والدقة معًا لكل قرار لتحديد نطاق التفويض
- U2 · الاحتمالات
- كانت احتمالات Jev أفضل معايرةً في مقدارها، لكن Astra رتّب أحكامه الخاطئة في المقدمة بموثوقية أكبر
- تُقاس المعايرة وانتقاء الأخطاء كلٌّ على حدة، وتُجمَّد العتبة على قسم selection
- U6a · النية والهدف
- على 40 عائلة ألّفها المصمم: Jev 216/220 · Astra 220/220، بما يستوفي هامش −5 pp المسجّل مسبقًا
- حُصر تصنيف النية والهدف الثابت مرشحًا للتطبيق التالي
- U8n · التسليم
- 11 زوجًا لاحقًا من تشغيل متوقف: اجتاز المرشحون المُصلَحون الـ oracle في الذراعين، والتسليم Astra 11/11 · Jev Noul 0/11
- حجبت أحكام نقص الأدلة تسليمًا صحيحًا، ويفتقر إعداد Noul الحالي إلى ما يسوّغ استخدامه حَكَمًا وحيدًا للتسليم