GEODE
Autonomous Agent Harness
Από την παρατήρηση στην επόμενη ενέργεια.
Ένα τοπικό πλαίσιο αυτόνομου πράκτορα στο οποίο ανατίθενται έρευνα, εργασίες με αρχεία και προγραμματισμένες εργασίες.
Decision Offloading w. Jev
Ποιες από τις ενδιάμεσες αποφάσεις που παίρνει ένας πράκτορας κατά τη διάρκεια μιας εργασίας μπορούν να ανατεθούν στο Jev, ένα μοντέλο μόνο για αποφάσεις; Αυτή η έρευνα ελέγχει αν η ανεξάρτητα επαληθευμένη ποιότητα εργασιών διατηρείται μετά την ανάθεση, υπολογίζοντας την προετοιμασία, τις επαναλαμβανόμενες κρίσεις, την επιδιόρθωση και την τελική παράδοση. Τα πρώτα πιλοτικά δεν εξηγούνταν με την αντικατάσταση μόνο της κλήσης κρίσης, γι' αυτό το συμβόλαιο εισόδου, το συμβόλαιο απόφασης, η πολιτική πιθανοτήτων και η κατανάλωση από τον πράκτορα εκτέλεσης χωρίστηκαν σε δικά τους πειράματα.
Περιβάλλον εκτέλεσης · τελική ετυμηγορία
Με επιλεγμένο το Jev, η τελική επαλήθευση το καλεί μία φορά με μία ερώτηση Choice, και περνά μόνο μια αποδεκτή ετυμηγορία supported.
judgment_engine · llm | jev
core/config/judgment.pyεκτέλεση · κρίση: επιλογή διαδρομήςτελική ετυμηγορία · μία ερώτηση Choicecore/agent/verify.pyΗ διαδρομή Jev χρησιμοποιείται μόνο όταν το judgment_engine οριστεί σε jev (προεπιλογή llm). Το provider auto επιλέγει το TypeSafe και έπειτα το OpenRouter, όποιο έχει κλειδί, και χωρίς κλειδί μένει η διαδρομή LLM judge. Δεν πρόκειται για fallback που επαναλαμβάνει αλλού ένα αποτυχημένο αίτημα.
τελική ετυμηγορία · μία ερώτηση Choice
core/agent/verify.pyδεδομένα: αίτημα · υποψήφιος · παρατηρήσειςSystemOne · μία κλήση · χωρίς fallbackadapters/typesafe.pyΤο αρχικό αίτημα και ο υποψήφιος απαλείφονται και περιορίζονται σε μήκος, και αποστέλλονται μαζί με τις παρατηρήσεις των εργαλείων ως μία ερώτηση Choice (supported, contradicted, insufficient_evidence). Η κλήση κρίσης δεν παίρνει εργαλεία (allow_tools=False). Μια κρίση που χρειάζεται εικόνες δεν αποστέλλεται στο Jev και γίνεται verification_error.
SystemOne · μία κλήση · χωρίς fallback
adapters/typesafe.pyδεδομένα: μία κλήση SystemOneTypeSafe SystemOneΜία κλήση, απευθείας στο TypeSafe ή μέσω OpenRouter, χωρίς μετάβαση σε άλλο πάροχο. Το Jev δεν χρησιμοποιείται ποτέ ως βασικό μοντέλο παραγωγής κειμένου.
έλεγχος αποδοχής · ανοχή αθροίσματος 1e-5
adapters/typesafe.pyδεδομένα: αποδεκτό Choiceπερνά μόνο το supported · μόνο κείμενοcore/agent/verify.pyΜια απάντηση χρησιμοποιείται μόνο μετά από έλεγχο αποδοχής τύπου, εύρους τιμών και αθροίσματος πιθανοτήτων (ανοχή 1e-5). Περνά μόνο το supported, ενώ τα contradicted και insufficient_evidence γίνονται σήμα επανάληψης με σταθερό επόμενο έλεγχο. Μια απάντηση που δεν είναι end_turn ή αποτυγχάνει στον έλεγχο αποδοχής γίνεται verification_error, που δεν είναι σήμα επανάληψης (should_retry=False). Η βαθμολογία είναι δυαδική προβολή, όχι βαθμονομημένη πιθανότητα.
περνά μόνο το supported · μόνο κείμενο
core/agent/verify.pyδεδομένα: passed · reflectionPostVerify · πολιτική Stoploop/_lifecycle.pyΗ ετυμηγορία πηγαίνει στην πολιτική PostVerify και Stop του κεφαλαίου «Ολοκλήρωση». Μια ετυμηγορία είναι είσοδος αυτής της πολιτικής, όχι εξουσία. Όταν περιμένει αναθεώρηση, ο υποψήφιος μένει μόνο ως pending_text και η τελική απάντηση είναι κενή, οπότε τίποτα δεν παραδίδεται.
PostVerify · πολιτική Stop
loop/_lifecycle.pyκαταγραφή · παρατήρηση: γραμμές ετυμηγορίαςtimeline · γραμμές αποφάσεων ledgermemory · observabilityΟι αποφάσεις ετυμηγορίας καταγράφονται στο timeline και στο evidence ledger: καταγραφές του περιβάλλοντος εκτέλεσης, χωριστές από τα τεχνουργήματα της έρευνας.
Περιβάλλον εκτέλεσης · reflection
Η ίδια επιλογή οδηγεί την ταξινόμηση τεκμηρίων του reflection, και την πρόταση του επόμενου ελέγχου την ορίζει ο κώδικας.
judgment_engine · llm | jev
core/config/judgment.pyεκτέλεση · κρίση: ίδια επιλογήreflection · ταξινόμηση τεκμηρίωνloop/_reflection.pyΗ ίδια επιλογή ισχύει και για το reflection.
reflection · ταξινόμηση τεκμηρίων
loop/_reflection.pyδεδομένα: ταξινόμηση τεκμηρίωνSystemOne · μία κλήση · χωρίς fallbackadapters/typesafe.pyΤο reflection χρησιμοποιεί το Jev για να ταξινομήσει περιορισμένα τεκμήρια και προσθέτει έναν επόμενο έλεγχο που ορίζει ο κώδικας. Δεν αλλάζει υποθέσεις πεποιθήσεων ούτε την αυτοπεποίθηση.
SystemOne · μία κλήση · χωρίς fallback
adapters/typesafe.pyδεδομένα: μία κλήση SystemOneTypeSafe SystemOneΜία κλήση, απευθείας στο TypeSafe ή μέσω OpenRouter, χωρίς μετάβαση σε άλλο πάροχο. Το Jev δεν χρησιμοποιείται ποτέ ως βασικό μοντέλο παραγωγής κειμένου.
έλεγχος αποδοχής · ανοχή αθροίσματος 1e-5
adapters/typesafe.pyδεδομένα: ταξινόμησηreflection · ταξινόμηση τεκμηρίωνloop/_reflection.pyΜόνο μια αποδεκτή ταξινόμηση ενημερώνει την κατάσταση του reflection. Σε αποτυχία, ο επόμενος κύκλος ξαναδοκιμάζει από την ίδια προηγούμενη κατάσταση.
Έρευνα · σταθερό πάνελ U3
Χωρίς actor, οι κρίσεις του Jev και του Astra για την ίδια κατάσταση και ερώτηση συγκρίθηκαν σε ζεύγη.
Astra · Jev · ίδια ερώτηση
U3 · πάνελ σταθερών καταστάσεωνδεδομένα: Κρίση JevTypeSafe SystemOneU3 (αρχικό commit πειράματος 2f2b494): 120 σταθερές καταστάσεις · 27 ομάδες πηγών · 240 κλήσεις. Κάθε κατάσταση και ερώτηση πήγε στο Jev και στο Astra ως ένα ζεύγος, χωρίς actor, εργαλεία ή Harbor.
Astra · Jev · ίδια ερώτηση
U3 · πάνελ σταθερών καταστάσεωνδεδομένα: Κρίση AstraΚριτής Astra · μοντέλο actorΣωστές στο ίδιο δείγμα: Astra 90/120, Jev 84/120. Διάμεσος ανά κλήση 10.446 s έναντι 0.253 s. Πρόκειται μόνο για καθυστέρηση της κλήσης κρίσης, όχι για χρόνο εργασίας ή εξοικονόμηση κόστους.
U3 · πάνελ σταθερών καταστάσεωνδεδομένα: αποτελέσματα πάνελ · αναφοράΕρευνητική αναφορά Jev
Τα αποτελέσματα ακρίβειας και καθυστέρησης του U3 εμφανίζονται στη δημόσια τεχνική αναφορά. Το αν αυτό το πάνελ ανήκει στο δημόσιο πακέτο E2E δεν υποστηρίζεται εδώ.
Έρευνα · εκτελέσεις E/I
Με τον Astra ως actor, άλλαξε μόνο η διαδρομή κρίσης, και ένα ανεξάρτητο oracle κανόνων έλεγξε χωριστά αποτελέσματα και παράδοση.
Astra actor · εργαλεία · επιδιόρθωση
E/I · Harbor 0.22δεδομένα: παραγωγή · εργαλεία · επιδιόρθωσηΚριτής Astra · μοντέλο actorΣτο E/I πάνω στο Harbor 0.22, ο actor Astra αναλαμβάνει την παραγωγή, τις κλήσεις εργαλείων και την επιδιόρθωση, και αλλάζει μόνο η διαδρομή κρίσης.
διαδρομή κρίσης · Astra · Jev · Jev-first
E/I · Harbor 0.22δεδομένα: διαδρομή κρίσης ολοκλήρωσηςTypeSafe SystemOneE7 (αρχικό commit πειράματος 1f65534): 12 ειδικά γραμμένες συνθετικές εργασίες × 3 διατάξεις × 2 εκτελέσεις = 72 εκτελέσεις, 24/24 ανά διάταξη. Η διάταξη Jev-first είχε 0/24 πραγματικά fallback, οπότε η επίδρασή της δεν μετρήθηκε.
E/I · Harbor 0.22καταγραφή · παρατήρηση: ανεξάρτητος έλεγχοςορθότητα · παράδοση χωριστά
rule oracleΈνα ανεξάρτητο oracle κανόνων ελέγχει το τελικό αποτέλεσμα, και η πραγματική τελική παράδοση μετριέται χωριστά. Στα 11 εκ των υστέρων ζεύγη του διακοπέντος U8n, κάθε υποψήφιος πέρασε το oracle, όμως η παράδοση ήταν Astra 11/11 και Jev Noul 0/11.
E/I · Harbor 0.22δεδομένα: γενεαλογία αποτυχίας · επιδιόρθωσηςE2E-DATA · πηγή · δημόσια hashes
jev-v3-20260927Το δημόσιο πακέτο E2E κρατά τις γενεαλογίες προετοιμασίας, αποτυχίας και επιδιόρθωσης, με τα hashes πηγής και δημόσιου αντιγράφου χωριστά. Ένα δημόσιο αντίγραφο με απαλείψεις δεν υποκαθιστά την επικύρωση της αμετάβλητης πηγής.
REPRODUCE · model-free
jev-v3-20260927δεδομένα: επανυπολογισμός model-freeΕρευνητική αναφορά JevΟ επανυπολογισμός νούμερων από αποθηκευμένες απαντήσεις και μια νέα εκτέλεση είναι διαφορετικές διαδικασίες. Η αναφορά είναι δημόσια τεχνική αναφορά, όχι άρθρο με αξιολόγηση από ομοτίμους.
Κάθε σύνδεση με το ίδιο πάχος. Επιλέξτε μια ροή για να επισημανθεί μόνο η διαδρομή της, με αριθμημένα βήματα.
- Συνεχής · η κατεύθυνση ροής αιτημάτων, υποψηφίων και αποτελεσμάτων
- Διακεκομμένη · εκτέλεση, κρίση, εξουσιοδότηση, ρύθμιση
- Μακριά παύλα-τελεία · καταγραφές και παρατήρηση, χωριστά από την ετυμηγορία
- Παχιά μαύρη γραμμή · η επιλεγμένη ροή, οι αριθμοί δίνουν τη σειρά
- Κουτί · όριο κώδικα ή καταγραφής, με τη διαδρομή του στην κεφαλίδα
- Εσωτερικό τσιπ · στοιχείο σε αυτό το όριο
- Διακεκομμένο κουτί · εκτός αυτού του ορίου
- βρόχος · πλαίσιο εκτέλεσης
- επιλογή διαδρομής · ετυμηγορία · oracle
- καταγραφές · δημόσιο πακέτο
- μεταφορά · πάνελ κρίσης
Το πάνω και το κάτω μέρος είναι διαφορετικά συστήματα. Οι διατάξεις και τα αποτελέσματα της έρευνας δεν είναι όλα ενεργά στη σημερινή διαδρομή του περιβάλλοντος εκτέλεσης. Ο μόνος κοινός σύνδεσμος είναι ότι και τα δύο καλούν το ίδιο μοντέλο Jev (jev-1.13.0).
- Έλεγχος αποδοχής στο περιβάλλον εκτέλεσης
- Το περιβάλλον εκτέλεσης κρατά αυστηρή την ανοχή αθροίσματος πιθανοτήτων στο 1e-5. Οι καλούντες της αξιολόγησης περνούν τη δική τους καταγεγραμμένη ανοχή αντί να χαλαρώνουν τον αναλυτή του περιβάλλοντος εκτέλεσης.
- Εύρος της έρευνας
- Το U3 μετρά μόνο κλήσεις κρίσης, ενώ το E/I περιλαμβάνει τον actor και την επιδιόρθωση. Οι παρονομαστές τους δεν αναμειγνύονται ποτέ, και τα 11 ζεύγη του U8n είναι εκ των υστέρων ανάλυση μιας διακοπείσας μελέτης.
Τρία συμβόλαια απόφασης
Choice
- Επιστρέφει
- Πιθανότητα ανά κατηγορία ή επιλογή
- Αποφασίζει
- Ολοκλήρωση, πρόθεση και στόχος ενός αιτήματος
Noul
- Επιστρέφει
- P(true) για κάθε συνθήκη
- Αποφασίζει
- Αντίφαση, ελλιπή τεκμήρια
Score
- Επιστρέφει
- Αναμενόμενη τιμή και κατανομή σε σταθερή διατεταγμένη κλίμακα
- Αποφασίζει
- Κατάταξη των παραγόμενων υποψηφίων
Η αναμενόμενη τιμή τοποθετεί τον υποψήφιο στην κλίμακα και δεν χρησιμοποιείται ως βεβαιότητα.
Αξιολόγηση και σύνδεση
Κάθε συμβόλαιο αξιολογήθηκε στο δικό του σταθερό πάνελ εισόδων, και ορισμένα συνδέθηκαν στη διαδρομή εκτέλεσης του πλαισίου πειραμάτων για να φανεί πώς ο πράκτορας εκτέλεσης καταναλώνει την κρίση. Στον παραπάνω χάρτη, το ερευνητικό μέρος δείχνει αυτές τις εκτελέσεις, ενώ το μέρος του περιβάλλοντος εκτέλεσης είναι η προαιρετική διαδρομή στο σημερινό GEODE.
Παρατηρήσεις που άλλαξαν τον σχεδιασμό
- I5 → I6 · συμβόλαιο εισόδου
- Η ανίχνευση μιας κοινής αποτυχίας παράδοσης έδειξε ότι στην είσοδο κρίσης έλειπε το συμβόλαιο της εργασίας και ότι οι παρατηρήσεις εργαλείων του ίδιου αιτήματος περιγράφονταν ως παλαιότερα συμφραζόμενα
- Το I6 παρέδωσε 6/6 σε χωριστή εκτέλεση με τον αναθεωρημένο κώδικα και νέο λογαριασμό
- U3 · τα ίδια 120 ζεύγη καταστάσεων
- Διάμεσος ανά κλήση Astra 10.446 s · Jev 0.253 s, σωστές στο ίδιο δείγμα 90/120 · 84/120
- Ταχύτητα και ακρίβεια σταθμίζονται μαζί για κάθε απόφαση ώστε να οριστεί το εύρος ανάθεσης
- U2 · πιθανότητες
- Οι πιθανότητες του Jev ήταν καλύτερα βαθμονομημένες σε μέγεθος, αλλά ο Astra κατέτασσε πιο αξιόπιστα πρώτες τις λανθασμένες κρίσεις του
- Η βαθμονόμηση και η επιλογή σφαλμάτων μετριούνται χωριστά, και το κατώφλι παγώνει στο τμήμα selection
- U6a · πρόθεση και στόχος
- Σε 40 οικογένειες γραμμένες από τον σχεδιαστή, Jev 216/220 · Astra 220/220, εντός του προκαταχωρισμένου περιθωρίου −5 pp
- Η σταθερή ταξινόμηση πρόθεσης και στόχου περιορίστηκε ως επόμενη υποψήφια εφαρμογή
- U8n · παράδοση
- 11 εκ των υστέρων ζεύγη από διακοπείσα εκτέλεση: οι επιδιορθωμένοι υποψήφιοι πέρασαν το oracle και στα δύο arms, παράδοση Astra 11/11 · Jev Noul 0/11
- Οι κρίσεις ελλιπών τεκμηρίων μπλόκαραν σωστή παράδοση. Η τρέχουσα διάταξη Noul δεν έχει βάση για να λειτουργήσει ως μοναδικός κριτής παράδοσης