GEODE
Autonomous Agent Harness
Από την παρατήρηση στην επόμενη ενέργεια.
Ένα τοπικό πλαίσιο αυτόνομου πράκτορα στο οποίο ανατίθενται έρευνα, εργασίες με αρχεία και προγραμματισμένες εργασίες.
Μία πολιτική κάθε φορά, με σταθερή μέτρηση.
Ξεχωριστός βρόχος που τρέχει έξω από το πλαίσιο. Από το baseline εφαρμόζει μία αλλαγή πολιτικής με ορισμένο τύπο, και η ίδια επιθεώρηση Petri και η ίδια πύλη αποφασίζουν ανάμεσα σε KEEP και επαναφορά.
Μία αλλαγή → επιθεώρηση
Με σταθερό το συμβόλαιο εκτέλεσης, αλλάζει μία επιτρεπόμενη πολιτική και το GEODE επιθεωρείται με την ίδια διάταξη μέτρησης. Δεν πρόκειται για το προϊόν εν λειτουργία που ξαναγράφει τον εαυτό του.
Έγκριση χειριστήεκτέλεση · κρίση: έγκρισησυμβόλαιο εκτέλεσης · μοντέλα · προϋπολογισμός
program.mdΜια εκτέλεση ξεκινά μόνο αφού εγκριθούν οι ζωντανές κλήσεις και ο σταθερός προϋπολογισμός. Χωρίς έγκριση, μόνο το συμβόλαιο προετοιμάζεται και ελέγχεται εκτός σύνδεσης.
συμβόλαιο εκτέλεσης · μοντέλα · προϋπολογισμός
program.mdεκτέλεση · κρίση: συμβόλαιο εκτέλεσηςβρόχος σταθερού προϋπολογισμούtrain.pyΟι εκδόσεις seed και ρουμπρίκας, τα μοντέλα ρόλων και οι πηγές διαπιστευτηρίων, οι ρυθμίσεις μέτρησης, οι προϋπολογισμοί επαναλήψεων, χρόνου και κόστους, η πολιτική προαγωγής και οι συνθήκες διακοπής σταθεροποιούνται πριν από την εκτέλεση.
βρόχος σταθερού προϋπολογισμού
train.pyεκτέλεση · κρίση: αίτημα για έναν υποψήφιοmutator · ένας υποψήφιοςloop/mutateΜία τεκμηριωμένη υπόθεση αλλάζει μία επιτρεπόμενη επιφάνεια πολιτικής.
7 επιφάνειες · χωρίς υπερπαραμέτρους
loop/mutateδεδομένα: αλλαγή πολιτικής · mutation IDπολιτική βασισμένη σε αρχείοstate/policiesΜόνο επτά επιφάνειες μπορούν να αλλάξουν: η προτροπή wrapper, η πολιτική εργαλείων, οι συμβουλές αποσύνθεσης, το reflection, τα μεταδεδομένα του καταλόγου δεξιοτήτων, το συμβόλαιο πράκτορα (role, system_prompt, tools) και οι περιγραφές και υποδείξεις εργαλείων. Οι αλλαγές υπερπαραμέτρων απορρίπτονται τόσο στην ανάλυση όσο και στην εφαρμογή. Η εφαρμογή πολιτικής, η επαναμέτρηση και ένα προαιρετικό commit είναι χωριστά βήματα, οπότε η εφαρμογή δεν είναι από μόνη της επιθεώρηση.
δεξαμενή seeds · σταθερή ρουμπρίκα
prepare.pyεκτέλεση · κρίση: seeds · σταθερή ρουμπρίκαυποδιεργασία επιθεώρησης · σταθερό timeoutmeasure.pyΤο prepare.py είναι η σταθερή αναφορά για τη δεξαμενή seeds και τη ρουμπρίκα, και οι υποψήφιοι δεν το αλλάζουν. Η αλλαγή μιας μονάδας μέτρησης αλλάζει τη μέτρηση, όχι το υπό δοκιμή σύστημα.
πολιτική βασισμένη σε αρχείο
state/policiesδεδομένα: επιλεγμένη πολιτικήOVERRIDE · STRICT ανά πολιτικήmeasure.pyΤο measure.py διαβάζει το τρέχον επιλεγμένο αρχείο πολιτικής και το περνά στο περιβάλλον επιθεώρησης.
OVERRIDE · STRICT ανά πολιτική
measure.pyεκτέλεση · κρίση: διαδρομές override ανά πολιτικήcore · φορτωτές πολιτικώνΤο measure.py περνά στην υποδιεργασία επιθεώρησης τη διαδρομή wrapper και τις διαδρομές override και strict ανά πολιτική, και ο αντίστοιχος φορτωτής πολιτικής του περιβάλλοντος εκτέλεσης διαβάζει την καθεμία. Το wrapper (GEODE_WRAPPER_OVERRIDE → system_prompt) είναι ένας κλάδος, και επιπλέον κλειδιά περιβάλλοντος δεν διευρύνουν τις επτά μεταβλητές επιφάνειες. Ένα επεξεργασμένο αρχείο από μόνο του δεν αποδεικνύει ότι ο υποψήφιος έφτασε στον στόχο. Αυτό το επιβεβαιώνει η διάγνωση των τεκμηρίων της επιθεώρησης.
υποδιεργασία επιθεώρησης · σταθερό timeout
measure.pyεκτέλεση · κρίση: audit subprocessΕπιθεώρηση PetriΗ επιθεώρηση τρέχει με σταθερό timeout και προϋπολογισμό, που δεν αλλάζουν ποτέ στη μέση μιας σύγκρισης. Η έξοδος που λείπει είναι διαγνωστικό κενό, όχι βαθμολογία μηδέν.
Επιθεώρηση Petriδεδομένα: διάλογος επιθεώρησηςcore · φορτωτές πολιτικών
Ο επιθεωρητής συνομιλεί με το GEODE μέσω του σεναρίου του seed, και ο κριτής βαθμολογεί το πρακτικό.
Ετυμηγορία → διατήρηση · επαναφορά
Σε σύγκριση με το baseline του ίδιου συμβολαίου, οι critical οπισθοδρομήσεις και ο κανόνας προαγωγής αποφασίζουν το KEEP. Μια απορριφθείσα αλλαγή επαναφέρεται στην καταγεγραμμένη προηγούμενη τιμή της.
Επιθεώρηση Petriδεδομένα: βαθμολογίες διαστάσεωνcritical οπισθοδρόμηση · ποινές
fitness.pyΟι βαθμολογίες συνοδεύονται από τις διαστάσεις που λείπουν και τα πλήθη δειγμάτων. Μια διάσταση που δεν μετρήθηκε δεν διαβάζεται ως παρατήρηση.
baseline · provenance
ledger.pyδεδομένα: baseline · provenancecritical οπισθοδρόμηση · ποινέςfitness.pyΗ σύγκριση γίνεται μόνο με baseline που έχει το ίδιο καταγεγραμμένο συμβόλαιο και epoch. Ένας νέος κλάδος Git δεν απομονώνει την κατάσταση του baseline.
critical οπισθοδρόμηση · ποινές
fitness.pyδεδομένα: fitness · αιτίες οπισθοδρόμησης_should_promote · KEEPgate.pyΠρώτα ελέγχονται οι οπισθοδρομήσεις σε critical διαστάσεις και οι βοηθητικές ποινές, έπειτα το margin ή ο έλεγχος της διάστασης-στόχου. Μια θετική βαθμωτή τιμή από μόνη της δεν οδηγεί ποτέ σε προαγωγή.
_should_promote · KEEP
gate.pyδεδομένα: KEEP · επόμενο baselinebaseline · provenanceledger.pyΈνας υποψήφιος που διατηρείται γίνεται το επόμενο baseline. Ένας υποψήφιος που διατηρήθηκε τοπικά δεν είναι merge στο αποθετήριο ούτε έκδοση.
_reject_and_revert
gate.pyεκτέλεση · κρίση: REJECT · επαναφορά προηγούμενουπολιτική βασισμένη σε αρχείοstate/policiesΓια υποψήφιο που έφτιαξε ο runner, επαναφέρεται η ενότητα πολιτικής που καταγράφηκε με το mutation ID του, και μια αποτυχημένη επαναφορά επισημαίνεται. Οι χειροκίνητες αλλαγές δεν επαναφέρονται αυτόματα, και μια αβέβαιη επαναφορά σταματά τον επόμενο υποψήφιο.
_should_promote · KEEP
gate.pyκαταγραφή · παρατήρηση: γραμμή αποτελέσματος · ετυμηγορίαςγραμμές results · mutationsledger.pyΗ μέτρηση, η ετυμηγορία και η προέλευση γράφονται μία φορά ως γραμμές αποτελεσμάτων. Οι παλαιότερες γραμμές δεν ξαναγράφονται ποτέ.
Ομάδες ελέγχου · μέτρηση replicate
Εκτέλεση June 2026: ένα never arm χωρίς αλλαγή και ένα baseline K=5 μέτρησαν χωριστά τον θόρυβο της επιθεώρησης, και ένα KEEP μίας μόνο επιθεώρησης ελέγχθηκε ξανά με replicates.
run-2606-broken-tool-useεκτέλεση · κρίση: τρία armsβρόχος σταθερού προϋπολογισμού
train.pyΗ εκτέλεση της June 3–4, 2026 διαχώρισε την ολίσθηση από την επίδραση της αλλαγής με τρία arms: never (χωρίς αλλαγή), random (τυχαία αποδοχή) και gate (αποδοχή από την ετυμηγορία). Ο στόχος ήταν το GPT-5.5, ενώ επιθεωρητής και κριτής ήταν το Claude Opus 4.8.
baseline gen-0 · μέσος όρος 5 επιθεωρήσεων
run-2606-broken-tool-useδεδομένα: baseline μέσου όρου K=5baseline · provenanceledger.pyΤο baseline του gen-0 ήταν ο μέσος όρος πέντε επιθεωρήσεων (Petri broken_tool_use, χαμηλότερο είναι καλύτερο, μέσος όρος 2.667).
never arm · ομάδα ελέγχου χωρίς αλλαγή
run-2606-broken-tool-useεκτέλεση · κρίση: μέτρηση χωρίς αλλαγήυποδιεργασία επιθεώρησης · σταθερό timeoutmeasure.pyΤο never arm ολίσθησε σε μέσο όρο 3.38 χωρίς καμία αλλαγή πολιτικής (10 επιθεωρήσεις, χαμηλότερο είναι καλύτερο): άμεσο τεκμήριο ότι ο θόρυβος της επιθεώρησης ξεπέρασε την επίδραση της αλλαγής.
--replicate K · επαναμέτρηση
train.pyεκτέλεση · κρίση: --replicate Kυποδιεργασία επιθεώρησης · σταθερό timeoutmeasure.pyΟ ίδιος υποψήφιος μετριέται K ακόμη φορές με τις ίδιες συνθήκες, ώστε να φιλτραριστεί μια τυχερή μεμονωμένη επιθεώρηση.
replicate · επαναμέτρηση ενός KEEP
run-2606-broken-tool-useεκτέλεση · κρίση: επαναμέτρηση → επαναφορά_reject_and_revertgate.pyΈνας υποψήφιος που διατηρήθηκε με μία μόνο επιθεώρηση gate (1.6) μέτρησε 3.0–3.8 στα replicates, χειρότερα από το baseline, οπότε επανήλθε ο champion 2.667. Το συμπέρασμα της εκτέλεσης ήταν ότι δεν υπήρξε σαφής βελτίωση.
Κάθε σύνδεση με το ίδιο πάχος. Επιλέξτε μια ροή για να επισημανθεί μόνο η διαδρομή της, με αριθμημένα βήματα.
- Συνεχής · η κατεύθυνση ροής αιτημάτων, υποψηφίων και αποτελεσμάτων
- Διακεκομμένη · εκτέλεση, κρίση, εξουσιοδότηση, ρύθμιση
- Μακριά παύλα-τελεία · καταγραφές και παρατήρηση, χωριστά από την ετυμηγορία
- Παχιά μαύρη γραμμή · η επιλεγμένη ροή, οι αριθμοί δίνουν τη σειρά
- Κουτί · όριο κώδικα ή καταγραφής, με τη διαδρομή του στην κεφαλίδα
- Εσωτερικό τσιπ · στοιχείο σε αυτό το όριο
- Διακεκομμένο κουτί · εκτός αυτού του ορίου
- βρόχος · εκτέλεση μέτρησης
- συμβόλαιο · ετυμηγορία
- πολιτική · καταγραφές
- αλλαγή · στόχος επιθεώρησης · καταγραφή εκτέλεσης
Ο οδηγός SIL του GEODE ονομάζεται autoresearch. Η δομή prepare/train/program και ο σταθερός προϋπολογισμός του εμπνέονται από το autoresearch του Karpathy. Κανένα βάρος μοντέλου δεν αλλάζει, και η διάταξη μέτρησης και ο προϋπολογισμός μένουν σταθερά κατά τη σύγκριση.
- Τι μπορεί να αλλάξει
- Επτά επιφάνειες: η προτροπή wrapper, η πολιτική εργαλείων, οι συμβουλές αποσύνθεσης, το reflection, τα μεταδεδομένα του καταλόγου δεξιοτήτων, το συμβόλαιο πράκτορα και οι περιγραφές και υποδείξεις εργαλείων. Ο αξιολογητής, ο προϋπολογισμός, τα seeds και η ρουμπρίκα μένουν σταθερά κατά τη σύγκριση.
- Εύρος της καταγραφής εκτέλεσης
- Οι τιμές του run-2606 είναι οι μέσοι όροι Petri broken_tool_use εκείνης της εκτέλεσης (χαμηλότερο είναι καλύτερο). Δεν αποτελούν τεκμήριο σωρευτικής βελτίωσης του SIL ή γενίκευσης.