Πρωτότυπος Τίτλος:
Παρεμβατική Αιτιακή Μάθηση Αναπαραστάσεων για Ανθεκτικότητα εκτός Κατανομής
Συγγραφέας:
Αλημίσης, Παναγιώτης, Δημήτριος
Επιβλέπων καθηγητής:
Δίου, Χρήστος
Περίληψη:
Τα μοντέλα βαθιάς μάθησης συχνά αποτυγχάνουν σε συνθήκες εκτός κατανομής (outof-distribution - OOD), μαθαίνοντας ψευδείς συσχετίσεις αντί για αιτιώδεις σχέσεις.
Ενώ η Αιτιακή Μάθηση Αναπαραστάσεων (Causal Representation Learning - CRL) στοχεύει
στην αντιμετώπιση αυτού του προβλήματος, η περισσότερη έρευνα έχει επικεντρωθεί
στον εντοπισμό αιτιακών παραγόντων, αφήνοντας ανεξερεύνητη την πρόκληση της
μάθησης αναπαραστάσεων των ίδιων των παρεμβάσεων. Αυτή η διπλωματική εισάγει
το πλαίσιο Causal Delta Embedding, το οποίο αναπαριστά τις παρεμβάσεις ως μια
διανυσματική διαφορά, δ = ϕ(xafter)−ϕ(xbefore), σε έναν λανθάνοντα χώρο. Υλοποιούμε
αυτό το πλαίσιο χρησιμοποιώντας μια αρχιτεκτονική βασισμένη σε Vision Transformer
(ViT), εκπαιδευμένη με μια συνάρτηση πολλαπλών στόχων που συνδυάζει μια απώλεια
ταξινόμησης με έναν κανονικοποιητή επιβλεπόμενης αντιπαραθετικής μάθησης και
αραιότητας (supervised contrastive and sparsity regularizer), ώστε να επιβάλει την
αιτιακή συνέπεια και την ελαχιστότητα της αναπαράστασης.
Κατά την αξιολόγησή της στο απαιτητικό κριτήριο αξιολόγησης Causal Triplet, η μέθοδός
μας θέτει νέα κορυφαία επίδοση (state of the art) στη γενίκευση OOD, βελτιώνοντας
την ακρίβεια OOD κατά +14 ποσοστιαίες μονάδες σε σχέση με ισχυρά μοντέλα αναφοράς
(baseline) στην εργασία συστηματικής αλλαγής κατανομής. Αυτή η απόδοση αποδίδεται
στον χώρο αναπαραστάσεων που μαθαίνεται από το Causal Delta. Βαθύτερη ανάλυση
αποκαλύπτει ότι το μοντέλο ανακαλύπτει αυτόνομα μια αντιπαράλληλη γεωμετρική
δομή για αντίθετες ενέργειες (π.χ., ‘άνοιγμα’ και ‘κλείσιμο’). Η αποτελεσματικότητα
των τοπικών γειτονιών που μαθαίνονται, υπογραμμίζεται περαιτέρω από το γεγονός
ότι ένας απλός ταξινομητής k-πλησιέστερων γειτόνων (k-NN) ξεπερνά σταθερά την
εκπαιδευμένη κεφαλή ταξινόμησης στις ενσωματώσεις δέλτα εκτός κατανομής (OOD).
Αυτή η εργασία καθιερώνει ότι η μάθηση δομημένων αναπαραστάσεων των μετασχηματισμών
αποτελεί ένα ισχυρό παράδειγμα για την ευρωστία σε συνθήκες OOD. Το πλαίσιο Causal
Delta Embedding προσφέρει μια απλή, ερμηνεύσιμη και υψηλής απόδοσης μέθοδο για
την επίτευξη αυτού του στόχου, ανοίγοντας τον δρόμο για συστήματα τεχνητής νοημοσύνης
με μια πιο στιβαρή κατανόηση της αιτίας και του αποτελέσματος
Ενώ η Αιτιακή Μάθηση Αναπαραστάσεων (Causal Representation Learning - CRL) στοχεύει
στην αντιμετώπιση αυτού του προβλήματος, η περισσότερη έρευνα έχει επικεντρωθεί
στον εντοπισμό αιτιακών παραγόντων, αφήνοντας ανεξερεύνητη την πρόκληση της
μάθησης αναπαραστάσεων των ίδιων των παρεμβάσεων. Αυτή η διπλωματική εισάγει
το πλαίσιο Causal Delta Embedding, το οποίο αναπαριστά τις παρεμβάσεις ως μια
διανυσματική διαφορά, δ = ϕ(xafter)−ϕ(xbefore), σε έναν λανθάνοντα χώρο. Υλοποιούμε
αυτό το πλαίσιο χρησιμοποιώντας μια αρχιτεκτονική βασισμένη σε Vision Transformer
(ViT), εκπαιδευμένη με μια συνάρτηση πολλαπλών στόχων που συνδυάζει μια απώλεια
ταξινόμησης με έναν κανονικοποιητή επιβλεπόμενης αντιπαραθετικής μάθησης και
αραιότητας (supervised contrastive and sparsity regularizer), ώστε να επιβάλει την
αιτιακή συνέπεια και την ελαχιστότητα της αναπαράστασης.
Κατά την αξιολόγησή της στο απαιτητικό κριτήριο αξιολόγησης Causal Triplet, η μέθοδός
μας θέτει νέα κορυφαία επίδοση (state of the art) στη γενίκευση OOD, βελτιώνοντας
την ακρίβεια OOD κατά +14 ποσοστιαίες μονάδες σε σχέση με ισχυρά μοντέλα αναφοράς
(baseline) στην εργασία συστηματικής αλλαγής κατανομής. Αυτή η απόδοση αποδίδεται
στον χώρο αναπαραστάσεων που μαθαίνεται από το Causal Delta. Βαθύτερη ανάλυση
αποκαλύπτει ότι το μοντέλο ανακαλύπτει αυτόνομα μια αντιπαράλληλη γεωμετρική
δομή για αντίθετες ενέργειες (π.χ., ‘άνοιγμα’ και ‘κλείσιμο’). Η αποτελεσματικότητα
των τοπικών γειτονιών που μαθαίνονται, υπογραμμίζεται περαιτέρω από το γεγονός
ότι ένας απλός ταξινομητής k-πλησιέστερων γειτόνων (k-NN) ξεπερνά σταθερά την
εκπαιδευμένη κεφαλή ταξινόμησης στις ενσωματώσεις δέλτα εκτός κατανομής (OOD).
Αυτή η εργασία καθιερώνει ότι η μάθηση δομημένων αναπαραστάσεων των μετασχηματισμών
αποτελεί ένα ισχυρό παράδειγμα για την ευρωστία σε συνθήκες OOD. Το πλαίσιο Causal
Delta Embedding προσφέρει μια απλή, ερμηνεύσιμη και υψηλής απόδοσης μέθοδο για
την επίτευξη αυτού του στόχου, ανοίγοντας τον δρόμο για συστήματα τεχνητής νοημοσύνης
με μια πιο στιβαρή κατανόηση της αιτίας και του αποτελέσματος
Ημερομηνία κατάθεσης:
2025-07-11
Γλώσσες Τεκμηρίου:
Αγγλικά
Θεματικές Κατηγορίες:
Ηλεκτρονικοί υπολογιστές. Επιστήμη των υπολογιστών
Λοιπά Θέματα:
Μηχανική μάθηση
Λέξεις-κλειδιά:
Παρεμβάσεις, Αιτιακή Μάθηση Αναπαραστάσεων
Περιγραφή:
56 σ.,εικ.,πίν.,διαγρ.,σχ.
Άδεια χρήσης:
Αναφορά Δημιουργού – Μη Εμπορική Χρήση – Όχι Παράγωγα Έργα 4.0
