Μια νέα ερευνητική εργασία που δημοσιεύθηκε στο arXiv εξετάζει τη θεμελιώδη σύνδεση μεταξύ των κατανομών εξόδου των Μεγάλων Γλωσσικών Μοντέλων (LLMs) και των δεδομένων που χρησιμοποιήθηκαν κατά την προεκπαίδευσή τους. Η μελέτη επικεντρώνεται στην Εμπειρική Κατανομή Επόμενου Συμβόλου (ENTD), η οποία λειτουργεί ως θεωρητικό σημείο αναφοράς για την απόδοση των μοντέλων.
Ο Ρόλος της ENTD
Η ENTD ορίζεται ως ο απεριόριστος καθολικός ελαχιστοποιητής της απώλειας διασταυρούμενης εντροπίας (cross-entropy loss), που αποτελεί την τυπική αντικειμενική συνάρτηση για την προεκπαίδευση των LLM. Συγκρίνοντας τις προβλέψεις ενός μοντέλου με αυτή την εμπειρική κατανομή, οι ερευνητές μπορούν να μετρήσουν πόσο αποτελεσματικά έχει «μάθει» ένα μοντέλο τις στατιστικές ιδιότητες των δεδομένων εκπαίδευσής του.
- Κλίμακα και Πιστότητα: Η μελέτη διαπιστώνει ότι καθώς αυξάνεται η κλίμακα του μοντέλου και η υπολογιστική ισχύς εκπαίδευσης, αυξάνεται και η συμφωνία μεταξύ της εξόδου του μοντέλου και της ENTD.
- Η «Μακριά Ουρά»: Παρά την υψηλή συνολική συμφωνία, παραμένει μια «μακριά ουρά» ακολουθιών όπου οι προβλέψεις του μοντέλου αποκλίνουν σημαντικά από τα στατιστικά στοιχεία των δεδομένων εκπαίδευσης.
Πηγές Αποκλίσεων
Οι ερευνητές εξέτασαν διάφορους παράγοντες που ενδέχεται να προκαλούν απόκλιση ενός μοντέλου από την ENTD. Αυτοί περιλαμβάνουν τους εγγενείς περιορισμούς της αρχιτεκτονικής transformer, ιδιαιτερότητες στη διαδικασία εκπαίδευσης και τον θόρυβο στις εκτιμήσεις πεπερασμένου δείγματος της ίδιας της ENTD.
«Ελπίζουμε ότι τα ευρήματά μας θα ενθαρρύνουν περισσότερη εργασία στη "δεδομενοκεντρική μηχανιστική ερμηνευσιμότητα"», σημειώνουν οι συγγραφείς.
Αυτή η προσέγγιση στοχεύει στο να ανοίξει το «μαύρο κουτί» της Τεχνητής Νοημοσύνης, εξετάζοντας πώς προκύπτουν οι συμπεριφορές από τα δεδομένα εκπαίδευσης, αντί να εστιάζει αποκλειστικά στον τρόπο με τον οποίο κωδικοποιούνται στα βάρη του μοντέλου.
