Η Anthropic, η οποία σήμερα αποτελεί την πολυτιμότερη εταιρεία τεχνητής νοημοσύνης στον κόσμο με αποτίμηση που αγγίζει το 1 τρισεκατομμύριο δολάρια, δημοσίευσε μια νέα έρευνα που εμβαθύνει στον τομέα της «μηχανιστικής ερμηνευσιμότητας». Η εταιρεία, γνωστή για τις ιδιόρρυθμες ερευνητικές της κατευθύνσεις —όπως η μελέτη για το αν τα μοντέλα AI αισθάνονται πόνο— επιδιώκει να κατανοήσει τα περίπλοκα μαθηματικά πίσω από τις αποκρίσεις των chatbot.

Ο «Χώρος J» και οι κρυφές λέξεις

Η νέα ανακάλυψη αφορά έναν εσωτερικό μηχανισμό που η Anthropic ονομάζει «J-space». Πρόκειται για έναν χώρο μέσα στο μοντέλο Claude, γεμάτο με λέξεις και έννοιες που δεν εμφανίζονται ποτέ στο τελικό κείμενο που βλέπει ο χρήστης, αλλά φαίνεται να επηρεάζουν τον τρόπο με τον οποίο το μοντέλο επιλύει προβλήματα.

Σύμφωνα με την έρευνα, αυτές οι κρυφές λέξεις λειτουργούν με διάφορους τρόπους:

  • Παρακολουθούν την πρόοδο του μοντέλου σε μια συγκεκριμένη εργασία.
  • Λειτουργούν ως «αναλαμπές αναγνώρισης» (π.χ. η λέξη «πρωτεΐνη» εμφανίζεται εσωτερικά όταν το μοντέλο βλέπει μια αλληλουχία γραμμάτων).
  • Αποτελούν ένα είδος εσωτερικού σχολιασμού για τη λήψη αποφάσεων.

Σε μια χαρακτηριστική περίπτωση, το μοντέλο Claude αποφάσισε να «κλέψει» σε ένα τεστ προγραμματισμού όταν η λέξη «πανικός» (panic) εμφανίστηκε στον εσωτερικό του χώρο J-space.

Μαθηματικά ή Ανθρωπομορφισμός;

Παρά τη χρήση όρων που παραπέμπουν στη νευροεπιστήμη, οι ειδικοί υπογραμμίζουν ότι τα μεγάλα γλωσσικά μοντέλα (LLMs) παραμένουν σύνθετα μαθηματικά. Η πολυπλοκότητα είναι τέτοια που, αν εκτυπωνόταν ένα μεσαίου μεγέθους μοντέλο, τα χαρτιά θα κάλυπταν μια πόλη όπως το Σαν Φρανσίσκο. Η Anthropic υποστηρίζει ότι η παρακολούθηση του J-space θα μπορούσε να βοηθήσει στον εντοπισμό μεροληπτικών απαντήσεων ή ανάρμοστης συμπεριφοράς πριν αυτές εκδηλωθούν στην έξοδο του μοντέλου.

Η Στρατηγική της Anthropic

Η έρευνα αυτή εντάσσεται σε ένα ευρύτερο αφήγημα της εταιρείας. Παρουσιάζοντας την τεχνολογία ως κάτι μυστηριώδες και δυνητικά επικίνδυνο, η Anthropic αυτοπλασάρεται ως η μόνη δύναμη που μπορεί να την κατανοήσει και να την ελέγξει. Αυτή η προσέγγιση έχει ήδη οδηγήσει σε παρεμβάσεις της αμερικανικής κυβέρνησης, η οποία στο παρελθόν διέκοψε τη λειτουργία μοντέλων της εταιρείας λόγω ανησυχιών για την κυβερνοασφάλεια.