Για αρκετές εβδομάδες, μια αυξανόμενη χορωδία προγραμματιστών και προχωρημένων χρηστών τεχνητής νοημοσύνης υποστήριζε ότι τα κορυφαία μοντέλα της Anthropic έχαναν την αίγλη τους. Οι χρήστες σε πλατφόρμες όπως το GitHub, το X και το Reddit ανέφεραν ένα φαινόμενο που περιέγραψαν ως «AI shrinkflation» — μια αντιληπτή υποβάθμιση όπου ο Claude φαινόταν λιγότερο ικανός να επιλύσει σύνθετα προβλήματα κώδικα, πιο επιρρεπής σε περιττές φλυαρίες ή, αντίθετα, υπερβολικά λακωνικός και αρνητικός στην εκτέλεση εντολών που προηγουμένως διαχειριζόταν με ευκολία.

Η Anthropic, η εταιρεία πίσω από τον Claude, έλυσε επιτέλους τη σιωπή της, προσφέροντας μια σπάνια ματιά στα «εντόσθια» της συντήρησης των Μεγάλων Γλωσσικών Μοντέλων (LLMs). Σε μια λεπτομερή εξήγηση, η εταιρεία αποκάλυψε ότι ενώ τα ίδια τα βάρη του μοντέλου (the model weights) —ο πυρήνας δηλαδή της νοημοσύνης του— παρέμειναν αμετάβλητα, οι αλλαγές στα «harnesses» (τα περιβάλλοντα ελέγχου και διασύνδεσης) και στις «λειτουργικές οδηγίες» (operating instructions) ήταν οι πιθανοί ένοχοι για την πτώση της απόδοσης.

Η ανατομία της «υποβάθμισης»: Τι πήγε στραβά;

Όταν οι χρήστες αλληλεπιδρούν με ένα μοντέλο όπως ο Claude 3.5 Sonnet, δεν συνομιλούν απευθείας με τον αλγόριθμο στην καθαρή του μορφή. Αντίθετα, η αλληλεπίδραση φιλτράρεται μέσα από ένα σύστημα οδηγιών που ονομάζεται «system prompt» ή «operating instructions». Αυτές οι οδηγίες καθορίζουν πώς πρέπει να συμπεριφέρεται το μοντέλο: να είναι σύντομο, να αποφεύγει επιβλαβές περιεχόμενο, να χρησιμοποιεί συγκεκριμένο στυλ κώδικα ή να αναγνωρίζει την τρέχουσα ημερομηνία.

Σύμφωνα με την Anthropic, η προσπάθεια βελτιστοποίησης αυτών των οδηγιών είχε απρόβλεπτες παρενέργειες. «Διαπιστώσαμε ότι ακόμη και μικρές αλλαγές στον τρόπο με τον οποίο πλαισιώνουμε μια ερώτηση ή οι πρόσθετες οδηγίες που δίνουμε στο μοντέλο για να διασφαλίσουμε την ασφάλεια, μπορούν να επηρεάσουν τη συλλογιστική του ικανότητα σε άσχετους τομείς», ανέφερε πηγή της εταιρείας. Αυτό το φαινόμενο είναι γνωστό στην κοινότητα της τεχνητής νοημοσύνης ως «alignment tax» — το τίμημα που πληρώνει η απόδοση του μοντέλου προκειμένου να παραμείνει ευθυγραμμισμένο με τις αξίες και τους περιορισμούς των δημιουργών του.

Harnesses και η ψευδαίσθηση της σταθερότητας

Ένας άλλος κρίσιμος παράγοντας ήταν οι αλλαγές στα «harnesses». Στην ορολογία της AI, το harness είναι η υποδομή λογισμικού που τροφοδοτεί τα δεδομένα στο μοντέλο και διαχειρίζεται την έξοδο. Περιλαμβάνει τα πάντα, από τον τρόπο με τον οποίο γίνεται το tokenization (η μετατροπή του κειμένου σε αριθμούς) μέχρι τα φίλτρα ασφαλείας που τρέχουν σε πραγματικό χρόνο. Η Anthropic παραδέχτηκε ότι πειραματιζόταν με νέες μεθόδους για τη μείωση της καθυστέρησης (latency) και του κόστους λειτουργίας, γεγονός που οδήγησε σε αλλαγές στον τρόπο επεξεργασίας των αιτημάτων.

Αυτό εξηγεί γιατί πολλοί προγραμματιστές ένιωσαν ότι ο Claude έγινε «τεμπέλης». Όταν ένα σύστημα πιέζεται να δώσει γρηγορότερες απαντήσεις ή να καταναλώσει λιγότερους υπολογιστικούς πόρους, συχνά καταφεύγει σε συντομεύσεις. Στην περίπτωση του κώδικα, αυτό μπορεί να σημαίνει την παράλειψη σχολίων, τη χρήση λιγότερο αποδοτικών βιβλιοθηκών ή την αποτυχία κατανόησης βαθιών εξαρτήσεων σε μεγάλα αρχεία.

Η πρόκληση της διαφάνειας στον κλάδο της AI

Η παραδοχή της Anthropic αναδεικνύει ένα ευρύτερο πρόβλημα στον κλάδο: την έλλειψη ντετερμινισμού. Σε αντίθεση με το παραδοσιακό λογισμικό, όπου ο ίδιος κώδικας παράγει πάντα το ίδιο αποτέλεσμα, τα LLMs είναι χαοτικά συστήματα. Μια αλλαγή σε μια μόνο πρόταση στις κρυφές οδηγίες συστήματος μπορεί να προκαλέσει καταρράκτη αλλαγών στη συμπεριφορά του μοντέλου που είναι δύσκολο να προβλεφθούν ή να μετρηθούν με τα υπάρχοντα benchmarks.

«Η τεχνητή νοημοσύνη δεν είναι ένα στατικό προϊόν, αλλά ένας ζωντανός οργανισμός που αλλάζει καθημερινά. Το πρόβλημα είναι ότι οι επιχειρήσεις χτίζουν υποδομές πάνω σε αυτά τα μοντέλα, και όταν η 'άμμος' μετακινείται, τα πάντα κινδυνεύουν να καταρρεύσουν».

Η Anthropic υποσχέθηκε να επαναφέρει κάποιες από τις προηγούμενες ρυθμίσεις και να είναι πιο προσεκτική στην επικοινωνία των αλλαγών. Ωστόσο, το περιστατικό αφήνει μια πικρή γεύση στους χρήστες που πληρώνουν ακριβές συνδρομές για πρόσβαση σε «κορυφαία νοημοσύνη», μόνο και μόνο για να ανακαλύψουν ότι αυτή η νοημοσύνη μπορεί να υποβαθμιστεί εν μία νυκτί χωρίς προειδοποίηση, προκειμένου η εταιρεία να εξοικονομήσει πόρους ή να αυξήσει τα μέτρα ασφαλείας.

Τι σημαίνει αυτό για το μέλλον;

Η υπόθεση Claude υπογραμμίζει την ανάγκη για καλύτερα εργαλεία παρακολούθησης της απόδοσης (observability) από την πλευρά των χρηστών. Οι εταιρείες δεν μπορούν πλέον να βασίζονται τυφλά στις υποσχέσεις των παρόχων AI. Καθώς ο ανταγωνισμός μεταξύ OpenAI, Google και Anthropic εντείνεται, η πίεση για μείωση του λειτουργικού κόστους θα οδηγεί συχνά σε τέτοιου είδους «αόρατες» υποβαθμίσεις. Η διαφάνεια που επέδειξε η Anthropic, αν και καθυστερημένη, αποτελεί ένα βήμα προς τη σωστή κατεύθυνση, αλλά αναδεικνύει και το πόσο εύθραυστη παραμένει η εμπιστοσύνη σε αυτό το νέο τεχνολογικό οικοδόμημα.