Καθώς η βιομηχανία της τεχνητής νοημοσύνης μετακινείται από τα απλά chatbots σε σύνθετα «πρακτορικά συστήματα» (agentic systems), μια νέα και ανησυχητική πρόκληση αναδύεται στο προσκήνιο της έρευνας. Μια πρόσφατη εργασία που δημοσιεύθηκε στο ArXiv (cs.AI — 2606.26356) φέρνει στο φως ένα φαινόμενο που οι ερευνητές ονομάζουν «Instruction Bleed» (Διαρροή Οδηγιών). Πρόκειται για μια μορφή διασταυρούμενης παρεμβολής μεταξύ ενοτήτων (cross-module interference), η οποία απειλεί να υπονομεύσει τη σταθερότητα των πιο εξελιγμένων συστημάτων ΤΝ που διαθέτουμε σήμερα.

Η βασική αρχή της σύγχρονης μηχανικής πρακτόρων είναι η σπονδυλωτή δομή (modularity). Αντί για ένα τεράστιο, ενιαίο prompt, οι προγραμματιστές δημιουργούν μικρότερα, εξειδικευμένα «modules» — για παράδειγμα, ένα module για τον προγραμματισμό εργασιών, ένα για την αναζήτηση δεδομένων και ένα για τη σύνταξη αναφορών. Η θεωρία υπαγορεύει ότι αυτά τα τμήματα πρέπει να λειτουργούν ανεξάρτητα. Ωστόσο, η έρευνα δείχνει ότι στην πράξη, οι οδηγίες «διαρρέουν» από το ένα module στο άλλο, προκαλώντας συμπεριφορικές αλλαγές που δεν έχουν καμία λογική εξήγηση βάσει του κώδικα.

Η Ανατομία της Διαρροής: Γιατί το Σύστημα «Θυμάται» όσα Πρέπει να Ξεχάσει

Το Instruction Bleed δεν είναι ένα απλό σφάλμα κώδικα, αλλά μια θεμελιώδης ιδιότητα του τρόπου με τον οποίο τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) επεξεργάζονται το context. Όταν ένας πράκτορας εκτελεί μια σειρά από εργασίες, το μοντέλο διατηρεί ένα «παράθυρο πλαισίου» (context window). Παρόλο που οι μηχανικοί προσπαθούν να απομονώσουν τις οδηγίες κάθε module, οι μηχανισμοί προσοχής (attention mechanisms) του μοντέλου τείνουν να συσχετίζουν πληροφορίες από διαφορετικά τμήματα του prompt, ακόμα και αν αυτά δεν μοιράζονται κοινές μεταβλητές.

Σύμφωνα με την εργασία 2606.26356, το φαινόμενο αυτό ονομάζεται «compositional behavioral leakage». Οι ερευνητές παρατήρησαν ότι η αλλαγή του τόνου ή των περιορισμών σε ένα module «σχεδιασμού» (planner) μπορεί να αλλάξει τον τρόπο με τον οποίο το module «εκτέλεσης» (executor) χειρίζεται τα δεδομένα, παρόλο που το δεύτερο module δεν έλαβε καμία ενημέρωση. Είναι σαν να αλλάζεις τη συνταγή για το γλυκό και ξαφνικά να αλλάζει η γεύση του κυρίως πιάτου, απλά και μόνο επειδή μαγειρεύονται στην ίδια κουζίνα.

Το Φαινόμενο της Πεταλούδας στο Prompt Engineering

Η σημασία αυτής της ανακάλυψης είναι τεράστια για την αξιοπιστία των συστημάτων ΤΝ. Στην παραδοσιακή μηχανική λογισμικού, η αρχή του encapsulation (ενθυλάκωση) διασφαλίζει ότι οι αλλαγές σε ένα μέρος του συστήματος δεν θα καταρρεύσουν ένα άλλο, άσχετο μέρος. Στην ΤΝ, αυτή η εγγύηση φαίνεται να καταρρέει. Το Instruction Bleed δημιουργεί ένα «φαινόμενο της πεταλούδας», όπου μια μικρή βελτιστοποίηση στο prompt ενός module μπορεί να εισάγει κρίσιμα σφάλματα σε μια άλλη λειτουργία του πράκτορα.

Αυτό καθιστά τη συντήρηση των συστημάτων εξαιρετικά δύσκολη. Οι προγραμματιστές αναγκάζονται να προβαίνουν σε εξαντλητικές δοκιμές (regression testing) για κάθε μικρή αλλαγή, καθώς δεν μπορούν να είναι σίγουροι για το ποιες συμπεριφορές έχουν επηρεαστεί «σιωπηλά». Η έρευνα επισημαίνει ότι όσο πιο σύνθετο είναι το πρακτορικό σύστημα, τόσο πιο πιθανό είναι να εμφανιστεί το Instruction Bleed, δημιουργώντας ένα ανώτατο όριο στην πολυπλοκότητα που μπορούμε να διαχειριστούμε με ασφάλεια.

  • Σημασιολογική Μόλυνση: Λέξεις-κλειδιά από ένα module επηρεάζουν τις πιθανότητες παραγωγής λέξεων σε ένα άλλο.
  • Κατάρρευση Περιορισμών: Αυστηροί κανόνες σε ένα module μπορεί να χαλαρώσουν αν ένα άλλο module χρησιμοποιεί πιο ελαστική γλώσσα.
  • Αόρατες Εξαρτήσεις: Το μοντέλο δημιουργεί συσχετίσεις μεταξύ modules που ο προγραμματιστής θεωρούσε απομονωμένα.

Επιπτώσεις για την Ασφάλεια και την Επιχειρηματική ΤΝ

Για τις επιχειρήσεις που ενσωματώνουν πράκτορες ΤΝ στις διαδικασίες τους, το Instruction Bleed αποτελεί έναν κρυφό κίνδυνο. Αν ένας πράκτορας διαχείρισης πελατών έχει ένα module για «ευγένεια» και ένα για «διαχείριση επιστροφών χρημάτων», μια αλλαγή στο module της ευγένειας θα μπορούσε ακούσια να κάνει το σύστημα πιο ενδοτικό στις επιστροφές χρημάτων, προκαλώντας οικονομική ζημιά. Η έλλειψη προβλεψιμότητας είναι ο εχθρός της επιχειρηματικής υιοθέτησης.

Επιπλέον, τίθεται θέμα ασφάλειας. Αν ένας επιτιθέμενος καταφέρει να επηρεάσει ένα μη κρίσιμο module μέσω «prompt injection», η διαρροή οδηγιών θα μπορούσε να του επιτρέψει να παρακάμψει τους μηχανισμούς ασφαλείας ενός πιο κρίσιμου module. Η έρευνα προτείνει την ανάγκη για νέα εργαλεία ανάλυσης που θα μπορούν να ανιχνεύουν αυτές τις διαρροές πριν το σύστημα τεθεί σε λειτουργία.

«Η διαρροή οδηγιών δεν είναι ένα σφάλμα που μπορεί να διορθωθεί με περισσότερα δεδομένα· είναι μια δομική πρόκληση της αρχιτεκτονικής των LLMs που απαιτεί επαναπροσδιορισμό του τρόπου με τον οποίο χτίζουμε την ευφυΐα.»

Συμπερασματικά, η εργασία 2606.26356 αποτελεί ένα καμπανάκι αφύπνισης. Η εποχή του «εύκολου» prompt engineering τελειώνει. Για να χτίσουμε πραγματικά αξιόπιστους πράκτορες, πρέπει να κατανοήσουμε βαθύτερα τη δυναμική της διαρροής πληροφοριών μέσα στο context window και να αναπτύξουμε αρχιτεκτονικές που επιβάλλουν πραγματική απομόνωση των οδηγιών, ίσως μέσω πολλαπλών ανεξάρτητων instances ή νέων μεθόδων κρυπτογραφικής απομόνωσης prompts.