Μια νέα ερευνητική εργασία παρουσιάζει το OriginBlame (ob), ένα σύστημα ιχνηλασιμότητας δεδομένων που στοχεύει στην επίλυση ενός κρίσιμου προβλήματος στην εκπαίδευση μοντέλων τεχνητής νοημοσύνης: τον εντοπισμό συγκεκριμένων εγγραφών που ανήκουν σε μεμονωμένους δημιουργούς όταν αυτοί ζητούν τη διαγραφή τους.
Το Πρόβλημα της «Καταστροφικής Υπερ-διαγραφής»
Μέχρι σήμερα, τα συστήματα προέλευσης δεδομένων λειτουργούσαν σε επίπεδο αρχείου ή συνόλου δεδομένων (dataset). Αυτό σήμαινε ότι όταν ένας δημιουργός ζητούσε την αφαίρεση των δεδομένων του, οι εκπαιδευτές των μοντέλων αναγκάζονταν συχνά να διαγράφουν ολόκληρες ενότητες δεδομένων, οδηγώντας σε αυτό που οι ερευνητές αποκαλούν «καταστροφική υπερ-διαγραφή».
Η Λύση του OriginBlame
Το σύστημα ob λειτουργεί σε επίπεδο εγγραφής και token, μεταφέροντας την ταυτότητα του δημιουργού μέσα από τις ροές επεξεργασίας δεδομένων. Μέσω ντετερμινιστικών ερωτημάτων, το σύστημα μπορεί να μετατρέψει ένα αίτημα ανάκλησης σε ένα ακριβές «σύνολο λήθης» (forget set).
Τα κύρια ευρήματα της αξιολόγησης περιλαμβάνουν:
- Μείωση υπερ-διαγραφής: Σε δοκιμές με 219.555 σελίδες της Wikipedia, η υπερβολική διαγραφή μειώθηκε από το 101x στο μόλις 1.3x.
- Αποδοτικότητα Unlearning: Σε ένα μοντέλο 1,7 δισεκατομμυρίων παραμέτρων, τα σύνολα λήθης που βασίζονται στην ιχνηλασιμότητα βελτίωσαν τη διαδικασία unlearning κατά 42% σε σύγκριση με τις τυχαίες μεθόδους αναφοράς.
- Λειτουργικό κόστος: Η ενσωμάτωση του συστήματος πρόσθεσε επιβάρυνση στην ταχύτητα επεξεργασίας (throughput overhead) μεταξύ 1,3-4,0% στο HuggingFace και 2,1-19,0% στο Datatrove.
