Apprendre à désapprendre: le nouveau défi de l'intelligence artificielle

Martin Van Waerebeke & Marco Lorenzi - Inria

Vos données vous appartiennent. Du moins, c'est ce que prévoit la loi européenne sur la régulation des données (RGPD). D'une part, elle limite la collecte de vos données par les entreprises privées à ce que vous avez consenti. D'une autre, elle vous permet de demander l'effacement total des informations vous concernant des serveurs de cet acteur: il s'agit du droit à l'oubli.

C'est ce second volet qui nous intéresse ici, et son applicabilité dans le monde moderne. Si supprimer quelques lignes d'une base de données n'a rien de compliqué, la tâche devient nettement plus périlleuse quand l'intelligence artificielle (IA) entre en jeu.


En effet, des modèles d'IA de plus en plus complexes, fondés sur des réseaux de neurones artificiels, sont déjà déployés par de nombreux acteurs privés. Ces modèles ont besoin d'apprendre à partir d'un maximum de données pour être performants.


Ainsi, la présence d'informations vous concernant dans les serveurs d'une entreprise implique souvent son utilisation pour l'entraînement de ses modèles d'IA. Dès lors, l'oubli de vos données passe de la simple suppression d'une ligne dans un tableau à une opération complexe s'approchant plus de la neurochirurgie appliquée à des "cerveaux" artificiels. Alors, comment réussir à faire oublier une information précise à un réseau de neurones artificiel ?

Oublier les données: des enjeux d'éthique et de vie privée

L'application au cas de la protection des données est importante, mais l'enjeu de l'oubli machine, également appelé désapprentissage, ne s'arrête pas là. L'utilisation d'informations protégées pour l'entraînement de réseaux de neurones artificiels est encore une zone grise aux yeux de la loi. Plusieurs cas de ce type sont en train d'être traités par la justice dans différents pays et ils pourraient marquer un précédent important pour le futur de la législation de l'intelligence artificielle.

Exemple notable: dans certains cas de figure, ChatGPT est capable de réciter des paragraphes entiers d'articles du New York Times, sans pour autant citer sa source. Le quotidien américain a donc porté plainte contre OpenAI, la société développant ChatGPT, et l'issu du procès pourrait bien orienter la jurisprudence future dans le domaine.

Toutefois, l'oubli machine ne se limite pas à l'utilisation des données personnelles ou commerciales. En effet, la tendance mondiale depuis quelques années est à l'entraînement de modèles de plus en plus imposants, notamment dans le domaine du traitement du langage où les progrès faits sont impressionnants. Il devient donc de plus en plus compliqué de contrôler la légitimité des données utilisées pour entraîner des IA.

Si GPT-3, le modèle d'OpenAI de 2020, avait appris d'un corpus représentant 2 400 années de lecture continue pour un humain moyen, ce chiffre n'a fait qu'augmenter, rendant la vérification manuelle impossible. Qu'il s'agisse d'affirmations fausses, de contenus racistes ou sexistes, ou bien de coordonnées personnelles d'individus, il y a fort à parier que certains se glissent malencontreusement dans les données d'entraînement et donc dans les connaissances d'un tel modèle.

L'absence actuelle de méthodes d'oubli efficaces signifie alors qu'en cas d'infiltration de données non voulues, il n'y aura pas de réelle solution pour effacer cette information outre le réentraînement, dont le coût se chiffre en dizaines de millions d'euros et en centaines de tonnes de CO₂.

Comment les neurones artificiels apprennent-ils ?

Pour comprendre la difficulté liée à la suppression d'informations dans un réseau de neurones, il est utile d'avoir une idée de comment un tel réseau "apprend". Prenons un réseau de neurones chargé de différencier des images de chiens et de chats. L'ensemble des images labellisées (c'est-à-dire avec une légende "chien" ou "chat") utilisé par le réseau de neurones pour apprendre est appelé "jeu d'entraînement".

Le réseau est initialisé aléatoirement: on crée des neurones artificiels, organisés en couches, et connectés entre eux. La force de ces connexions, appelée "poids", est l'équivalent des connexions neuronales d'un cerveau réel. Ces poids permettent de caractériser la façon dont l'entrée (l'image de chien ou de chat) est traitée, transformée et envoyée entre les différents neurones du "cerveau" artificiel, pour que ressorte finalement un score entre 0 et 1. Un score de 0 (ou de 1) correspond à la certitude absolue que l'image est un chat (ou un chien), et un score de 0,5 correspond à une incertitude totale entre les deux. Des outils ludiques permettent de se représenter le fonctionnement d'un réseau de neurones).

Pendant la phase dite "d'apprentissage", des images du jeu d'entraînement sont montrées au réseau de neurones, qui prédit un label pour chacune d'entre elles. On donne ensuite au réseau le vrai label qui était attendu. Le modèle peut alors calculer l'erreur qu'il a faite. C'est là que la magie va opérer. À partir de la seule information de l'erreur commise, le réseau va mettre à jour l'ensemble de ses poids pour tenter de la corriger. Cette modification utilise des règles de calcul simples à l'échelle d'un neurone, mais incompréhensible pour l'humain à l'échelle du réseau entier.

Où se trouvent les données, une fois le modèle entraîné ?

C'est de là que vient un paradoxe, souvent difficile à comprendre pour les non-initiés: même si l'humain a conçu de A à Z ces architectures d'intelligence artificielle, le système qui en résulte n'est pas totalement compréhensible par son créateur. Certains groupes de neurones sont relativement bien compris par les chercheurs. Toutefois, le rôle précis de chacun des neurones est mal connu et également sujet à interprétation. Il est donc ardu de répondre à une question du type "trouvez l'ensemble des neurones servant à identifier la queue du chien", d'autant que les neurones sont fortement connectés entre eux et que réduire un neurone à une seule fonctionnalité est généralement impossible.


La question posée lorsque l'on cherche à faire du désapprentissage est encore plus difficile: comment chacun des neurones du réseau aurait-il été impacté si on n'avait jamais traité l'image de chat n° 45872 ? Il ne s'agit pas alors d'altérer la capacité du réseau à reconnaître les chats - cette image peut très bien apporter peu d'informations - ni de supprimer l'image de la base de données puisque ce qu'en a appris le réseau est stocké, comme pour un cerveau humain, dans les poids liant les neurones. Il faut alors tâcher d'identifier les connexions neuronales (poids) qui ont le plus appris de cette image en particulier, et modifier leur intensité dans le but de détruire l'information associée à la donnée dont on veut simuler l'oubli.

Différentes pistes vers le désapprentissage

Trois critères principaux assurent un désapprentissage efficace. D'abord, l'oubli doit se faire assez rapidement, sinon il est plus simple de réentraîner le modèle entièrement. Ensuite, les performances du réseau sur les données restantes (non oubliées) doivent rester bonnes. Enfin, l'oubli de l'information doit être assuré par la procédure. Ce dernier point est le plus délicat étant donné qu'il consiste en la vérification de l'absence d'une information. Quantifier mathématiquement les capacités d'oubli de la méthode est donc crucial.

Parmi les méthodes envisagées dans la littérature, beaucoup se reposent sur une phase d'apprentissage sur les données restantes. Ce réentraînement permet au réseau de mettre à jour ses poids pour se spécialiser uniquement sur ces données. Le but est "d'écraser" au fur et à mesure l'information des données à oublier, comme le fait par exemple le cerveau humain pour une langue non pratiquée.

D'autres méthodes essaient d'utiliser les données à oublier pour inverser le processus d'apprentissage. Si cette idée peut sembler très intuitive, nous n'avons à ce jour aucune garantie mathématique sur la quantification de l'oubli qu'elle permet. De plus, son instabilité peut parfois mener à une dégradation globale des performances du modèle.


Enfin, certains misent sur une modification du processus d'entraînement pour faciliter l'oubli futur de données. En fournissant petit à petit les données d'entraînement au réseau, l'oubli peut se faire par un simple retour en arrière jusqu'à un point où le réseau n'a pas vu la donnée à oublier. Il est suivi d'une phase de réentraînement sur les données restantes. La limite de ce type d'approche est l'existence nécessaire de "premières données" vues par le modèle, ce qui forcerait celui-ci à être réinitialisé entièrement en cas de demande d'oubli. On ne peut en effet pas "ôter" l'effet de ces premières données sur le modèle: isoler exactement l'impact d'une donnée est aussi cher que d'entraîner un modèle de A à Z.

Un déploiement encore balbutiant

Le domaine de l'oubli machine est vaste et comporte de nombreux défis. Bien qu'aucune méthode ne soit encore parfaite, des progrès significatifs sont à attendre dans les prochaines années du fait de la demande croissante pour ce type de solutions. Bien que le domaine du désapprentissage soit encore jeune et qu'aucune application industrielle n'ait été rendue publique, certaines entreprises comme Google ou JPMorgan Chase s'intéressent de près au sujet.

L'oubli machine pose un défi complexe mais essentiel à l'ère de l'intelligence artificielle et de la protection des données personnelles. Bien que la réglementation comme le RGPD vise à garantir les droits des individus, sa mise en oeuvre dans les réseaux de neurones est difficile. Les approches actuelles montrent des progrès, mais nous sommes encore à l'avant-garde de cette problématique. L'investissement de grandes entreprises suggère un avenir pérenne pour le domaine, offrant des méthodes plus robustes pour assurer le désapprentissage et renforcer la confiance des utilisateurs dans les systèmes d'IA.