L'apprentissage continu en intelligence artificielle repose sur un compromis délicat entre l'oubli des connaissances anciennes et la rigidité face aux nouvelles données. Dans une étude publiée dans
Nature Communications, des scientifiques ont utilisé des approches bayésiennes inspirées des synapses biologiques, afin d'introduire de l'incertitude et de mieux équilibrer mémoire et adaptation.
Le cerveau humain apprend en permanence tout en préservant les connaissances acquises, un équilibre que les systèmes d'intelligence artificielle (IA) peinent encore à reproduire. Lorsqu'un modèle d'IA assimile de nouvelles informations, il tend souvent à effacer les savoirs précédemment acquis (oubli catastrophique) ou, au contraire, à devenir trop rigide pour intégrer de nouvelles données (rappel catastrophique).
Des scientifiques du Centre de nanosciences et de nanotechnologies (
C2N, CNRS/Université Paris-Saclay), du
CEA-Leti et du
CEA-List se sont inspirés des neurosciences, où des travaux récents suggèrent que les synapses biologiques suivent des principes bayésiens: elles ajusteraient leurs représentations du monde en pondérant les nouvelles observations par rapport aux connaissances antérieures, tout en tenant compte de leur degré d'incertitude.
Sur cette base, l'équipe a proposé un nouveau cadre d'apprentissage continu, appelé Métaplasticité issue de l'incertitude synaptique (MESU).
Dans MESU, chaque connexion du réseau agit comme une synapse bayésienne, maintenant sa propre estimation d'incertitude. Elle adapte ainsi sa vitesse d'apprentissage en fonction de la confiance accordée aux nouvelles informations, tout en intégrant un mécanisme d'oubli progressif pour les données jugées moins pertinentes. MESU traduit donc certaines hypothèses neuroscientifiques sur la manière dont le cerveau concilie stabilité de la mémoire et flexibilité cognitive.
Les expériences menées ont montré que MESU atteint un équilibre solide entre mémorisation et adaptation. Sur plusieurs jeux de données, incluant la classification d'images d'animaux, la reconnaissance de chiffres permutés et l'apprentissage incrémental d'objets, MESU réduit significativement à la fois l'oubli et la rigidité de l'apprentissage, tout en fournissant des estimations d'incertitude fiables. Il surpasse les méthodes d'apprentissage continu fondées sur la consolidation ou la séparation explicite des tâches.
Au-delà de ces résultats, MESU établit un lien théorique solide entre neurosciences et apprentissage automatique, en formalisant une approche inspirée du fonctionnement cérébral pour gérer l'apprentissage continu. Notre prochaine étape consistera à étendre MESU vers des modèles probabilistes compatibles avec le matériel embarqué, afin de rendre cet apprentissage continu bio-inspiré applicable à des dispositifs d'IA réels et à faible consommation d'énergie.
L'apprentissage continu correspond à une situation d'entraînement séquentiel, dans laquelle plusieurs ensembles de données sont présentés successivement. Dans le cadre de MESU, les poids du réseau de neurones suivent une distribution de probabilité qui permet d'approximer une formulation conciliant de manière harmonieuse apprentissage et oubli, à la différence des méthodes précédentes.
© Damien Querlioz, C2N