Posté par Isabelle le Vendredi 10/05/2019 à 14:00
Mécanismes neurobiologiques de la régulation de l’exploration pendant l’apprentissage
L’exploration est un élément essentiel de l’apprentissage par essai et erreur. Il ne suffit pas de répéter des choix qui se sont révélés payants dans le passé (exploiter), il convient également de vérifier de temps en temps qu’une autre option n’est pas plus avantageuse (explorer). À chaque fois que les options que nous exploitons deviennent moins rentables, il devient particulièrement utile d’en explorer de nouvelles. Ce principe heuristique simple suggère que l’exploration ne devrait pas rester constante dans le temps.

© Mehdi Khamassi

Les mécanismes d’apprentissage dans le cerveau sont connus pour impliquer la dopamine, un neuromodulateur émis à chaque fois qu’une récompense inattendue est obtenue. Ce signal peut servir à faire ressortir les actions les plus rentables dans une situation donnée. Mais le rôle de la dopamine ne s’arrête pas là, et de nouveaux travaux réalisés en collaboration entre une équipe de neurosciences expérimentales à Bordeaux (Institut de neurosciences cognitives et intégratives d’Aquitaine (INCIA - CNRS/Université de Bordeaux), et une équipe de modélisation mathématique à Paris (Institut des systèmes intelligents et de robotique (ISIR - CNRS/Sorbonne Université)) montrent que la dopamine peut également réguler l’exploration au cours de l’apprentissage.

Les algorithmes issus de l’intelligence artificielle distinguent deux types d’exploration: d’une part une exploration dite "dirigée", très étudiée depuis une dizaine d’années, qui oriente notre curiosité vers des actions dont les conséquences sont incertaines ou mal connues ; et d’autre part une exploration dite "aléatoire" qui consiste à simplement essayer une action au hasard de temps en temps. Ce dernier type d’exploration est relativement simple à mettre en oeuvre, mais moins étudié. Les chercheurs ont fait l’hypothèse que les niveaux de dopamine cérébrale pouvaient directement affecter le degré d’exploration aléatoire.

Pour tester cette hypothèse, ils ont atténué l’effet de la dopamine dans le cerveau de rats au cours d’une tâche de choix nécessitant de l’exploration. Les rats devaient trouver parmi trois leviers lequel était associé à une plus forte probabilité de récompense. Comme le meilleur levier changeait régulièrement, les rats devaient en permanence ré-explorer et ré-apprendre.

De façon frappante, les résultats montrent qu’une diminution de la dopamine cérébrale augmente le taux d’exploration des rats, conformément à l’hypothèse de départ. Ainsi, moins il y a de récompenses et donc de dopamine dans le cerveau, plus celui-ci pourrait l’interpréter comme un signe qu’il faut explorer de nouveaux choix. Les chercheurs ont analysé ces données comportementales au moyen de modèles mathématiques et de simulations, en comparant en particulier des modèles utilisant de l’exploration aléatoire ou de l’exploration dirigée. Quel que soit le modèle testé, c’était systématiquement le paramètre régulant le taux d’exploration aléatoire qui était impacté par la dopamine, et pas le taux d’exploration dirigée ni la vitesse d’apprentissage.

Ces résultats montrent que des heuristiques simples pour réguler l’apprentissage ont pu être sélectionnées au cours de l’évolution chez les mammifères. Elles permettent une adaptation comportementale efficace sans nécessiter de calculs coûteux pour évaluer explicitement l’incertitude liée à chaque action, comme ce serait le cas dans l’exploration dirigée.

Reférences

Dopamine blockade impairs the exploration-exploitation trade-off in rats, François Cinotti, Virginie Fresno, Nassim Aklil, Étienne Coutureau, Benoît Girard, Alain R. Marchand & Mehdi Khamassi. Scientific Reports volume 9, Article number: 6770 (2019)
Dernières news
Dans leur vie quotidienne, les humains utilisent des mots qui désignent des objets, des personnes, des situations ou des concepts: on appelle cela la référence....
La leishmaniose cutanée, causée par plusieurs espèces de parasites Leishmania, entraîne l’apparition de lésions localisées sur la peau et les muqueuses, pouvant...
Les neurones sont connectés entre eux par des synapses. L’efficacité de la transmission synaptique est modifiée dans les compartiments pré- ou/et post-synaptiques...
Les comètes issues des confins du Système solaire auraient pu jouer un rôle clef dans l’émergence des océans sur Terre. En bouleversant les critères d’étude...
Des simulations numériques révèlent que le phénomène de localisation d’Anderson, qui se manifeste dans le transport quantique, vérifie à deux dimensions et à...
Une étude internationale vient de démontrer pour la première fois l’existence d’un engramme, trace biologique de la mémoire, constitué de neurones...
Les fibres amyloïdes, des agrégats protéiques qui s’accumulent dans le cerveau sous forme de plaques dans certaines maladies neurodégénératives, peuvent être...
Les hausses des températures estivales observées dans les déserts polaires du Haut-Arctique canadien entraînent des changements rapides dans le sol. Une étude de...
Des scientifiques de l’Université de Montréal et de l’Université McGill ont conçu et testé une nouvelle méthodologie génomique qui a permis de révéler la...
L'imagerie stéréoscopique, fournie par nos deux yeux, nous donne une vision "en relief" des objets qui nous entourent. A l'aide d'impulsions laser harmoniques dans le...
La poussière minérale (du désert) présente dans l’atmosphère terrestre influence le climat de la planète, et ce depuis des millions d’années. Des...
Malgré les progrès récents en imagerie cérébrale, la représentation du monde visuel par le cerveau reste encore largement méconnue. En utilisant une nouvelle...
Cristaux poreux boostés par des liaisons chimiques fortes, les covalent organic frameworks (COF) accueillent de nouveaux membres dans leur famille grâce à des...
Les chercheurs ont identifié un locus produisant un long ARN non-codant spécifiquement exprimé dans les myofibroblastes, principales cellules effectrices de la...
La jeune entreprise VISUM, basée à Dublin, a dévoilé un système permettant d’améliorer le contrôle de la qualité au cours du processus de fabrication des...
Depuis l’incendie du 15 avril, de nombreux scientifiques ont proposé leur expertise pour la restauration du monument. Entretien avec Philippe Dillmann et Martine...
Les nanomatériaux bidimensionnels à base de carbone (type graphène) ou de nitrure de bore, réputés pour être chimiquement inertes, montrent en fait une...
Les poissons cichlides forment l’une des familles de vertébrés les plus diversifiées et ils constituent un modèle de référence en biologie évolutive de...
Deux chercheurs ont développé une nouvelle méthode pour multiplier les très grands nombres. Une avancée potentiellement historique pour...
Le 23 mai, la goélette de la Fondation Tara Océan quittera Lorient pour une expédition de six mois sur les fleuves européens. À son bord, une quarantaine de...
Ce site fait l'objet d'une déclaration à la CNIL
sous le numéro de dossier 1037632
Informations légales