La asimilaci贸n continua de conocimientos por parte de los sistemas de inteligencia artificial se basa en un delicado equilibrio entre su tendencia a olvidar conocimientos antiguos y su rigidez frente a la incorporaci贸n de nuevos datos. En un estudio publicado en
Nature Communications, cient铆ficos utilizaron enfoques bayesianos inspirados en las sinapsis biol贸gicas para introducir incertidumbre y equilibrar mejor la memoria y la adaptaci贸n.
El cerebro humano aprende continuamente mientras preserva los conocimientos adquiridos, un equilibrio que los sistemas de inteligencia artificial (IA) a煤n tienen dificultades para reproducir. Cuando un modelo de IA asimila nueva informaci贸n, tiende a borrar los conocimientos previamente adquiridos (olvido catastr贸fico) o, por el contrario, a volverse demasiado r铆gido para integrar nuevos datos (recuerdo catastr贸fico).
El aprendizaje continuo corresponde a una situaci贸n de entrenamiento secuencial, en la que varios conjuntos de datos se presentan sucesivamente. En el marco de MESU, los pesos de la red neuronal siguen una distribuci贸n de probabilidad que permite aproximar una formulaci贸n que concilia armoniosamente aprendizaje y olvido, a diferencia de m茅todos anteriores.
漏 Damien Querlioz, C2N Para superar este desaf铆o, cient铆ficos del Centro de Nanociencias y Nanotecnolog铆as (
C2N, CNRS/Universidad Paris-Saclay), del
CEA-Leti y del
CEA-List se inspiraron en las neurociencias, donde trabajos recientes sugieren que las sinapsis biol贸gicas siguen principios bayesianos: ajustar铆an sus representaciones del mundo ponderando las nuevas observaciones en relaci贸n con los conocimientos anteriores, teniendo en cuenta su grado de incertidumbre.
Sobre esta base, el equipo propuso un nuevo marco de aprendizaje continuo, denominado Metaplasticidad derivada de la incertidumbre sin谩ptica (MESU).
En MESU, cada conexi贸n de la red act煤a como una sinapsis bayesiana, manteniendo su propia estimaci贸n de incertidumbre. As铆 adapta su velocidad de aprendizaje en funci贸n de la confianza otorgada a la nueva informaci贸n, mientras integra un mecanismo de olvido progresivo para los datos considerados menos relevantes. Por lo tanto, MESU traduce ciertas hip贸tesis neurocient铆ficas sobre c贸mo el cerebro concilia la estabilidad de la memoria y la flexibilidad cognitiva.
Los experimentos realizados mostraron que MESU alcanza un equilibrio s贸lido entre memorizaci贸n y adaptaci贸n. En varios conjuntos de datos, incluyendo la clasificaci贸n de im谩genes de animales, el reconocimiento de d铆gitos permutados y el aprendizaje incremental de objetos, MESU reduce significativamente tanto el olvido como la rigidez del aprendizaje, al tiempo que proporciona estimaciones de incertidumbre confiables. Supera a los m茅todos de aprendizaje continuo basados en la consolidaci贸n o la separaci贸n expl铆cita de tareas.
M谩s all谩 de estos resultados, MESU establece un v铆nculo te贸rico s贸lido entre neurociencias y aprendizaje autom谩tico, formalizando un enfoque inspirado en el funcionamiento cerebral para gestionar el aprendizaje continuo. Nuestro pr贸ximo paso consistir谩 en extender MESU hacia modelos probabil铆sticos compatibles con el hardware embebido, para hacer que este aprendizaje continuo bioinspirado sea aplicable a dispositivos de IA reales y de bajo consumo energ茅tico.
Fuente: CNRS INSIS