El aprendizaje continuo en inteligencia artificial se basa en un delicado equilibrio entre el olvido de conocimientos antiguos y la rigidez frente a nuevos datos. En un estudio publicado en
Nature Communications, científicos han utilizado enfoques bayesianos inspirados en las sinapsis biológicas para introducir incertidumbre y equilibrar mejor la memoria y la adaptación.
El cerebro humano aprende continuamente mientras preserva los conocimientos adquiridos, un equilibrio que los sistemas de inteligencia artificial (IA) aún tienen dificultades para reproducir. Cuando un modelo de IA asimila nueva información, tiende a menudo a borrar los saberes previamente adquiridos (olvido catastrófico) o, por el contrario, a volverse demasiado rígido para integrar nuevos datos (recuerdo catastrófico).
Científicos del Centro de Nanociencias y Nanotecnologías (
C2N, CNRS/Université Paris-Saclay), del
CEA-Leti y del
CEA-List se han inspirado en las neurociencias, donde trabajos recientes sugieren que las sinapsis biológicas siguen principios bayesianos: ajustarían sus representaciones del mundo ponderando las nuevas observaciones en relación con los conocimientos anteriores, teniendo en cuenta además su grado de incertidumbre.
Sobre esta base, el equipo propuso un nuevo marco de aprendizaje continuo, denominado Metaplasticidad derivada de la incertidumbre sináptica (MESU).
En MESU, cada conexión de la red actúa como una sinapsis bayesiana, manteniendo su propia estimación de incertidumbre. Así adapta su velocidad de aprendizaje en función de la confianza otorgada a la nueva información, integrando al mismo tiempo un mecanismo de olvido progresivo para los datos considerados menos relevantes. MESU traduce, por tanto, ciertas hipótesis neurocientíficas sobre la manera en que el cerebro concilia estabilidad de la memoria y flexibilidad cognitiva.
Los experimentos realizados mostraron que MESU alcanza un equilibrio sólido entre memorización y adaptación. En varios conjuntos de datos, incluyendo la clasificación de imágenes de animales, el reconocimiento de dígitos permutados y el aprendizaje incremental de objetos, MESU reduce significativamente tanto el olvido como la rigidez del aprendizaje, proporcionando además estimaciones de incertidumbre fiables. Supera a los métodos de aprendizaje continuo basados en la consolidación o la separación explícita de tareas.
Más allá de estos resultados, MESU establece un vínculo teórico sólido entre neurociencias y aprendizaje automático, formalizando un enfoque inspirado en el funcionamiento cerebral para gestionar el aprendizaje continuo. Nuestro próximo paso consistirá en extender MESU hacia modelos probabilísticos compatibles con el hardware embebido, con el fin de hacer que este aprendizaje continuo bioinspirado sea aplicable a dispositivos de IA reales y de bajo consumo energético.
El aprendizaje continuo corresponde a una situación de entrenamiento secuencial, en la que varios conjuntos de datos se presentan sucesivamente. En el marco de MESU, los pesos de la red neuronal siguen una distribución de probabilidad que permite aproximar una formulación que concilia de manera armoniosa aprendizaje y olvido, a diferencia de los métodos anteriores.
© Damien Querlioz, C2N CNRS INSIS