A aprendizagem contínua em inteligência artificial baseia-se num compromisso delicado entre o esquecimento dos conhecimentos antigos e a rigidez face aos novos dados. Num estudo publicado na
Nature Communications, cientistas utilizaram abordagens bayesianas inspiradas nas sinapses biológicas, a fim de introduzir incerteza e equilibrar melhor memória e adaptação.
O cérebro humano aprende permanentemente enquanto preserva os conhecimentos adquiridos, um equilíbrio que os sistemas de inteligência artificial (IA) ainda têm dificuldade em reproduzir. Quando um modelo de IA assimila novas informações, tende frequentemente a apagar os saberes previamente adquiridos (esquecimento catastrófico) ou, pelo contrário, a tornar-se demasiado rígido para integrar novos dados (recordação catastrófica).
Cientistas do Centro de Nanociências e Nanotecnologias (
C2N, CNRS/Université Paris-Saclay), do
CEA-Leti e do
CEA-List inspiraram-se nas neurociências, onde trabalhos recentes sugerem que as sinapses biológicas seguem princípios bayesianos: elas ajustariam as suas representações do mundo ponderando as novas observações em relação aos conhecimentos anteriores, tendo em conta o seu grau de incerteza.
Com base nisso, a equipa propôs um novo quadro de aprendizagem contínua, denominado Metaplasticidade decorrente da incerteza sináptica (MESU).
No MESU, cada ligação da rede atua como uma sinapse bayesiana, mantendo a sua própria estimativa de incerteza. Adapta assim a sua velocidade de aprendizagem em função da confiança atribuída às novas informações, integrando ao mesmo tempo um mecanismo de esquecimento progressivo para os dados considerados menos pertinentes. O MESU traduz, portanto, certas hipóteses neurocientíficas sobre a forma como o cérebro concilia estabilidade da memória e flexibilidade cognitiva.
As experiências realizadas mostraram que o MESU atinge um equilíbrio sólido entre memorização e adaptação. Em vários conjuntos de dados, incluindo a classificação de imagens de animais, o reconhecimento de algarismos permutados e a aprendizagem incremental de objetos, o MESU reduz significativamente tanto o esquecimento como a rigidez da aprendizagem, fornecendo simultaneamente estimativas de incerteza fiáveis. Supera os métodos de aprendizagem contínua baseados na consolidação ou na separação explícita de tarefas.
Para além destes resultados, o MESU estabelece uma ligação teórica sólida entre neurociências e aprendizagem automática, formalizando uma abordagem inspirada no funcionamento cerebral para gerir a aprendizagem contínua. A nossa próxima etapa consistirá em alargar o MESU para modelos probabilísticos compatíveis com o hardware embarcado, a fim de tornar esta aprendizagem contínua bio-inspirada aplicável a dispositivos de IA reais e de baixo consumo de energia.
A aprendizagem contínua corresponde a uma situação de treino sequencial, na qual vários conjuntos de dados são apresentados sucessivamente. No quadro do MESU, os pesos da rede de neurónios seguem uma distribuição de probabilidade que permite aproximar uma formulação que concilia harmoniosamente aprendizagem e esquecimento, ao contrário dos métodos anteriores.
© Damien Querlioz, C2N CNRS INSIS