O crescimento fulgurante da IA fez emergir uma nova geração de modelos capazes de produzir imagens, sons ou vídeos de um realismo impressionante. Entre eles, os modelos de difusão ocupam um lugar de destaque porque, aprendendo a partir de muitos exemplos, conseguem criar conteúdos frequentemente indistinguíveis de dados reais.
Mas por trás dessa proeza esconde-se um desafio fundamental: como é que esses sistemas conseguem inventar novos dados (imagens, sons, vídeos,...), ou seja,
generalizar, em vez de simplesmente
memorizar e depois repetir exatamente o que 'aprenderam'?
Imagem de ilustração Pixabay
Graças a uma abordagem interdisciplinar que combina física estatística, informática e experiências numéricas, Tony Bonnaire e seus colaboradores fizeram uma descoberta essencial sobre o processo de aprendizagem dos modelos de difusão: eles destacaram duas escalas de tempo distintas e previsíveis, com uma primeira fase de generalização independente dos dados de treinamento, seguida muito tempo depois por uma fase de memorização dependente do tamanho do conjunto de dados.
A equipe mostra que o tempo de memorização recua à medida que o número de dados de treinamento aumenta, explicando assim que as IAs generativas baseadas em modelos de difusão permanecem por muito tempo numa fase em que criam novos dados.
Ao demonstrar que o desempenho observado dos modelos de difusão e o seu sucesso prático repousam sobre um mecanismo demonstrável e mensurável que atrasa naturalmente a sobre-aprendizagem, o trabalho de Tony Bonnaire e seus colaboradores oferece uma compreensão profunda e explorável dos mecanismos que governam a IA generativa moderna.
Fonte: CNRS INSU