El auge fulgurante de la IA ha hecho emerger una nueva generación de modelos capaces de producir imágenes, sonidos o vídeos de un realismo impresionante. Entre ellos, los modelos de difusión ocupan un lugar destacado porque, al aprender a partir de numerosos ejemplos, consiguen crear contenidos a menudo indistinguibles de datos reales.
Pero detrás de esta proeza se esconde un desafío fundamental: ¿cómo consiguen estos sistemas inventar nuevos datos (imágenes, sonidos, vídeos,...), es decir,
generalizar, en lugar de simplemente
memorizar y luego repetir exactamente lo que han "aprendido"?
Imagen de ilustración Pixabay
Gracias a un enfoque interdisciplinario que combina física estadística, informática y experimentos numéricos, Tony Bonnaire y sus colaboradores han hecho un descubrimiento esencial sobre el proceso de aprendizaje de los modelos de difusión: han puesto de relieve dos escalas de tiempo distintas y predecibles, con una primera fase de generalización independiente de los datos de entrenamiento, seguida mucho más tarde de una fase de memorización que depende del tamaño del conjunto de datos.
El equipo muestra que el tiempo de memorización retrocede a medida que aumenta el número de datos de entrenamiento, explicando así que las IA generativas basadas en modelos de difusión permanecen mucho tiempo en una fase en la que crean datos nuevos.
Al demostrar que el rendimiento observado de los modelos de difusión y su éxito práctico se basan en un mecanismo demostrable y medible que retrasa naturalmente el sobreentrenamiento, el trabajo de Tony Bonnaire y sus colaboradores ofrece una comprensión profunda y aprovechable de los mecanismos que gobiernan la IA generativa moderna.
Fuente: CNRS INSU