La inteligencia artificial avanza a un ritmo frenético, pero se levanta un muro en su camino.
Los grandes modelos de lenguaje, que impulsan chatbots y asistentes virtuales, consumen cantidades astronómicas de datos humanos. Sin embargo, estas reservas de contenido original se agotan rápidamente. Sin nuevos aportes, el aprendizaje de estas máquinas podría descarrilarse.
Sin nuevos datos, las IA comenzarían a alimentarse de sus propias producciones. Este ciclo cerrado conduce a un fenómeno llamado colapso del modelo, en dos etapas distintas. Al principio, las respuestas pierden los detalles raros y se vuelven insípidas, similares a texto genérico. Después, se convierten en galimatías completo, haciendo que la IA sea inutilizable.
Investigadores de varias instituciones han identificado una solución sorprendentemente simple para este problema. Su estudio, publicado en
Physical Review Letters, muestra que un solo ejemplo humano auténtico, insertado en un océano de datos artificiales, basta para evitar el colapso.
Este resultado se desprende de trabajos sobre modelos matemáticos llamados familias exponenciales, que permiten entender por qué y cómo ocurre el colapso.
Para comprender este mecanismo, hay que saber que cuando se recicla un modelo sobre sus propias salidas, las fluctuaciones estadísticas se atenúan progresivamente. Los casos raros y la información matizada desaparecen, dando paso a respuestas homogéneas. Un punto de referencia real, correctamente etiquetado por un humano, restablece la diversidad perdida.
Los científicos utilizaron modelos matemáticos simples para analizar en detalle este proceso. Armados con esta comprensión, pudieron diseñar una solución teórica. El siguiente paso consistirá en probar este método en los gigantescos modelos comerciales para verificar su eficacia a gran escala. Si el principio se confirma, los ingenieros dispondrán de una receta simple para evitar un colapso.
Fuente: Physical Review Letters