Wenn KI programmieren kann, kann sie dann auch selbst andere KI erschaffen? 🤖

Von Julien Romero – Dozent für Künstliche Intelligenz, Télécom SudParis – Institut Mines-Télécom

Systeme der künstlichen Intelligenz sind in der Lage, Codezeilen zu schreiben und einen Computer zu steuern. Was hindert sie daran, andere KI zu erschaffen?

Ende Oktober 2024 hat Anthropic Computer-Use vorgestellt, ein Programm, das ihrem KI-Modell Claude ermöglicht, einen Computer wie ein Mensch zu steuern. Was wäre, wenn eine KI auch auf finanzielle Ressourcen zugreifen könnte, um zusätzliche Maschinen und Dienstleistungen zu erwerben? Diese hypothetische, wenn auch übertriebene Vorstellung wirft eine faszinierende Frage auf: Könnte eine KI tatsächlich autonom werden und andere KI ohne menschliches Eingreifen erschaffen?


Wie wir sehen werden, nutzen große Unternehmen wie OpenAI, Facebook oder Google bereits KI, um immer komplexere KI zu trainieren, und das ist kein Geheimnis – nicht einmal für die KI selbst.

KI trainieren KI

Um zu verstehen, wie das möglich ist, müssen wir einen Schritt zurückgehen und erklären, was die jüngsten Fortschritte ermöglicht hat. Alles begann 2017, als ein Forscherteam bei Google einen wissenschaftlichen Artikel veröffentlichte: „Attention is all you need“ (Aufmerksamkeit ist alles, was du brauchst). In dieser Publikation stellten die Forscher eine neue neuronale Architektur namens „Transformers“ vor, die lernt, auf welche Wörter sie „Achtung“ geben muss, um das nächste Wort zu generieren. Diese Transformer-Architektur strukturiert heute alle neuronalen Netzwerke moderner KI, die Text generieren.

Das Aufkommen der Transformers führte dazu, dass OpenAI 2018 die erste Version von GPT zur Textgenerierung veröffentlichte. Obwohl sich die Grundprinzipien seitdem kaum verändert haben, sind die Skalierung und die Ambitionen der „großen Sprachmodelle“ (oder large language models, LLM) explodiert.

So markierte im Mai 2020 die Einführung von GPT-3 den Beginn einer KI-Kategorie, die mithilfe riesiger neuronaler Netzwerke menschliche Sprachen modellieren kann – sei es natürliche Sprache wie Französisch oder formale Sprache wie C++ in der Informatik. Es ist jedoch wichtig zu betonen, dass das Modellieren mit Statistiken nicht bedeutet, dass die KI kognitive Prozesse versteht, und diese KI produzieren immer noch absurde Antworten auf triviale Fragen.

Die Modelle sind von 1,5 Milliarden Verbindungen bei GPT-2 auf einige hundert Milliarden bei GPT-3 und seinen Nachfolgern angewachsen, was dem Übergang vom Gehirn einer Biene zu dem eines Hamsters in Bezug auf die Anzahl der Synapsen entspricht. Allerdings hat die Vergrößerung ihrer Größe in den letzten Jahren an Tempo verloren und ist heute nicht mehr der Haupttreiber der Fortschritte.

Stattdessen müssen wir die methodischen Veränderungen betrachten, die vor und nach dem Training der Modelle stattfinden.

Mehr und bessere Daten

Das Training von LLM basiert auf Texten, die als Referenz dienen, um ihnen beizubringen, das nächste Wort in einem Satz vorherzusagen. Um dieses Lernen zu verbessern, werden immer mehr Daten verwendet: GPT-2 wurde mit 30 Milliarden Wörtern trainiert (organisiert in Sätzen, Absätzen und Texten), während LLaMa-3 mit elf Billionen Wörtern trainiert wurde.

Allerdings sind nicht alle Texte, die hauptsächlich aus dem Web stammen, von gleicher Qualität. Daher verwenden Ingenieure Algorithmen zur Datenbereinigung und in jüngster Zeit auch LLM selbst, um diese Daten zu verbessern, umzuformulieren oder zu generieren (zum Beispiel für LLaMa-3 oder Qwen 2.5).

Obwohl KI bereits an der Ausbildung anderer KI beteiligt ist, bleibt diese Praxis durch die Langsamkeit der LLM begrenzt. GPT-4 würde etwa 17.000 Jahre benötigen, um allein elf Billionen Wörter zu generieren (das entspricht etwa 500 Terabyte an Daten).

Sobald die Daten gesammelt, bereinigt und generiert sind, beginnt die eigentliche Lernphase. Diese Phase bleibt schwierig umzusetzen und erfordert eine enorme Menge an Rechenressourcen, aber wenig hat sich seit der ersten Version von GPT im Jahr 2018 verändert.

Das Lernen einer KI durch konstruktives Feedback steuern

Allerdings haben sich die Forscher mit der Frage beschäftigt, wie man ein LLM nach seinem Training verbessern kann. Ein Problem eines rohen LLM ist, dass es unvorhersehbar ist und nicht unbedingt den menschlichen Bedürfnissen entspricht, sei es in Bezug auf Fähigkeiten (Rekrutierung, medizinische Diagnosen, Mathematik) oder ethisches und soziales Verhalten (politisch korrekte Chatbots, ohne Diskriminierung und gesetzeskonform).

Die Idee ist daher, LLM so zu kalibrieren, dass sie besser den Präferenzen ihrer Nutzer entsprechen. Dafür wird die Technik des Reinforcement Learning from Human Feedback verwendet, bei der Menschen ihre Meinung zu generierten Texten abgeben und die LLM darauf trainiert werden, den Menschen zu gefallen.


Dieser Prozess ermöglichte 2022 mit InstructGPT, einem Vorläufer von ChatGPT, einen großen Sprung nach vorn. Allerdings ist er extrem kostspielig, da er viel manuelle Arbeit erfordert. LLaMa-3 benötigte die Annotation von zehn Millionen Präferenzen durch Menschen. Diese Arbeiter sind oft unterbezahlt und in prekären Situationen.

Deshalb suchen Forscher nach Möglichkeiten, die menschliche Hilfe so weit wie möglich zu reduzieren.

Wenn KI KI ausbildet

Im Juli 2024 veröffentlichte ein Team von Wissenschaftlern bei Microsoft AgentInstruct, eine neue Methode, um LLM neue Fähigkeiten und Verhaltensweisen beizubringen.

Diese Methode konzentriert sich auf die Erstellung von „Agenten“, die Experten in vielen Bereichen sind (Mathematik, Code, Medizin) und als Lehrer für das lernende System dienen. In diesem Fall ist ein Agent selbst ein LLM, aber mit zusätzlichen externen Daten und Werkzeugen wie einem Taschenrechner, dem Internet oder einem Code-Compiler ausgestattet. Besser ausgerüstet und spezialisiert als ein LLM allein, glänzt er in seinem Fachgebiet. AgentInstruct verwendet eine Gruppe von Agenten, die ihr Wissen an ein LLM weitergeben.

Das Ergebnis: Das LLM verbessert sich, ohne Zugang zu anderen Ressourcen zu haben, im Gegensatz zu den Agenten. Zum Beispiel kann ein Agent mit einem Taschenrechner das Kopfrechnen eines LLM verbessern.

Auf ähnliche Weise könnte Claude mithilfe des Computer-Use-Programms zahlreiche Computerwerkzeuge nutzen, um seine eigenen Daten zu sammeln, zu bereinigen und zu organisieren, oder sogar KI-Modelle autonom trainieren, indem er spezialisierte Agenten einsetzt. Stellen Sie ihm übrigens die Frage, wie er sich selbst verbessern könnte, und er wird Ihnen ungefähr das antworten (oder eine Armee von Menschen rekrutieren, um Daten zu annotieren).

Aber warum ist er dann noch nicht in der Lage, sich selbst zu reproduzieren und zu verbessern?

Bevor eine KI sich selbst reproduzieren kann: ein langer technischer Weg und ethische Fragen

Diese Fähigkeit, spezialisierte Agenten zu erschaffen, wirft entscheidende Fragen auf. Wer kontrolliert die Agenten? Wenn KI an ihrer eigenen Verbesserung beteiligt ist, wie kann sichergestellt werden, dass ihre Entwicklung ethisch bleibt und mit den menschlichen Interessen übereinstimmt? Die Rolle der Entwickler und Regulierungsbehörden wird zentral sein, um potenzielle Fehlentwicklungen zu vermeiden.

Wir sind aus mehreren Gründen noch nicht so weit. Die aktuellen LLM, obwohl leistungsstark, sind begrenzt: Sie haben Schwierigkeiten, komplexe Projekte zu planen, benötigen ständige Anpassungen während ihres Trainings und sind nach wie vor stark auf menschliches Eingreifen angewiesen, insbesondere in Data Centern, um die physischen Maschinen zu verwalten und zu warten.

Darüber hinaus können sie sich ohne eigenen Willen keine autonomen Ziele setzen, die unabhängig von den erlernten menschlichen Präferenzen sind. Sam Altman, CEO von OpenAI, erwähnt die mögliche Entstehung einer allgemeinen künstlichen Intelligenz bereits 2025, aber diese Vorhersage bleibt umstritten, da sie technische Durchbrüche und ein besseres Verständnis der menschlichen kognitiven Mechanismen voraussetzt.

Der Erfolg von LLM basiert auf vier Säulen: der Vergrößerung ihrer Größe, architektonischen Innovationen, der Verbesserung der Kalibrierungstechniken und der Verfeinerung der Daten. Die jüngsten Fortschritte, insbesondere die Automatisierung durch spezialisierte Agenten, zeigen bereits, dass KI eine zunehmende Rolle bei der Erschaffung anderer KI spielt. Doch ohne eigenen Willen und echte Autonomie bleibt die Vorstellung einer KI, die sich selbstständig vermehren oder verbessern kann, Science-Fiction.

Tatsächlich würde eine Revolution dieses Ausmaßes einen Paradigmenwechsel erfordern, mit neuronalen Architekturen, die zu wirklich adaptiver und generalisierter Intelligenz fähig sind. Derzeit sind die neuronalen Netzwerke von LLM nach Abschluss der Lernphase starr: Sie können sich nicht mehr weiterentwickeln oder neue Fähigkeiten autonom erwerben, selbst nach Millionen von Interaktionen mit menschlichen Nutzern.


Im Gegensatz zu Menschen, die durch den Kontakt mit anderen oder durch interne Reflexion lernen, verfügen LLM nicht über Mechanismen, die es ihnen ermöglichen, ihre interne Struktur dynamisch anzupassen oder tiefgreifende und überarbeitbare Repräsentationen der Außenwelt zu konstruieren. Yann LeCun, französischer Turing-Preisträger von 2019, stellt sich eine neue Generation von KI vor, die mit internen Modellen ausgestattet ist und Hypothesen simulieren und planen kann wie ein Mensch, indem sie Beobachtungen integriert und mit bestehenden Erwartungen vergleicht. Die praktische Umsetzung dieser Vision bleibt jedoch eine wissenschaftliche Herausforderung.

Vielleicht wird in den kommenden Jahren ein Durchbruch von ähnlicher Bedeutung wie der der Transformers im Jahr 2017 erfolgen. Doch vorerst bleibt die Vision vollständig autonomer künstlicher Intelligenzen, ähnlich den Von-Neumann-Sonden, die das Universum kolonisieren, hypothetisch.

Dieses Szenario lädt uns jedoch ein, bereits heute über die ethischen Herausforderungen und die notwendigen gesetzlichen und technischen Sicherheitsvorkehrungen nachzudenken, um die Entwicklung dieser Technologien zu regeln.

Quelle: The Conversation unter Creative-Commons-Lizenz