Die Künstliche Intelligenz schreitet mit atemberaubender Geschwindigkeit voran. Für Experten reichen die aktuellen Tests nicht mehr aus, um die tatsächlichen Fähigkeiten dieser zunehmend komplexen Systeme zu bewerten.
Eine neue Prüfung ist in Vorbereitung. Ihr Ziel: zu zeigen, ob eine KI das Niveau der Expertise eines Menschen in komplexen Bereichen erreichen kann.
Das Projekt, das den Namen "Humanity's Last Exam" (Das letzte Examen der Menschheit) trägt, wurde vom Center for AI Safety (CAIS) und dem Start-up Scale AI ins Leben gerufen. Ihr Ziel ist es, Tests zu entwickeln, die die Fähigkeiten von KI auf hohem Niveau messen können.
Die Fortschritte von OpenAI und Anthropic zeigen, dass die aktuellen Systeme akademische Tests übertreffen, aber immer noch Probleme mit Aufgaben haben, die Planung oder abstraktes Denken erfordern. Der Bedarf an komplexeren Prüfungen wird offensichtlich. Dan Hendrycks, Direktor des CAIS, betont, dass die alten Tests, die er selbst 2021 mitentwickelt hatte, mittlerweile zu einfach sind, um moderne KIs zu bewerten. Ihre Relevanz nimmt ab, je besser die Systeme werden.
Das Herzstück des Projekts ist ein Fragebogen mit 1 000 Fragen. Diese Fragen werden so komplex sein, dass sie Nicht-Experten abschrecken und nicht einfach durch eine Online-Recherche gelöst werden können. Ein Teil des Inhalts wird geheim gehalten, um zu verhindern, dass KIs die Antworten auswendig lernen.
Um diesen Fragebogen auszuarbeiten, rufen die Organisatoren Experten aus aller Welt auf, Fragen einzureichen. Diese Einsendungen werden von Fachkollegen geprüft, und die besten Fragen werden mit Preisen von bis zu 5.000 $ ausgezeichnet. Eine Einschränkung gibt es jedoch: Keine Frage darf sich auf Waffen beziehen, aus Sicherheitsgründen. Die Gefahr von unkontrolliertem Wissen durch KI in diesem Bereich ist viel zu groß.
Alexandr Wang, CEO von Scale AI, erklärt, dass diese Tests der rasanten Entwicklung der KI angepasst werden müssen. Sowohl die Öffentlichkeit als auch Spezialisten sind daher aufgefordert, bei der Erstellung dieses ultimativen Tests mitzuhelfen.
Wenn Sie also fünf Jahre Erfahrung in einem technischen Bereich haben oder einen Doktortitel in einem Feld besitzen, in dem Sie eine KI herausfordern möchten, dann haben Sie die Freiheit, eine Frage über dieses
Online-Formular einzureichen.
Es könnte dann eine zweite Herausforderung folgen: die Nutzung der 5000 Dollar. Für dieses Thema, so viel ist sicher, braucht es keine KI!
Autor des Artikels: Cédric DEPOND
Quelle: Reuters