Die weltweit größten Unternehmen im Bereich der künstlichen Intelligenz (KI) erfüllen ihre eigenen Sicherheitsverpflichtungen nicht. Dies geht aus einer neuen Bewertung hervor, in der davor gewarnt wird, dass diese Ausfälle mit „katastrophalen“ Risiken verbunden sind.
Der Bericht kommt zu einer Zeit, in der KI-Unternehmen mit Klagen und Vorwürfen konfrontiert sind, dass ihre Chatbots psychischen Schaden anrichten, unter anderem indem sie als Chatbots agieren „Selbstmordtrainer“ sowie Berichte über KI-gestützte Cyberangriffe.
Der von der gemeinnützigen Organisation Future of Life Institute (FLI) veröffentlichte Winter AI Safety Index-Bericht 2025 bewertete acht große KI-Firmen, darunter die US-amerikanischen Unternehmen Anthropic, OpenAI, Google DeepMind, xAI und Meta sowie die chinesischen Firmen DeepSeek, Alibaba Cloud und Z.ai.
Es wurde festgestellt, dass es an glaubwürdigen Strategien zur Verhinderung eines katastrophalen Missbrauchs oder Kontrollverlusts von KI-Tools mangelt, während Unternehmen in Richtung künstlicher allgemeiner Intelligenz (AGI) und Superintelligenz streben, einer Form der KI, die den menschlichen Intellekt übertrifft.
Unabhängige Analysten, die den Bericht untersuchten, stellten fest, dass kein Unternehmen einen überprüfbaren Plan zur Aufrechterhaltung der menschlichen Kontrolle über hochleistungsfähige KI-Systeme erstellt hatte.
Stuart Russell, Informatikprofessor an der University of California in Berkeley, sagte, dass KI-Unternehmen behaupten, sie könnten übermenschliche KI bauen, aber keines von ihnen habe gezeigt, wie man den Verlust der menschlichen Kontrolle über solche Systeme verhindern könne.
„Ich suche nach Beweisen dafür, dass sie das jährliche Risiko eines Kontrollverlusts auf eins zu hundert Millionen reduzieren können, entsprechend den Anforderungen für Kernreaktoren“, schrieb Russell. „Stattdessen geben sie zu, dass das Risiko eins zu zehn, eins zu fünf oder sogar eins zu drei betragen könnte, und sie können diese Zahlen weder rechtfertigen noch verbessern.“
Wie rangierten die Unternehmen?
Die Studie untersuchte die Unternehmen in sechs kritischen Bereichen: Risikobewertung, aktuelle Schäden, Sicherheitsrahmen, existenzielle Sicherheit, Governance und Rechenschaftspflicht sowie Informationsaustausch.
Das unabhängige Expertengremium stellte zwar Fortschritte in einigen Kategorien fest, kam jedoch zu dem Schluss, dass die Umsetzung nach wie vor inkonsistent ist und es oft an der Tiefe mangelt, die die neuen globalen Standards erfordern.
Anthropic, OpenAI und Google DeepMind wurden für ihre relativ hohe Transparenz, die Rahmenbedingungen für die öffentliche Sicherheit und ihre laufenden Investitionen in die technische Sicherheitsforschung gelobt. Dennoch hatten sie immer noch Schwächen.
Anthropic wurde vorgeworfen, dass es keine Human-Uplift-Studien mehr durchgeführt hat und standardmäßig auf Schulungen zu Benutzerinteraktionen umgestiegen ist – eine Entscheidung, die laut Experten den Schutz der Privatsphäre schwächt.
OpenAI wurde wegen unklarer Sicherheitsschwellen, Lobbyarbeit gegen staatliche KI-Sicherheitsgesetze und unzureichender unabhängiger Aufsicht kritisiert.
Dem Bericht zufolge hat Google DeepMind seinen Sicherheitsrahmen verbessert, verlässt sich jedoch immer noch auf externe Gutachter, die vom Unternehmen finanziell entschädigt werden, was deren Unabhängigkeit untergräbt.
„Alle drei Top-Unternehmen erlitten aufgrund der jüngsten Skandale aktuelle Schäden – psychische Schäden, Kinderselbstmorde, der massive Hackerangriff von Anthropic – (und) alle drei haben Raum für Verbesserungen“, sagte Max Tegmark, FLI-Präsident und Professor am Massachusetts Institute of Technology (MIT), gegenüber Next.
Die verbleibenden fünf Unternehmen zeigten dem Bericht zufolge uneinheitliche, aber bemerkenswerte Fortschritte. Es wurde jedoch darauf hingewiesen, dass es noch Raum für Verbesserungen gebe.
Beispielsweise veröffentlichte xAI sein erstes strukturiertes Sicherheitsrahmenwerk, obwohl Gutachter warnten, dass es eng gefasst sei und klare Auslöser für die Schadensbegrenzung fehle.
Z.ai war das einzige Unternehmen, das eine unzensierte Veröffentlichung seiner externen Sicherheitsbewertungen erlaubte, es wurde jedoch empfohlen, den gesamten Sicherheitsrahmen und die Governance-Struktur mit klaren Risikobereichen, Abhilfemaßnahmen und Entscheidungsprozessen zu veröffentlichen.
Meta führte ein neues Grenzsicherheitsrahmenwerk mit ergebnisbasierten Schwellenwerten ein, die Gutachter sagten jedoch, sie sollten die Methoden klären und robustere interne und externe Bewertungsprozesse gemeinsam nutzen.
DeepSeek wurde das interne Engagement der Mitarbeiter zugeschrieben, es mangelt jedoch immer noch an grundlegender Sicherheitsdokumentation.
Es wurde festgestellt, dass Alibaba Cloud zu den verbindlichen nationalen Standards für Wasserzeichenanforderungen beigetragen hat, es könnte jedoch durch eine Verbesserung der Modellrobustheit und Vertrauenswürdigkeit verbessert werden, indem die Leistung bei Wahrhaftigkeits-, Fairness- und Sicherheits-Benchmarks verbessert wird.
Next kontaktierte die Unternehmen um ihre Antworten auf den Bericht, erhielt jedoch zum Zeitpunkt der Veröffentlichung keine Antworten.
„Weniger reguliert als Sandwiches“
„Ich hoffe, dass wir über Unternehmen hinauskommen, die aufgrund ihres Rufs skalieren“, sagte Tegmark.
„Die Frage an die Unternehmen zu ihren Plänen zur Kontrolle von AGI: Keines hatte einen Plan“, fügte er hinzu.
Unterdessen nutzen Technologieunternehmen wie Meta Superintelligenz als Schlagwort, um ihre neuesten KI-Modelle zu übertreiben. In diesem Jahr nannte Meta seine LLM-Abteilung (Large Language Model) Meta Superintelligence Labs.
Tegmark sagte, es gebe einen großen Wandel in den Diskussionen über AGI und Superintelligenz. Während Technologen einst davon ausgingen, dass dies in den nächsten 100 Jahren eine reale Möglichkeit sei, sagen sie nun, dass dies in den nächsten Jahren der Fall sein könnte.
„KI ist auch weniger reguliert als Sandwiches (in den Vereinigten Staaten), und es gibt weiterhin Lobbyarbeit gegen verbindliche Sicherheitsstandards in der Regierung“, sagte er.
Tegmark stellte jedoch fest, dass es andererseits eine beispiellose Gegenreaktion gegen die mangelnde Kontrolle von AGI und Superintelligenz gebe.
Im Oktober forderten Tausende von Persönlichkeiten des öffentlichen Lebens, darunter KI- und Technologieführer, KI-Unternehmen auf, ihr Streben nach Superintelligenz einzuschränken.
Die von FLI organisierte Petition sammelte Unterschriften aus dem gesamten politischen Spektrum, darunter Steve Bannon (Chefstratege des ehemaligen US-Präsidenten Donald Trump), Susan Rice (die ehemalige nationale Sicherheitsberaterin der USA unter dem ehemaligen Präsidenten Obama), religiöse Führer und viele andere ehemalige Politiker sowie prominente Informatiker.
„Was haben diese Leute gemeinsam? Sie haben sich auf eine Erklärung geeinigt. Ich halte es für äußerst bedeutsam, dass sich Trumps tiefe MAGA-Basis aus Glaubensführern, Linken und Arbeiterbewegungen über etwas einig ist“, sagte Tegmark.
„Superintelligenz würde es jedem einzelnen Arbeiter unmöglich machen, seinen Lebensunterhalt zu bestreiten, da alle Jobs von Robotern übernommen werden. Die Menschen wären auf Almosen der Regierung angewiesen, die auf der rechten Seite als Almosen angesehen würden, und auf der linken Seite würde man sie als eine Regierung von 1984 betrachten“, sagte er. „Ich denke, was passiert, ist, dass sich die Menschen zuspitzen.“
