Daniela und Dario Amodei zählten zu den ersten Angestellten von Open AI. Nun nimmt es ihr Chatbot Claude mit Chat-GPT auf.
Wie sich ein Technologie-Boom anfühlt und aussieht, wissen Dario und Daniela Amodei aus erster Hand. Die Geschwister wuchsen im San Francisco der neunziger Jahre auf, als das Internet gerade die Welt im Sturm eroberte und das kalifornische Technologiemekka umkrempelte.
«Ich erinnere mich genau, wie gut gekleidete junge Leute damals in schicken Bürogebäuden verschwanden und ich mich wunderte: Was machen die denn?», erzählte Daniela Amodei an einer Technologiekonferenz in San Francisco. Dreissig Jahre später sind sie und ihr Bruder Dario selbst Teil des nächsten Tech-Booms. Ihr Startup Anthropic fokussiert sich auf Sprachmodelle für künstliche Intelligenz. Diese sollen vor allem eins sein: sicher und moralisch.
Amazon investierte 4 Milliarden in Anthropic
Schon auf den ersten Blick unterscheiden sich die Geschwister Amodei vom typischen Silicon-Valley-Gründer. Auf der Bühne sitzend, wirkt Daniela auffallend herzlich und bisweilen schüchtern, auch ihr Bruder – runde Brille, gemütliche Figur – gibt sich nahbar und bodenständig.
Anthropics Ansatz einer verantwortungsvollen KI stösst in den USA auf Resonanz. Das «Time»-Magazin nannte das Startup jüngst eine der 100 wichtigsten Firmen der Welt und zählte die Geschwister Amodei zu den 100 wichtigsten Persönlichkeiten im Feld der KI.
Nur drei Jahre nach seiner Gründung spielt Anthropic in der obersten Liga: Amazon hat 4 Milliarden Dollar in die Firma investiert. Gerade hat Anthropic seine jüngste Version des Sprachmodells und Chatbots präsentiert: Claude 3.5 Sonnet. Manche Beobachter halten ihn für klüger und origineller als den Marktführer Chat-GPT, insbesondere die Schreib- und Zusammenfassungsfähigkeiten von Claude werden oft gepriesen.
Was steckt hinter dem Startup, das viele als das Anti-Open-AI bezeichnen?
Dario Amodei war federführend bei der Entwicklung von GPT-2 und -3
Von Geschwistern geführte erfolgreiche Firmen sind selten – doch glaubt man Dario, 39, und Daniela, 36, waren die beiden von klein auf ein gutes Team. «Ich erinnere mich: Als Daniela in der Highschool war, haben wir jeden Tag das Videospiel ‹Final Fantasy› auf der Playstation gespielt», erzählte der Bruder. An dieser geschwisterlichen Tradition hielten sie bis heute fest.
Nach der Schule verfolgten die beiden zunächst sehr unterschiedliche Karrieren: Dario studierte Physik an den Spitzenuniversitäten Caltech, Stanford und Princeton und spezialisierte sich während seiner Promotion auf KI-Forschung. Dann arbeitete er zunächst bei der chinesischen Tech-Firma Baidu und später bei Alphabet für die inzwischen aufgelöste Forschungsabteilung Google Brain. Daniela studierte englische Literatur und ging dann vorübergehend in die Politik: Sie arbeitete erst im Wahlkampf und später im Büro eines demokratischen Kongressabgeordneten in Washington. Nach knapp eineinhalb Jahren kehrte sie zurück in ihre Heimatstadt San Francisco und arbeitete für das Finanz-Startup Stripe – erst im Personalwesen, dann im Risikomanagement.
Die Karrieren der Geschwister kreuzten sich vor knapp zehn Jahren in San Francisco bei einem wenig bekannten KI-Startup namens Open AI. Dessen Ziel war ursprünglich, als Non-Profit-Firma allen Menschen die Errungenschaften von KI zukommen zu lassen.
Dario verantwortete dort die Entwicklung der KI-Sprachmodelle, insbesondere bei den Versionen GPT-2 und GPT-3 war er führend. Daniela war für die Sicherheit der Sprachmodelle zuständig.
Ethische Bedenken wegen der Arbeit von Open AI
Doch mit zunehmender Zeit sahen die beiden ihre Arbeit bei Open AI kritisch: Die Art und Weise, wie die Sprachmodelle funktionierten, sollte ihres Erachtens nach transparent sein. Auch fanden sie, dass die Ergebnisse wirklich frei von Bias, also von diskriminierenden Verzerrungen, sein sollten und ethische Antworten liefern müssten.
Die Bedenken des Geschwisterpaars wuchsen, als sich Open AI 2019 unter dem neuen CEO Sam Altman eine neue Firmenstruktur gab: Die einstige Non-Profit-Firma erhielt plötzlich einen profitorientierten Arm und sammelte 1 Milliarde Dollar von Microsoft ein. Umgekehrt sollte der Tech-Konzern dafür als Erster die Durchbrüche von Open AI zu Geld machen dürfen.
«Wir hatten Bedenken hinsichtlich der Richtung der Firma», sagt Daniela Amodei heute. «Wir wollten wirklich sichergehen, dass diese Werkzeuge verantwortungsvoll und verlässlich verwendet werden.»
Die Geschwister waren damit nicht allein: Ende 2020 kehrten mit den Amodeis gleich fünf weitere Angestellte Open AI den Rücken und gründeten ein paar Monate später eine eigene KI-Firma namens Anthropic. Das Ziel: «Sicherzustellen, dass transformative KI den Menschen und der Gesellschaft hilft, sich zu entfalten.» Der Name – abgeleitet vom griechischen Wort «anthropos», Mensch – soll Leitspruch sein: Man will mächtige KI-Systeme bauen, die sicher, «erklärbar» und im Einklang mit «humanen Werten» sind.
«Wir fragen uns ständig: ‹Was könnte hier falsch laufen?›», erklärt Daniela Amodei den Ansatz der Firma. Das fällt auch auf, wenn man den Chatbot Claude nutzt: Anders als andere Sprachmodelle warnt dieser den Nutzer immer wieder vor seinen Grenzen, möglichen Halluzinationen und Schwachstellen. Die präsentierten Antworten zählen dabei qualitativ zu den besten aller KI-Chatbots: In einem Ranking, für das Nutzer die Qualität der Antworten von Chatbots vergleichen, belegen Claude 3.5 Sonnet und Chat-GPT.40 seit Monaten abwechselnd die ersten beiden Plätze.
Die KI soll Werte verkörpern – und nicht nachträglich aufgedrückt bekommen
Was Anthropic dabei von anderen KI-Firmen unterscheidet, ist der Ansatz namens «Constitutional AI» – eine «radikal neue Methode, um KI-Systeme mit menschlichen Wertvorstellungen in Einklang zu bringen». Entwickler sollen so die Möglichkeit bekommen zu spezifizieren, welche Werte ihnen wichtig sind – ähnlich, wie eine Verfassung die Rahmenbedingungen einer Gesellschaft festlegt. Der Chatbot Claude erklärt den Ansatz folgendermassen: «Grundlegende Prinzipien und Verhaltensweisen werden in die KI selbst eingebaut, statt nachträglich hinzugefügt zu werden.»
Das Gegenteil dazu ist das «reinforcement learning from human feedback» (RLHF), das viele andere KI-Firmen verwenden. Dabei bekommt die KI nachträglich anhand von menschlichem Feedback beigebracht, was akzeptable Antworten sind.
Das Ziel sei, dass Anthropics Sprachmodelle «hilfreich, ehrlich und schadlos» seien, sagte Daniela jüngst in einem Interview.
«Wir versuchen, mit gutem Beispiel voranzugehen», sagt Dario Amodei, «aber dafür brauchen wir auch ein gewisses Gewicht in der Branche.»
Interessenkonflikte durch Investitionen von Amazon?
Die Amodeis sagen, sie sähen sich als Forschungslabor für sichere KI-Modelle. Doch diese Grundlagenforschung mit eigenen Modellen verschlingt viel Geld. Es koste etwa 1 Million Dollar, die jetzige Generation von Grundlagenmodellen zu trainieren, sagt Dario Amodei. Die nächste Generation werde wohl eher 10 Milliarden Dollar erfordern, weil die Modelle immer komplexer würden. Auch müsse man über die Frage nachdenken, wie man den CO2-Ausstoss der Datenzentren ausgleichen könne.
Anthropic musste deswegen Geld auftreiben. Das tat das Startup mit Erfolg: Zu den Investoren zählen Salesforce, SAP, Zoom, und auch Google hat 2 Milliarden Dollar in das Startup investiert. Ebenso haben Tech-Moguln wie Eric Schmidt, ehemaliger CEO von Google, privat Geld in die Firma gesteckt. Allen voran aber kooperiert Amazon mit dem Startup: Der Konzern hat bisher stolze 4 Milliarden Dollar in Anthropic investiert, zudem werden die Modelle mit seinem Cloud-Dienst AWS und mit Amazons eigenen Hochleistungschips trainiert. Umgekehrt können die AWS-Kunden als Erste Anthropics Sprachmodelle nutzen.
Es ist eine Zusammenarbeit, die sehr an die Kooperation von Open AI und Microsoft erinnert, welche immer wieder in der Kritik steht.
Aus diesem Grund versucht Anthropic manches anders zu lösen als die Konkurrenz – etwa mit Blick auf die Firmenstruktur. Ein externes Gremium aus Beratern, die allesamt kein finanzielles Interesse an dem Startup haben, darf Mitglieder des Verwaltungsrats bestimmen. Im Moment vergibt es erst einen der fünf Sitze, bald soll es über die Mehrheit der Sitze entscheiden.
Auch bemüht sich die Firma um Transparenz, etwa indem sie externen Entwicklern ermöglicht, die innere Arbeitsweise eines KI-Modells zu analysieren – ähnlich wie bei einem Gehirn-Scan. Dario ist überzeugt, dass KI-Modelle bald so mächtig sein werden, dass man niemandem – auch nicht ihm oder seiner Schwester – blind vertrauen sollte, sondern es Kontrollsysteme braucht. Glaubt man den Geschwistern, wird die KI-Revolution schneller kommen, als sich viele von uns vorstellen können: nicht in zwanzig oder dreissig Jahren, sondern in zwei bis fünf Jahren.
