KI vor Verhundertfachung der Rechenleistung

Die Nachfrage nach KI-Rechenleistung wird sich in den nächsten Jahren rapide steigern. Was können wir hier erwarten und wie wird der Strombedarf gedeckt?

Die Nachfrage nach KI-Rechenleistung

Rechenleistung ist beim Training der KI-Modelle der wichtigste Faktor für die Skalierung und die Modellkapazitäten. Wir sehen derzeit äußerst beeindruckende Prognosen zum rechenleistungsabhängigen KI-Training. Unseren Schätzungen zufolge trainierte OpenAI4 sein GPT-4-Modell (das im März 2023 auf den Markt kam) auf rund 10.000 NVIDIA5-H100-äquivalenten Grafikprozessoren (GPUs), die Kosten sollen bei etwa 500 Mio. USD gelegen haben. Darüber hinaus schätzen wir, dass die Spitzenmodelle des Jahres 2024 von OpenKI und seinen Mitbewerbern für circa 1 Mrd. USD auf rund 100.000 NVIDIA-H100-äquivalenten GPUs trainiert werden. Unsere Untersuchungen deuten darauf hin, dass derzeit wahrscheinlich geplant ist, die führenden Modelle des Jahres 2026 auf rund einer Million H100-äquivalenten GPUs aufzubauen. Das Training dieser Modelle des Jahres 2026 könnte mehrere Milliarden Dollar verschlingen und die Menge an Strom benötigen, die der Stromproduktion des Hoover-Staudamms entspricht. Das bedeutet, eine 100-fache Skalierung von GPUs wird erforderlich sein, um den Übergang vom derzeitigen GPT-4-Modell – dessen Leistung der eines guten Praktikanten entspricht – zu einem Modell vollziehen zu können, das in etwa so leistungsfähig ist wie eine sehr gut ausgebildete Fachkraft.

Natürlich sind GenKI-Modelle nur dann wertvoll, wenn sie auch eingesetzt werden. Wir gehen davon aus, dass die meisten wissensbasierten Mitarbeiter in den nächsten Jahren GenKI nutzen werden, und die meisten Unternehmen dürften digitale Agenten in Anspruch nehmen.

Ein Beispiel: Überlegen Sie, welches Potenzial sich für eines der weltweit größten Software- und Cloud-Computing-Unternehmen ergibt, wenn es in seinem Setting an Produktivitätstools, in denen bereits Cloud- und KI-Serviceoptionen integriert sind, auch noch digitale Agenten einbindet. Aktuell nutzen rund 500 Millionen Data Scientists diese Plattform, die meisten von ihnen zahlen nicht für GenKI-Services. Wenn hochqualifiziertes Personal im Schnitt 50.000 USD pro Jahr verdient und mithilfe von GenKI-Services um 5 % produktiver wird (und das ist unseres Erachtens eine sehr konservative Schätzung), dann könnten diese Modelle einen Überschuss von 1,25 Bio. USD generieren – oder 2.500 USD pro Mitarbeiter pro Jahr. Bei einer vollumfänglichen Einführung und unter der Voraussetzung, dass alle Nutzer 360 USD pro Jahr zahlen, würde dieses Unternehmen 15 % (180 Mrd. USD) des generierten Überschusses erhalten – eine ausgezeichnete Investitionsrendite für Modelle, deren Aufbau und Betrieb einige Milliarden USD kosten. Auch die Kunden dieses Unternehmens würden mit diesem Tool von massiven Produktivitätsverbesserungen und Kosteneinsparungen profitieren.

Wir gehen davon aus, dass immer mehr Unternehmen digitale Agenten einsetzen werden, wenn die Modelle immer besser werden und die praktischen Vorteile klarer zutage treten und attraktiver werden. Natürlich ist das nur ein Beispiel. Möglichkeiten ergeben sich überall da, wo Wissensarbeit durch zusätzliche, kontextbewusste Intelligenz optimiert werden kann. Laut unseren Analysen prüft fast jeder Anbieter von digitalen Tools für solch ausgebildetes Fachpersonal die Einbindung von GenKI in sein Angebot.

Die Bereitstellung von ausreichend Strom für die Ankurbelung des Wachstums von KI

In den USA wird es schwierig werden, bis 2026 ausreichend Strom bereitzustellen, um einen Cluster zu erschaffen, dessen Leistung einer Million H100-GPUs entspricht. Wir denken, dass die Nachfrage durch die Nutzung der bestehenden Kernenergie-Infrastruktur und der zahlreich vorhandenen Erdgasreserven des Landes gedeckt werden könnte. Wenn das Wachstum der KI-Modelle über das Jahr 2026 hinaus andauert, könnte es schwieriger werden, ausreichend Strom zu erzeugen. Doch angesichts der Anreize in Verbindung mit dem Ertragsprofil dieser Modelle sind wir zuversichtlich, dass es Lösungen geben wird, von denen letztlich die Sektoren Industrie, Strominfrastruktur und nicht regulierte Versorgungsunternehmen profitieren werden.

Zugriff auf eine Fülle von Datenressourcen für das Training der Modelle 

Daten sind der nächste grundlegende Faktor für die Skalierung der Modelle. Einige Experten bezweifeln, dass ausreichend geeignete Daten verfügbar sein werden, um GenKI-Modelle auch in Zukunft zu trainieren. Wir teilen diese Meinung nicht. Unseres Erachtens gibt es sowohl bei menschen- als auch bei maschinengenerierten Daten noch einen wahren Schatz zu heben.

Große Basismodelle (Foundational Models) wie die von OpenKI werden anhand von kuratierten, von Menschen generierten Texten aus dem Internet, wissenschaftlichen Abhandlungen, Büchern und vielem mehr trainiert. Doch in den Systemen von Unternehmen und Konzernen sind immense Mengen an von Menschen generierten Daten versteckt. Diese vertraulichen Daten stehen den Entwicklern von Basismodellen zwar nicht zur Verfügung, doch Unternehmen können ihre internen Daten in Kombination mit den Basismodellen verwenden, um daraus unternehmensspezifische Modelle und Erkenntnisse abzuleiten.

Daneben gibt es auch noch die sogenannten Metadaten, diese sind Daten über menschliche Daten. Überlegen Sie einmal, was passiert, wenn ein Mensch etwas Neues aus einem Buch lernt. Dieser Lernvorgang ist in der Regel am erfolgreichsten, wenn der Mensch das Buch liest, über den Inhalt nachdenkt, Teile des Buchs noch einmal liest, an einer Problemstellung zum Thema arbeitet und mit einer Lehrkraft über das Buch spricht. Diese Schritte erschaffen Daten über die vom Menschen generierten Daten in dem Buch und verbessern den Lernprozess. Modelle können diese Prozesse nachbilden, um neue Trainingsdaten zu erschaffen, ihr Verständnis zu vertiefen und ihre Fähigkeiten zu verbessern. 

Außerdem werden diese Modelle multimodal, das heißt, sie können nicht nur Text verwenden, sondern auch Audiodateien, Bilder und sogar digitale Workflows auf PCs und mobilen Geräten. Daraus können sie Modelle der Welt erschaffen und schließlich KI-Agenten erzeugen. 

Wir sind zuversichtlich, dass es eine ganze Fülle von Daten gibt – sowohl von Menschen generierte als auch synthetische –, die für das Training der Modelle genutzt werden können. Den Kurven folgen: KI-Trendlinien und die Argumente für langfristiges Wachstum 

Verständnis dafür, wie sich das menschliche Lernen nachbilden lässt

Algorithmische Verbesserungen könnten die Weiterentwicklung von KI am stärksten vorantreiben. Man darf nicht vergessen, dass diese Modelle aus digitalen Neuronen bestehen, die versuchen, die Fähigkeiten organischer Neuronen nachzuahmen. Das äußerst leistungsfähige und effiziente menschliche Gehirn, das rund 86 Milliarden organische Neuronen enthält, verbraucht im Schritt rund 20 Watt Strom. Diese Menge entspricht dem Stromverbrauch einer kleinen Glühbirne und ist deutlich weniger als die Menge Strom, die erforderlich ist, um ein Tausend-Token-Prompt von einem hochentwickelten Transformer-Modell verarbeiten zu lassen. 

Warum ist das menschliche Gehirn so viel effizienter als diese Modelle? Wir wissen nicht genau, durch welche Problemlösung während unserer Evolution unser Gehirn so effizient wurde, doch unseres Erachtens kann sich die digitale Version dieses Prozesses im Laufe der Zeit verändern, wenn sich mehr Forscher dem Bereich KI anschließen, gewaltige Kapitalsummen verfügbar werden und laufend experimentiert wird. 

Fazit

Alle diese Informationen legen den Schluss nahe, dass wir, wenn die Modelle kontinuierlich weiterentwickelt werden und Verbesserungen bei Rechenleistung und Daten und algorithmische Verfeinerungen vorgenommen werden, gerade erst am Anfang einer immensen Steigerung der Innovationskraft stehen. Unseres Erachtens könnten diese Innovationen massive Effizienzzuwächse und eine erhebliche Beschleunigung des weltweiten Wirtschaftswachstums auslösen. Ein Wandel derartigen Ausmaßes wird kaum ohne Volatilität und Unsicherheit vonstatten gehen. Erst die Zukunft wird zeigen, ob die Bewertungen gerechtfertigt sind und welche Unternehmen aus dem Technologie- und anderen Sektoren letztlich als die Gewinner aus diesem Wandel hervorgehen werden.

(pd/Franklin Templeton)