Thought Leadership
Im abgelaufenen Jahr gab es technische Fortschritte bei der Modellgröße (175 Milliarden Parameter!) und es zeigten sich die Möglichkeiten, KI mit Aufmerksamkeit auszustatten – die Fähigkeit zu lernen, auf welchen Teil der Daten sie sich konzentrieren soll.
Aufmerksamkeitsbasierte KI hat inzwischen Texte generiert, die mit menschlichen Schriftstellern vergleichbar sind, und komplexe physikalische Probleme wie die Proteinfaltung gelöst. Wir haben gerade erst begonnen, an der Oberfläche dessen zu kratzen, was derartige KI leisten kann.
Für Vectra AI, Anbieter von Cybersicherheit auf Basis künstlicher Intelligenz, nehmen drei Experten die Entwicklung künstlicher Intelligenz im vergangenen Jahr unter die Lupe: Christopher Thissen (Senior Data Scientist, Vectra AI), Ben Wiener (Data Scientist, Vectra AI) und Sohrob Kazerounian (Senior Data Scientist, Vectra AI).
Das Jahr 2020 hat auch einen Einblick gegeben, wie sehr KI beginnt, in den Alltag einzudringen. Es scheint wahrscheinlich, dass wir in den nächsten Jahren regelmäßig (und unwissentlich) KI-generierte Texte in unseren Social Media Feeds, in der Werbung und in den Nachrichten sehen werden. Die Auswirkungen des Einsatzes von KI in der realen Welt werfen wichtige Fragen über den ethischen Einsatz von KI auf. Es gibt allen Grund zu der Annahme, dass KI Verzerrungen in den Trainingsdaten verstärken könnte. Da KI nun auch bei Kreditanträgen, bei der Strafverfolgung und in anderen Bereichen zum Einsatz kommt, war die Notwendigkeit, diese Vorurteile zu verstehen und zu beseitigen, noch nie so groß. Auch in diesem Jahr haben wir einige große Geschichten über die Ethik der KI gesehen.
GPT-3: KI-generierter Text
Die vielleicht größte Aufmerksamkeit im Jahres 2020 kam dem GPT-3-Modell von OpenAI zuteil. GPT-3 (Generative Pretrained Transformer 3) ist eine KI, die Text verstehen und generieren kann. Die Fähigkeiten dieser KI sind beeindruckend. Erste Anwender haben die KI dazu gebracht, Trivia-Fragen zu beantworten, Fiktion und Poesie zu erstellen und einfache Webseiten aus schriftlichen Anweisungen zu generieren. Am meisten beeindruckend ist vielleicht, dass Menschen nicht zwischen Artikeln, die von GPT-3 geschrieben wurden, und solchen, die von Menschen geschrieben wurden, unterscheiden können. So schaffte es kürzlich ein KI-generierter Artikel an die Spitze von HackerNews, einer beliebten Technologie-Nachrichtenseite, ohne dass die meisten Benutzer bemerkten, dass der Inhalt künstlich generiert wurde.
GPT-3 verwendet eine Technologie namens Attention, die es der KI ermöglicht, zu lernen, auf welche Teile des Textes sie sich konzentrieren soll, z. B. auf Substantive und Verben. Obwohl es diese Aufmerksamkeitstechnologie schon seit einigen Jahren gibt, scheinen die neuen Fähigkeiten von GPT-3 in erster Linie aus einer bloßen Vergrößerung des Netzwerks zu resultieren. Das neue Modell hat erstaunliche 175 Milliarden Parameter, mehr als zehnmal so viele wie frühere Sprachmodelle. Die Fähigkeiten des Modells lassen vermuten, dass die Grenzen der der KI zugrundeliegenden Transformator-Architektur noch nicht erreicht sind. Tatsächlich haben jüngste Arbeiten erste Erfolge auch bei der Bilderzeugung gezeigt.
Bild 1: Bilder, die von einer modifizierten Version von GPT-3 erzeugt wurden, die Pixel statt Wörter vorhersagt.
Die unheimliche Fähigkeit von GPT-3, auf menschenähnliche Weise zu schreiben und zu reagieren, hat einige Diskussionen über die Intelligenz dieser KI ausgelöst. Trotz seiner Fähigkeit, überzeugende Texte zu generieren, versteht GPT-3 die Welt nicht so, wie es Menschen tun. Stattdessen sagt die KI einfach das nächste Wort voraus. Dies funktioniert gut bei Themen, über die Menschen bereits ausführlich geschrieben haben, aber das Wissen der KI lässt sich nicht auf neue Informationen übertragen, wie es das menschliche Wissen tut.
Die KI kann zum Beispiel keine einfachen Fragen des gesunden Menschenverstands beantworten, wie zum Beispiel, ob ein Bleistift schwerer ist als ein Toaster. Da es (offensichtlich) nicht genügend Text gibt, der die Eigenschaften von Bleistiften und Toastern vergleicht, kann die KI keine sinnvolle Antwort vorhersagen. Tatsächlich weiß die KI nicht, was ein Bleistift ist, sondern sie weiß nur, welcher Text das Wort Bleistift tendenziell umgibt. Der KI fehlt ein derartiger gesunder Menschenverstand vielleicht gerade deshalb, weil dies die Art von Dingen sind, über die es sich nicht zu schreiben lohnt.
Vermutlich sind diese Themen auch nicht lesenswert, so dass es praktisch gesehen weniger wichtig sein dürfte, dass GPT-3 Probleme mit diesen Fragen hat. Vielmehr geht es darum, dass GPT-3 trotz des ersten Anscheins keine allgemeine Intelligenz besitzt. Stellen Sie sich vor, Sie könnten alle Texte lesen, die jemals erschaffen wurden, wären aber nicht in der Lage, physisch mit der Welt zu interagieren. Sie würden große Wissenslücken haben. Tatsächlich ist die Frage, ob eine KI die Bedeutung von Texten allein erlernen kann, ein wichtiges Forschungsgebiet. Wenn ein Bild mehr als tausend Worte sagt, könnte die Realität mehr wert sein als die 500 Milliarden Wörter im Trainingsset von GPT-3.
Obwohl sich GPT-3 noch nicht der technologischen Singularität nähert, werden sich dieses Modell und andere wie dieses in den kommenden Jahren als unglaublich nützlich erweisen. Unternehmen und Einzelpersonen können über eine API (derzeit in einem privaten Betatest) Zugang zu den Modellergebnissen anfordern. Microsoft besitzt jetzt die Lizenz für GPT-3, und andere Gruppen arbeiten daran, ähnliche Ergebnisse zu erstellen. Ich gehe davon aus, dass wir bald eine Vielzahl neuer Funktionen im Zusammenhang mit KI sehen werden, die Sprache verstehen.
