Das Sein oder nicht Sein von künstlicher Intelligenz

Bereits Ende der 90er Jahre hat Bill Gates sein Verständnis eines digitalen Nervensystems (DNS) beschrieben. Bill Gates führt anschaulich den Einfluss von intelligenter Softwareunterstützung auf die Wirtschafts- und Gesellschaftsstruktur an. Die technische Grundlage eines solchen DNS, im industriellen Einsatz, kann in naher Zukunft Machine-Learning darstellen.

Die Entwicklung des Machine-Learning hat die letzten Jahre eine explosionsartige Evolution vorgenommen, die beinahe zur Revolution eines neuen Kondratieff wird.

Über die Jahre hinweg hat Deep Learning immer bessere Leistung erzielt. Die Leistung beruht hauptsächlich auf der Abbildung von einer Eingabe zu einer definierten Ausgabe. Eine mögliche Eingabe ist zum Beispiel die natürliche Sprache, die zur Ausgabe eines Fließtexts übersetzt wird. Für eine spezifische Fragestellung wie der Übersetzung von natürlicher Sprache zu Fließtext bedarf es eines ebenso spezifischen Lösungsmodels. Die Übertragbarkeit eines derart spezifischen Lösungsmodels auf andere Fragestellung ist oft schwer bis gar nicht leistbar. Gerade diese Einschränkung schreckt oft noch immer vor der industriellen von Machine-Learning ab. Gründe sind mitunter die oft teure und zeitaufwendige Entwicklung von Lösungsmodellen.

Erst die übertragbare Nutzung von bereits gelerntem Wissen von Lösungsmodellen hat den nächsten, möglichen Kondratieff eines digitalen Nervensystems eingeläutet. Analog der Elektrifizierung der Webmühlen kann die Übertragbarkeit von in Lösungsmodellen gelerntem Wissen ganze Industriezweige der heutigen Fertigung im Allgemeinen oder von Ingenieurberufen im spezifischen verändern. Alleine der Bereich des Bildverständnisses (Computer Vision) wird durch übertragbares, maschinelles Wissen einen dramatischen Wandel vollziehen. Heute scheitert die Übertragbarkeit mit klassischem Computer Vision noch in Fragestellungen wie 

• Geänderte Ausrichtung der zu erkennenden Objekte oder

• Unterschiedliche Umgebungsbedingungen wie die Lichtverhältnisse

Künftig können, wie auf OpenAI anschaulich dargestellt, ganze Industrieanlagen oder Baustellen durch 3D Modelle simuliert und gleich als Training für die „autonom“ zum Einsatz kommenden Maschinen dienen.

Von Einschränkungen zur evolutionären Weiterentwicklung

Natürlich hat die Disziplin der neuronalen Netzwerke immense Fortschritte, zum Beispiel im Bereich der Convolutional Neural Networks (CNN), in den letzten 3 Jahren hingelegt. Jedoch haben aber auch diese Netztypen bei allen Stärken, zum Beispiel bei veränderter Ausrichtung der zu erkennenden Objekte, auch drastische Nachteile. So verlieren zum Beispiel CNN, wie es Hinton anschaulich in seiner Veröffentlichung darstellt, den räumlichen Bezug der im Bild enthaltenden Komponenten. Beim Vergleich mit dem menschlichen Gesicht ist der räumliche Bezug zum Beispiel, dass die Augen nebeneinander angeordnet sein müssen, damit es sich um einen Menschen handelt. Sicherlich helfen bei derart räumlichen Zusammenhängen u.a. die CapsuleNN von Hinton. Müssen mehrere Fähigkeiten gemeinsam zum Einsatz kommen, wie zum Beispiel das Erkennen von visuellen Objekten

• Inkl. räumlicher Bezug und

• bei verändernden Ausrichtung

müssen oft auch mehrere neuronale Netze, parallel eingesetzt werden. Erschwerend kommt hinzu, dass für die Erstellung der Lösungsmodelle häufig voneinander unabhängige Lernvorgänge mit gesonderten Datenbeständen benötigt werden. Dies führt fast wieder zum Dilemma für die künstliche Intelligenz und den Einsatz des Maschine-Learning im industriellen Umfang. Aber nur fast. Seit kurzem übernimmt an dieser Stelle das sogenannte Transferlernen (Transfer-Learning) die benötigte Vermittlungsrolle. Transferlernen erlaubt, bildlich gesprochen, das Lernen anhand von Vorbildern. Ein solches Vorbild kann zum Beispiel ein durch das CapsuleNN gelernte Modell darstellen, welches für eine „ganz“ andere Fragestellung seinen Beitrag zum anlernen des Lösungsmodells beitragen kann. Der Einsatz ist natürlich keineswegs auf Fragestellungen des Bildverständnisses beschränkt.

Transferlernen – von der menschlichen Entwicklung lernen

Transferlernen behebt absehbar die latenten schwächen der klassische Supervised- oder Reinforcement- Netztypen. Diese Netztypen fokussieren mit allen Methoden, Algorithmen und Ansätzen auf die Verbesserung einer spezifischen Fragestellung. Das Transferlernen kann als Starthilfe zum erlernen neuen Wissens verstanden werden. Der Baidu Forschungsleiter Andrew Ng bezeichnet Transferlernen sogar als den nächsten, großen Schritt im Bereich des Machine-Learning. Es wird oft sogar als die DNA der künstlichen Intelligenz beschrieben. Eine DNA als Blaupause für die Entwicklung von Modellen. Im Vergleich zu Kleinkindern, beruht das Erlernen somit künftig im Bereich der künstlichen Intelligenz vielmehr auf dem vorher erlernten Wissen. Das Machine-Learning kann sich somit beinahe „selbstständig“ in eine Evolution des Erlernens von neuem Wissen begeben und so zu einem wirklichen digitalen Nervensystem weiterentwickeln. Einem Nervensystem, welches durch die aufgenommenen Reize reagiert, Erfahrungen sammelt und diese in die darauffolgenden Anpassungen einfließen lässt. Es kann somit der nötige Paradigmenwechsel für die Einleitung einer neuen Welle an Investitionen und Innovationen darstellen; insbesondere da die Rezession von Maschine Learning bereits mit dem sogenannten AI Winter stattgefunden hat. 

Von der Steinzeit der künstlichen Intelligenz bis in die Gegenwart

Wendepunkte in der Historie des Maschine-Learning wie der AI Winter haben ihren Ursprung in der zugrundeliegenden Mathematik. Die Modelle der künstlichen Intelligenz sind im Kern lediglich mathematische Operationen. Bei neuronalen Netzen sind es die Gewichte einer Matrix, die als Operand auf die Eingaben angewendet werden. Die Eingaben sind mathematische Vektoren an zu erlernenden Bedingungen/ Eigenschaften – auch Features genannt. Zur Evolution des Maschine-Learning und die neuronalen Netze im Spezifischen haben folgende Verbesserung die letzten Jahre beigetragen:

• Nicht linear teilbare Fragestellungen wie die eines XOR-Logikgatters konnten durch den Einsatz mehrere Ebenen an Neuronen nun in ein Lösungsmodell (ermittelte Funktion) überführt werden. Zu Beginn wurden sogenannte Fully Connected Netztypen eingesetzt, Mittlerweile werden diese zunehmen durch sogenannte Causal Connected Netztypen, zum Beispiel für die Sprachsynthese, ersetzt.

• Ergänzend zur Lösung von nicht linear Teilbaren Fragestellungen haben sich die Vor-und Nachbereitungen der Ein- und Ausgaben weiterentwickelt. So haben zum Beispiel die bereits angeführten “Convolutional Networks” (CNN) die Vorverarbeitung von Bildinformationen oder von Textverständnis dramatisch verändert. Derartige Vor- und Nachverarbeitungen bilden zum Beispiel die Grundlage für die zunehmende Popularität von Chat-Bot Funktionalitäten.

• Nicht nur im Umfeld des Textverständnisses haben sich unzählige, unterschiedlichste Varianten an Netztypen entwickelt. Die häufigsten Ansätze beruhen auf sogenannten Encoder-Decoder Ansätzen und dienen zum Beispiel dazu, das Entrauschen von Bildern vorzunehmen oder gar eine Form von Kurzzeitgedächtnis, mittels “Recurrent Networks” (RNN, LSTM), zu erlauben.

Wissensentwicklung und dessen Verbreitung – der Buchdruck der künstlichen Intelligenz

Durch das Transferlernen sowie durch das Reinforcement-Learning ist nun jedoch der Evolutionspunkt erreicht, an dem sich die zuvor aufgezeigten Entwicklungsschritte quasi selber weiterentwickeln können. Dieser Punkt in der Verschmelzung der “evolutionären” Komponenten wird in der Literatur auch als “Learning to Learn” bzw. „Meta-Learning“ (MLSH) zusammengefasst. Die Güte eines Modells entscheidet sich hierbei nicht mehr, initial alleine durch die aufbereiteten Trainingsdaten. Das Modell entwickelt sich quasi von alleine evolutionär weiter. Bei Reinforcement-Learning zum Beispiel, wird das Feedback auf die aktuelle Vorhersage aufgegriffen und dient im Rückfluss als erneute Lerneingabe für die nächste Iteration des Lernens. Also bildlich gesehen das Feedback auf eine Vorhersage dient als eigene Klassifizierung der Lerndaten, der Folgeschritte.

Neben den inhaltlichen Weiterentwicklungen werden Modelle und/oder die zugehörigen Datensätze zunehmend öffentlich geteilt und dienen als Grundlage für die Entwicklung neuer Modell (-ausprägungen). Dies führt mittelfristig zu einer explosionsartigen Entwicklung von immer neuen Wissensbasen. Diese Wissensbasen sind heute noch nicht miteinander verbunden, was oft noch an scheinbar einfachen Herausforderungen der zugrundeliegenden Mathematik scheitert. Die Herausforderungen liegen hier u.a. in:

• Den abweichenden Größen der Matrizen und Vektoren, wie diese durch den individuellen Informationsgehalt gegeben sind, sowie die zielgerichtete Verknüpfung dieser.

• Der Auswahl des richtigen Informationsgehaltes wie zum Beispiel wird ein Grau-Bild, ein Schwarz-Weiß-Bild oder eine andere Form der Abbildung für eine Fragestellung im Umfeld des Bild-Verständnisses gewählt.

An dieser Stelle hat die Evolution des digitalen Nervensystems erste Schritte gemacht. Ansätze wie des Collective- oder Collaborative-Learning machen es möglich, unterschiedliche Modelle zielgerichtet zu verknüpfen. Ein weit verbreiteter Ansatz ist die Anwendung eines neuronalen (Encoder-Decoder-) Netzwerks, welches heute bereits zum Beispiel die reflexive Beziehung zwischen Aussagen zweier Sprachen (Sprache A zu B und B zu A) bewertet oder die textuelle Beschreibung zu Bildern erlernt. Derzeit populäre Verfahren aus diesem Bereich sind zum Beispiel: Inject-Merge, Cross-Domain-Retrieval, Adversarial-Learning oder GAN. Absehbar werden insbesondere die GAN Netzwerke an Bedeutung gewinnen. Die Grundidee von GAN Netzwerken ist, dass während des Trainings zwei neuronale Netzwerke sich gegenseitig herausfordern. Diese gegenseitige, sukzessive Herausforderung führt zu einer schrittweisen Verbesserung beider. Analoges findet sich in der Entwicklung des menschlichen Wissens. Die tägliche Herausforderung schürt das Bedürfnis sich selber zu verbessern. Das Eingang angeführte Transferlernen kann auch hier konzeptionell als „Bote“ für die Gegenseitige Bestärkung eingesetzt werden. Technisch gibt es drei hauptsächliche Ansätze für die Anwendung des Transferlernen: 

• Unterstützung zur Auswahl der Features, für das Trainieren eines neuen Modells. Hiermit wird die Güte der Trainingsgrundlage schon frühzeitig in einen hohen Reifegrad gebracht. Denn nicht alle Trainingsdaten haben die nötige Güte, die erlaubt ein Modell “optimal” zu trainieren.

• Einbindung eines bestehenden Modells als Teil eines Größeren wie zum Beispiel im Reinforcement-Learning zur Bewertung des Feedbacks oder zur Initialisierung eines CNN.

• Um als Startpunkt für weiteres Lernen aufgegriffen zu werden zum Beispiel das Bildverständnis bei Tag als Startpunkt, für das Training bei Nachbedingungen.

Ausblick und Science-Fiction 

Zusammenfassend ist die Entwicklung des Maschine-Learning innerhalb der letzten 3 bis 5 Jahre gigantisch. Von den scheinbar unlösbaren Aufgaben ein XOR-Logikgatter reproduzierbar erlernen zu können bis hin zur Fähigkeit ganze Bilder durch GAN Netztypen rekonstruieren zu können. Analog hierzu ist vorstellbar, dass Maschine-Learning mittelfristig auch die Schwelle zwischen rationalem Handeln und Emotionen “simuliert” wird. Also die Entscheidung, ob eine „abgeschaute“ Handlung (Aktionismus) plausibler anzunehmen ist, als die deterministische, angelernte Handlung. So hat zum Beispiel Facebook den eigenen Chat-Bot für Vertragsverhandlungen abgeschaltet müssen, nachdem dieser eine eigene, unkontrollierte Sprache entwickelt hat. Der Punkt an die neuronalen Netze selber Computer-Programme zur Lösung von dynamischen Fragestellungen entwickeln, haben wir durch das “Neural Program Induction” bereits überschritten.

Es ist anzunehmen, dass sich in naher Zukunft ein neuer Zweig der Evolution von künstlicher Intelligenz ausprägt. Ein Zweig der sich auf die Entwicklung von “Wächter”-Funktionen konzentriert. Wächter, die das Handeln und die Entwicklung von maschinellem Lernen bewertet, kontrolliert und bei Bedarf einschreiten. Wird das menschliche Lernen ebenfalls als deterministisch angesehen und das Lernen als das iterative ausprobieren und adaptieren von Handlungsoptionen, so wird diese Bild von nötigen „Wächtern“ langfristig nicht mehr Science-Fiction sein.

Autor: Dirk Bangel, Capability Manager “Digital Business Analysis and Optimization” bei der Robert Bosch GmbH