Auf dem Weg zur transparenten KI

Im Schach, Poker und Go hat künstliche Intelligenz (KI) die Menschheit längst überflügelt. Auch Röntgenbilder oder Aktienkurse analysiert sie bereits ähnlich gut – und teilweise sogar besser – als ein Experte aus Fleisch und Blut. Doch auch die präzisesten KI-basierten Analysen haben einen Makel.

Bis jetzt ist es für einen Menschen oft kaum nachvollziehbar, wie sie zustande kommen. In einem neuen Projekt arbeitet ein interdisziplinäres Team nun daran, mehr Licht in die „Black Box“ der KI zu bringen.

Der Physiker und Neurowissenschaftler Moritz Helias (im Bild, Quelle: RWTH Aachen / Peter Winandy) vom Forschungszentrum Jülich und der RWTH Aachen koordiniert das Vorhaben, das vom Bundesministerium für Bildung und Forschung mit 2 Millionen Euro gefördert wird.

Herr Helias, auch wie ganz gewöhnliche Computeranwendungen funktionieren, ist für einen Laien oft nicht klar. Wieso ist mangelnde Transparenz gerade im Bereich der KI ein Problem?

Moritz Helias: Bei traditionellen Anwendungen ist meist ganz genau definiert, wo welche Informationen gespeichert und wie diese im Zuge der Berechnung verwendet werden. Diese Modelle sind teilweise sehr komplex: beispielsweise Wetter- oder Klimamodelle. Trotzdem lässt sich die Berechnung Schritt für Schritt ganz exakt nachvollziehen. Man kann genau abschätzen, welche Folgen es hat, wenn man diesen oder jenen Parameter verändert.

Bei Anwendungen im Bereich der KI ist das anders. Diese sind tatsächlich meist wie eine Black Box. Speziell im Bereich des Deep Learning, bei dem die Information letztlich in Millionen trainierter Parameter gespeichert ist. Diese Anwendungen basieren auf künstlichen neuronalen Netzen, die nach dem Vorbild der natürlichen neuronalen Netze im Gehirn aufgebaut sind. Diese künstlichen neuronalen Netze bestehen aus mehreren Schichten von vernetzten künstlichen Neuronen und „lernen“ anhand großer Datensätze, aus einem Input ein bestimmtes Ergebnis oder eine bestimmte Vorhersage abzuleiten. Die Informationen werden hier nicht an einem bestimmten Ort gespeichert, sondern sie bestehen in der Stärke der Verbindung zwischen künstlichen Neuronen. Welche Merkmale der Daten letztlich zu einer Entscheidung führen, kann bisher niemand genau sagen.

Wo wäre in der Praxis mehr Transparenz wünschenswert?

Moritz Helias: Tatsächlich ist die fehlende Transparenz in vielen Bereichen eigentlich kein Problem. Beispielsweise wenn es darum geht, im Internet bestimmte Produkte vorzuschlagen, Sprachbefehle zu verstehen oder die Fotosammlung am PC zu sortieren. Aber in manchen sensiblen Bereichen will man doch gerne einen Einblick haben und verstehen, wie die Entscheidungen zustande kommen.

Besonders wichtig ist das natürlich im medizinischen Bereich. Beispielsweise um besser nachvollziehen zu können, aus welchen Gründen eine Anwendung mit KI eine Empfehlung für einen chirurgischen Eingriff abgibt oder sich dagegen entscheidet. Das Gleiche gilt natürlich auch für Assistenzsysteme mit KI, die an Operationen beteiligt sind und den Chirurgen oder die Chirurgin unterstützen.

Transparenz ist aber auch ganz grundsätzlich von Bedeutung: Nur wenn man die Ursachen kennt, kann man Fehlentscheidungen einer KI gezielt korrigieren. Manchmal passieren mit Methoden der künstlichen Intelligenz recht offensichtliche Fehler; bekannt sind beispielsweise falsche Bildinterpretationen durch KI. Solche Fehler können gravierende Folgen haben, wenn sie zum Beispiel bei selbstfahrenden Autos auftreten. Oder wenn sich die KI „austricksen“ lässt und dann bei einer Zugangskontrolle versagt.

Wie wollen Sie in Ihrem neuen Forschungsprojekt mehr Transparenz schaffen?

Moritz Helias: Im Kern greift das Projekt auf die sogenannte Renormierungsgruppe zurück, daher kommt auch der Name „RenormalizedFlows“. Die Methodik gilt als eine der größten Errungenschaften der theoretischen Physik im 20. Jahrhundert. Sie wurde speziell entwickelt, um Prozesse zu analysieren, die sich erst aus dem Zusammenspiel einer Vielzahl von Teilprozessen ergeben. Am Projekt beteiligt sind deshalb Physiker um Carsten Honerkamp von der RWTH Aachen, die auf diesem Gebiet langjährige Expertise besitzen. Dazu kommen Experten aus mehreren anderen Fachbereichen: Das sind zum einen Neurowissenschaftler und Mediziner um Tonio Ball von der Uniklinik Freiburg, aber auch Informatiker um Frank Hutter, einer der weltweit führenden Experten für Strukturoptimierung neuronaler Netzwerke. Einen starken Anwendungsbezug bekommt das Projekt durch die Expertise für Hardware und Softwarelösungen der medizinischen Diagnostik von Frank Zanow und Patrique Fiedler des beteiligten Unternehmens eemagine Medical Imaging Solutions GmbH.

Worum geht es bei Ihrem Ansatz konkret?

Moritz Helias: Tiefe neuronale Netzwerke bestehen aus einer Hintereinanderschaltung vieler Schichten von Neuronen. In diesen Schichten werden eingehende Daten Schritt für Schritt zerlegt. Aber diese Zerlegung ist so komplex, dass sie für einen Menschen nicht direkt nachvollziehbar ist.

Die eingangs erwähnte Renormierungsgruppe wollen wir im Projekt mit einer weiteren, noch relativ neuen Entwicklung kombinieren: den invertierbaren, das heißt umkehrbaren tiefen Netzwerken. Diese Netzwerke erlauben es, die zugrundeliegenden Ursachen in den Daten sichtbar zu machen. Und sie machen es möglich, den gesamten Prozess umzukehren. So wird es theoretisch möglich, die plausibelsten Daten zu errechnen, die zu einem bestimmten Ergebnis oder einer bestimmten Ursache gehören. Das ist enorm wichtig. Auf diese Weise kommt man zu Entscheidungen, deren Ursachen direkt überprüfbar, also für den Menschen nachvollziehbar werden.

Welche Anwendungen haben Sie im Fokus?

Moritz Helias: In unserem Projekt geht es vor allem um Grundlagenforschung. Im Mittelpunkt steht dabei die Analyse von Elektroenzephalografie-Daten (EEG). Dabei arbeiten wir etwa mit Tonio Ball von der Universität Freiburg zusammen, der KI-Systeme als mögliche Diagnosehilfe zur Erkennung von Krankheiten wie Epilepsie sieht.

EEG-Signale spielen aber auch für die Steuerung von Prothesen eine Rolle. KI-Systeme helfen dabei, die Hirnsignale in Steuerungsbefehle zu übersetzen. Damit das nicht nur im Labor, sondern auch im Alltag funktioniert, muss man manche Störquellen gezielt ausschalten. Lichtschalter können beispielsweise ganz ähnliche Signalmuster hervorrufen wie die Gehirnsignale, die man zur Steuerung der Prothese verwendet. Damit es beim Bedienen eines Schalters nicht zu einer Fehlfunktion kommt, muss man diese Störsignale gezielt ausschließen. Dies ist auch ein weiteres Ziel des Projekts.

www.fz-juelich.de