Vertrauen ist gut, KI-Kontrolle besser

Neue Tools und Anwendungen des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme IAIS drängen auf den Markt. Hybride Graph-KI optimiert den Materialeinsatz entlang der Wertschöpfung, Prüftools kontrollieren KI-Systeme auf mögliche Schwachstellen.

Welche Auswirkungen hat es im schlimmsten Fall, wenn bestimmte Materialien nicht lieferbar sind? Was sind geeignete Substitute? Und kann ich den Materialeinsatz noch optimieren, damit so wenig wie möglich verschwendet wird? An dieser Stelle kommt der Materialgraph ins Spiel. Die KI lernt nicht nur aus Texten oder Bildern mehr über Material, Eigenschaften oder Zweck, sondern nutzt vernetztes Wissen und Know-how aus der Praxis, um Materialrisiken für die Produktion oder Dienstleistung zu erkennen und aufzuzeigen, Lieferketten zu steuern, Teilebedarfe optimal zu managen und Materialeinsatz sowie -einkauf zu rationalisieren.

So hat die KI auch ein mögliches Verfallsdatum im Blick, damit ein Material rechtzeitig verbraucht werden kann und nicht entsorgt werden muss. Oder sie prognostiziert permanent die Bedarfsmengen, um Material kosteneffizient zu produzieren und Wege einzusparen.

Doch wie funktioniert so ein Materialgraph genau? Wir müssen ihn uns wie ein Straßennetz der Materialwirtschaft vorstellen, durch das uns die Künstliche Intelligenz wie eine Art Navigationssystem leitet. Möchten die Experten, dass der Weg vom Start zum Ziel möglichst ökologisch verläuft, empfiehlt die KI im übertragenen Sinne eine Route, bei der zum Beispiel durch die Einsparung von Fahrten, etwa zur Auslieferung oder Verwendung des Materials, Kohlenstoffdioxid eingespart werden kann. Wünschen die Experten umgehend eine zielgerichtete Wirkung, wird ihnen die Graph-KI quasi die beste Route in Form eines optimierten Materialmixes vorschlagen.

Ein Beispiel ist das eines Wundversorgers. Der Lösungsansatz stellt die industrielle KI auf ganz neue Füße. Von der vorgeschalteten Lieferkette bis zur Anwendung lässt sich der gesamte Einsatz des Materials optimieren, um die Wirtschaftlichkeit zu verbessern und die Wundheilung im besten Falle zu verkürzen. Gleichzeitig werden voraussichtlich benötigte Materialmengen im Kontext der Therapie sichtbar, um Überschuss und Transportkosten so gering wie möglich zu halten.

Es ist möglich, Materialgraphen auf verschiedene Branchen anzupassen: Dank hybrider KI, die maschinelle Intelligenz mit menschlicher Intelligenz von Experten verbindet, kann die KI-Anwendung auch mit wenig vorhandenen Daten trainiert werden. Ihr Einsatzzweck ist es, Verschwendung bei Materialverbrauch zu vermeiden, Kosten zu senken und vorausschauend Lieferengpässe zu umgehen. Die KI ist quasi ein Sparringspartner für Fachleute, um sie dabei zu unterstützen, anhand von Fakten und Vorschlägen schnelle und fundierte Entscheidungen zu treffen. Nicht die KI entscheidet, ob Route A oder B in Frage kommt. Das liegt im Ermessen der Menschen.

Prüftools für einen sicheren und vertrauenswürdigen Einsatz von KI

Das Fraunhofer IAIS hat zudem mehrere Prüftools und Verfahren entwickelt, die Künstliche Intelligenzen in Bezug auf ihre Verlässlichkeit, Fairness, Robustheit und Transparenz untersuchen und bewerten. Die Prüfksriterien basieren auf dem KI-Prüfkatalog, einem Leitfaden zur Gestaltung vertrauenswürdiger Künstlicher Intelligenz, der von den Fraunhofer IAIS-Experten 2021 veröffentlicht wurde. Seit Anfang 2023 ist er auch in englischer Übersetzung verfügbar.

Doch warum ist es wichtig, die Güte von KI-Anwendungen systematisch prüfen zu können? Insbesondere in sensiblen Anwendungsfeldern, wie etwa der medizinischen Diagnostik, dem HR-Management, dem Finanzwesen, der Strafverfolgung oder in sicherheitskritischen Bereichen müssen KI-Systeme absolut zuverlässige Ergebnisse liefern. Der AI Act – der Europäische Entwurf zur Regulierung von KI-Systemen – stuft viele dieser Beispiele in die Hochrisiko-Kategorie ein und sieht für sie Prüfungen sogar verpflichtend vor. Unternehmen, die Hochrisiko-KI-Anwendungen entwickeln oder einsetzen, müssen sich spätestens jetzt dringend mit der Qualitätssicherung ihrer Anwendungen auseinandersetzen.

Das Tool ScrutinAI

Die Herausforderung dabei: KI funktioniert anders als herkömmliche Software. Letztere ist regelbasiert programmiert, was ein systematisches Durchtesten ihrer Funktionalität erlaubt – also ob die Antworten bzw. Ausgaben in Abhängigkeit der Eingaben korrekt sind. Dies funktioniert bei KI-Anwendungen nicht ohne Weiteres, insbesondere wenn sie auf Neuronalen Netzen basieren.

Das Werkzeug »ScrutinAI« des Fraunhofer IAIS befähigt Prüfer, systematisch nach Schwachstellen von Neuronalen Netzen zu suchen und somit die Qualität der KI-Anwendungen zu testen. Ein konkretes Beispiel ist eine KI-Anwendung, die Anomalien und Krankheiten auf CT-Bildern erkennt. Hier stellt sich die Frage, ob alle Arten von Anomalien gleichermaßen gut erkannt werden oder einige besser und andere schlechter. Diese Analyse hilft zu beurteilen, ob eine KI-Anwendung gut genug für ihren vorgesehenen Einsatzkontext ist. Gleichzeitig können auch Entwickler profitieren, indem sie Unzulänglichkeiten ihrer KI-Systeme frühzeitig erkennen und entsprechende Verbesserungsmaßnahmen ergreifen, wie etwa die Anreicherung der Trainingsdaten um spezifische Beispiele. Der Einsatz des Werkzeugs ist dabei für viele Use Cases denkbar, etwa bei einer KI-Anwendung, die Schwachstellen und Materialfehler in sicherheitskritischen Bauteilen detektiert.

Modulares Software-Framework für KI-Systeme

Weitere Prüftools und Verfahren sind in ein Software-Framework eingebettet und modular miteinander kombinierbar. So lässt sich mit dem sogenannten »Benchmarking«-Werkzeug untersuchen, welches KI-Modell sich am besten für eine bestimmte Aufgabe eignet. Es gibt eine Flut neuer KI-Anwendungen, die Unternehmen in ihre Prozesse integrieren können. Benchmarking kann bei der geeigneten Auswahl unterstützen.. Mit der Methode »uncertAInty« kann zudem gemessen werden, wie sicher sich ein neuronales Netz mit seiner Ausgabe ist. Es kann sein, dass sich ein neuronales Netz sehr unsicher ist, weil es Eingangsdaten erhalten hat, die es aus vorherigen Trainingsdaten noch nicht kennt. Ein autonomes Fahrzeug muss beispielsweise Objekte und Menschen in seiner Umgebung zuverlässig erkennen können, damit es angemessen darauf reagieren kann. Die Unsicherheitsbewertung hilft in solchen Situationen zu messen, wie stark man der Entscheidung des Systems vertrauen kann oder ob bestimmte Fallback-Mechanismen aktiviert werden müssen, also zum Beispiel, ob ein Mensch die finale Entscheidung treffen muss.

www.iais.fraunhofer.de/