Neue Testing-Methode für Künstliche Intelligenz

Digitale Qualitätssicherung umfasst auch das Trainieren und Testen von Künstlicher Intelligenz. Mit einer skalierbaren Lösung lassen sich Algorithmen schneller trainieren und die Ergebnisse leichter auf Schwachstellen und Verzerrungen im Lernmuster überprüfen. Damit kann das Risiko eines Bias, sprich einer Diskriminierung durch Künstliche Intelligenz aufgrund mangelhafter Datengrundlage, reduziert werden.

Basis der neuen Lösung von Applause ist die globale Community geprüfter Applause-Tester, die ein möglichst breites Spektrum an Lernszenarien und -daten bietet. Die so trainierten Algorithmen und Anwendungen werden auf diversen Geräten sowie in verschiedenen geographischen und kulturellen Umgebungen getestet, um Probleme und Schwachstellen zu identifizieren. Damit lässt sich in Echtzeit verwertbares Nutzer-Feedback erzeugen, was letztlich Entwicklungszyklen von KI-Anwendungen verkürzt und es führenden Marken erlaubt, ihren Kunden qualitativ hochwertige KI-gestützte Nutzererlebnisse zu bieten.

Echte Tester liefern Datenbasis für KI

„Nutzer erwarten, dass sich KI-Anwendungen natürlicher und somit “menschlicher” verhalten. Der crowdbasierte Ansatz von Applause liefert dafür genau das, was dem KI-Testing bisher gefehlt hat: die Möglichkeit, eine Vielzahl von realen menschlichen Interaktionen durchzuspielen, bevor eine Anwendung veröffentlicht wird”, erklärt Kristin Simonini, VP of Product bei Applause. „Damit wird nicht nur das KI-basierte Nutzererlebnis verbessert, sondern die umfassende Community sorgt auch dafür, dass Bias-Risiken verringert werden und Künstliche Intelligenz ein Stück näher an die reale Welt heranrückt.”

Die Daten, die durch die Tester-Community erzeugt werden, spiegeln unzählige Merkmale wider: Zahlreiche Länder, Altersgruppen, Geschlechter, Ethnien und Kulturen sind ebenso vertreten wie politische Zugehörigkeiten, Ideologien, sozioökonomische Merkmale oder das Bildungsniveau. Im Gegensatz zu kleinen Testgruppen führt die breite Basis der Stichproben aus der Crowd zu stärker repräsentativen und weniger verzerrten Ergebnissen.

KI-Bias frühzeitig erkennen

Die Applause Community stellt nicht nur diverse Trainingsdatensätze zur Verfügung, um Algorithmen anzureichern – sie kann auch die Performance der Algorithmen testen, um nach Verzerrungen zu suchen. Wenn sich zu irgendeinem Zeitpunkt eine Verzerrung in einen Algorithmus eingeschlichen hat, kann die Gemeinschaft ihn beim Testen der Anwendung identifizieren. Derartige Bias-Fehler werden oft von kleineren oder weniger heterogenen Gruppen von Testern übersehen.

Insgesamt stehen viele KI-Anwendungen vor den gleichen Herausforderungen – ob nun bei virtuellen Assistenten, die Bestellungen und Befehle interpretieren, oder Ernährungs-Apps, die Lebensmittel aus hochgeladenen Fotos identifizieren sollen: Auf der einen Seite fehlt oft eine fundierte Datenbasis, um Algorithmen beizubringen, wie man korrekt interpretiert und reagiert. Auf der anderen Seite muss der Output von KI auf Verzerrungen geprüft werden, um das gewünschte menschenähnliche Verhalten der Künstlichen Intelligenz sicherzustellen. Die Lösung adressiert beide Probleme und bietet in allen Phasen der Entwicklung schnelles, iteratives Feedback aus der Sicht des Endverbrauchers. So können Marken ein Erlebnis schaffen, das Kunden überzeugt.

Speziell für die folgenden Bereiche ist die Lösung von Applause besonders geeignet:

• Sprachassistenten: Mit einer Vielzahl von unterschiedlichen Befehlen und Äußerungen lassen sich sprachfähige Geräte effizient trainieren. Durch umfassende Tests unter verschiedensten Bedingungen wird sichergestellt, dass die Anwendungen Kommandos verstehen und entsprechend reagieren.
   
• Optische Zeichenerkennung (OCR): Durch die Bereitstellung von Dokumenten und entsprechenden Texten wird der Algorithmus auf Texterkennung trainiert. Geschulte Tester gleichen dann die gedruckten Dokumente und den erkannten Text ab.
   
• Bilderkennung: Tester liefern unter realen Bedingungen Fotos von vordefinierten Objekten und Orten und stellen sicher, dass Objekte erkannt und korrekt identifiziert werden.
   
• Biometrie: Anwendungen und Hardware zur Überprüfung biometrischer Eingaben wie Gesichter und Fingerabdrücke werden von einer breiten und möglichst diversen Gruppe von Testern geprüft, um die reibungslose Funktionalität sicherzustellen und Bias-Fehler zu minimieren.
   
• Chatbots: Erfahrene Tester spielen strukturiert eine Vielzahl von Szenarien durch, prüfen Beispielfragen und testen unterschiedliche Interaktionsabsichten, um sicherzustellen, dass der Chatbot diese versteht und menschenähnlich reagiert.

https://www.applause.com/de/kuenstliche-intelligenz-trainieren-testen