Thought Leadership
Nachdem OpenAI mit der Veröffentlichung von ChatGPT 3.5 im November 2022 einen regelrechten Hype um das Thema generative KI losgetreten hat, sind über ein Jahr später viele Unternehmen aktiv damit beschäftigt, derartige Sprachmodelle in ihre Unternehmensprozesse zu integrieren und Einsatzmöglichkeiten auszuloten.
Allen voran ist hier die High-Tech-Branche: 70% der in einer Studie befragten Führungskräfte berichten von Pilotprojekten mit generativer KI in ihrem Unternehmen. Im Gegensatz dazu geben nur 18% an, dass sie generative KI bereits an einigen Stellen eingeführt haben. Diese Differenz lässt sich zum einen auf die Zurückhaltung in Deutschland in Konfrontation mit einer neuen Technologie zurückführen, zum anderen stellt die Umwandlung und Integration eines Pilotprojektes oder Proof of Concepts (PoC) in reale Anwendungen viele Unternehmen vor eine Herausforderung.
Ein PoC ist vergleichsweise simpel, nicht teuer und kann in der Regel vom Unternehmen selbst, ohne Hilfe von außen, umgesetzt werden. Wie dieses PoC dann allerdings in großem Rahmen in die Unternehmensprozesse integriert werden kann und welchen Mehrwert – jenseits von Produktivität und finanziellen Vorteilen – es bringen soll, wird zu diesem Zeitpunkt eher vernachlässigt.
Nach dem erfolgreichen Abschluss eines PoC treten nämlich plötzlich andere Aspekte in den Vordergrund. Dazu gehören zum Beispiel die Sicherheit und Zuverlässigkeit von generativer KI, der Datenschutz, die Integration in bestehende Systeme oder das menschliche Feedback bei der Entwicklung der KI-Modelle. Erst durch diese Aspekte wird ein Mehrwert für sowohl das Unternehmen als auch die Mitarbeiter geschaffen. Ohne diese bleibt das PoC ein Konzept.
Damit diese Transformation vom Konzept zur operativen Lösung gelingt, sollten Unternehmen folgendes in Betracht ziehen:
- Der Umgang mit Daten
Generative KI kann unter drei verschiedenen Gesichtspunkten betrachtet werden:
(1) die Umwandlung von unstrukturierten Daten zu strukturierten Daten;
(2) die Umwandlung von strukturierten Daten zu unstrukturierten Daten, und
(3) regelbasierte Geschäftslogik.
Beim ersten Fähigkeitsset, der Umwandlung von unstrukturierten Daten zu strukturierten Daten, wird die Interpretation und Zusammenfassung von Inhalten sowie das Erzeugen von Tags bzw. Attributen ermöglicht. Ein Beispiel dafür wäre die Extraktion von Schlüsselbegriffen aus allen Verträgen, um so Versicherungswerte zu erhalten. Die unstrukturierten Daten können dabei außerdem in Form von Emails, Rechnungen im Bildformat oder auch Legacy Software-Code auftreten.
Generative KI ist diesbezüglich sehr zuverlässig – vorausgesetzt die erforderlichen Sicherheitsmaßnahmen, Kontrollen und der Kontext wurden bei der Umsetzung berücksichtigt.
Im zweiten Fähigkeitsset, der Umwandlung von strukturierten zu unstrukturierten Daten, geht es um die Erstellung von Inhalten, zum Beispiel einer personalisierten E-Mail oder einem Bild, basierend auf klar definierten Attributen.
Die dritte Fähigkeit, regelbasierte Geschäftslogik, verknüpft das erste und zweite Fähigkeitsset zu vollständiger Funktionalität. Ein anschauliches Beispiel wäre hier ein automatisierter Helpdesk, bei dem das erste Fähigkeitsset eine eingehende Email interpretiert und die wichtigsten Fragen und Daten extrahiert. Daraufhin entscheidet die regelbasierte Geschäftslogik, Informationen aus den verschiedenen Enterprise Systemen abzurufen und eine detaillierte und emphatische Antwort auf die Anfrage zu geben.
- Komplexität der verschiedenen Anwendungsszenarien
Außerdem können je nach Komplexität der eingesetzten Geschäftslogik, drei verschiedene Stufen bei den Anwendungsfällen in Unternehmen betrachtet werden:
Beim ersten Fall gibt es simple, klar definierte Regeln, die festlegen, welche Reaktion erfolgen soll, wenn eine vordefinierte Bedingung erfüllt ist. Derartige Anwendungsfälle sind aufgrund der festgelegten Regeln relativ einfach zu produzieren. Aber auch hier werden Techniken wie Reinforcement-Learning-from-Human-Feedback (RLHF) und verantwortungsvolle KI-Frameworks nötig, um die Risiken im Unternehmen möglichst gering zu halten. Richtig eingesetzt können hier vor allem Effizienz- und Effektivitätsvorteile im Mid- und Backoffice realisiert werden.
Der Einsatz statistischer Modelle gestaltet sich bereits anspruchsvoller. Mit deren Hilfe wird ein verbesserter Lösungsweg für die Erzielung von Ergebnissen erstellt. Das können zum Beispiel weitere Produktvorschläge bei einer Online-Bestellung sein oder zusätzliche Informationen, die für einen Kunden relevant sind. Diese Anwendungsfälle ermöglichen häufig wertsteigernde Maßnahmen vom Front- bis Backoffice, wie die erwähnten Upsell-/Cross-Sell-Dienstleistungen, was letzten Endes eine Umsatzsteigerung zur Folge hat.
Der letzte vielversprechendste Anwendungsfall, bei dem das Potential von generativer KI wirklich spürbar wird, ist das „Denken“ und „Handeln“. Hier wird generative KI nicht nur dazu eingesetzt, um Inhalte zu verstehen oder zu erstellen, sondern kann seine eigene Logik entwickeln, mit deren Hilfe die nächsten Handlungsschritte entschieden werden können. In Situationen, in denen komplexe Aufgaben durch aufwändige Evaluation und strategische Planung bewältigt werden müssen, stößt herkömmliches Prompting schnell an seine Grenzen.
Erst im Mai wurde das sogenannte Tree-of-Thought-Framework in der Forschung vorgestellt. Anders als herkömmliche Prompt-Engineering-Methoden wie Chain-of-Thought, setzt es ein externes Modul ein, um Textabschnitte als Zwischenschritte für die Problemlösung zu nutzen. Dadurch kann das Sprachmodell den Fortschritt bei den einzelnen Schritten evaluieren und bei Entscheidungen verschiedene Argumentationspfade berücksichtigen.
Ein Large Language Model, das mit einem Problem konfrontiert ist, kann also in einzelnen Schritten vorgehen und für jeden Schritt mithilfe einer Datenbank entscheiden, was der empfohlene Weg ist und was nicht. Am Schluss präsentiert das LLM dann sein finales Ergebnis, welchen Lösungspfad es in diesem Fall für den besten erachtet. Dieser Fall ist vor allem darauf ausgelegt, strategische Erkenntnisse für Managementteams bei der Hypothesengenerierung und der Bestimmung der nächsten besten Strategie für das Unternehmen zu liefern.
- Datenschätze und Datenfluss
Daten sind das Gold des 21. Jahrhunderts – ein Satz der sich auch in Bezug auf generative KI als wahr erweist, gerade wenn es um die Skalierung der erprobten PoCs geht. Denn ohne eine Datenbank mit entsprechenden Informationen, aus der sich das Large Language Model bedienen kann, um die zuvor genannten Anwendungsfälle zu bedienen, ist der Einsatz von generativer KI wertlos.
Unternehmen müssen zunächst sicherstellen, dass sie verwertbare Daten haben, die eine KI verwenden kann. Über Jahrzehnte geführte Logbücher oder Aufzeichnungen können da wahre Goldschätze sein. Und wer solche Informationen nicht besitzt muss diese erst mühsam ansammeln. Der Datenfluss muss automatisiert und an die KI-Anwendung weitergegeben werden – erst dann ist diese in der Lage zu antworten.
Diese Informationen müssen außerdem in bestehende Enterprise-Systeme, wie ERP, CRM oder auch E-Mail, integriert werden. Nur um eine Einordnung zu geben, wie wesentlich dieser Aspekt ist und welchen Aufwand er erfordert: für jede 10 Dollar, die in generative KI investiert werden, werden 9 davon verwendet, um Datenpipelines zu schaffen und generative KI in die bestehenden Systeme zu integrieren. Lediglich 1 Dollar geht davon tatsächlich in den Ausbau von KI-Anwendungen.
Woran scheitert die Umsetzung in Unternehmen?
Ein häufiges Hemmnis bei der Implementierung von generative KI sind Sicherheits- und Datenschutzbedenken. IT-Abteilungen von Unternehmen äußern Bedenken hinsichtlich der Sicherheit von Plattformen wie OpenAI. Selbst wenn Microsoft eine Haftungszusage gibt, dass sie Verluste im Falle von Datenlecks abdecken würden, bleibt die Unsicherheit bestehen. Die Frage, welche Plattform für generative KI genutzt werden soll, wird somit zu einer vorrangigen Entscheidung der IT-Manager.
Der Schutz von Missbrauch, insbesondere bei kundenorientierten Anwendungen wie dem Helpdesk. Halluzinationen oder Negative Prompting könnten zu rechtlichen und geschäftlichen Konsequenzen führen. Zwar besteht die Möglichkeit generative KI auch in geschäftsunkritischen Bereichen einzusetzen, allerdings wird ihr Potential dadurch stark eingeschränkt.
Und nicht zuletzt spielt auch der Kostenfaktor eine wesentliche Rolle. Pro Anfrage an OpenAI zahlen Unternehmen einige Cent, was bei einem anderen Anbieter vielleicht nur die Hälfte kostet. In kleinen Mengen stellt dies zwar kein Problem dar – bei der Skalierung macht sich dieser Aspekt allerdings deutlich bemerkbar. Für manche Anwendungen reicht also auch ein Open-Source-LLM aus, das zwar nicht so funktionsreich ist wie bei OpenAI, dafür aber preiswerter.
POCs können ein guter Anfangspunkt sein, um einen Anwendungsfall in kleinem Rahmen zu testen. Ob es dann allerdings auch möglich ist, diesen zu skalieren und in die Unternehmensabläufe zu integrieren, hängt von vielen Faktoren ab, die während der Anfangsphase noch nicht ersichtlich sind.
