Thought Leadership
Insiders Technologies bietet ab sofort ein neuartiges Tool zur Auswahl von Large Language Modellen (LLM) als KI-Komponenten an. Der Benchmark vergleicht die Leistung einzelner LLMs basierend auf spezifischen Anforderungen aus dem Inputmanagement beispielsweise von Versicherungen.
Max Mustermann ist umgezogen und muss bei seiner Versicherung seine Adresse ändern – am liebsten per App oder E-Mail. Adressänderungen wie diese sind ein Standardprozess, der sowohl bei seinem als auch bei anderen Versicherern zig 1.000 Mal in der Woche vorkommt – und dabei hohe manuelle Aufwände und ein großes Fehlerpotenzial mit sich bringt. Die Lösung? Intelligente Prozessautomatisierung mit der Power von LLMs!
Large Language Models (LLMs) wie Claude, Llama und GPT sprießen wie Pilze aus dem Boden, sind alle unterschiedlich gut für spezifische Use Cases geeignet und bringen wiederum eine Vielzahl an Vor- und Nachteilen mit sich. Aber welches LLM ist nun das Beste für Ihre individuellen Herausforderungen?
Best of Breed
Angesichts der rasanten Entwicklungen auf dem LLM-Markt stehen Unternehmen vor der Qual der Wahl? Insiders Technologies bietet mit einem Best-of-Breed-Ansatz immer das aktuell beste LLM für die individuellen Bedürfnisse.
Möglich wird das durch ein konsequentes und kontinuierliches LLM Benchmarking und ein damit verbundenes Monitoring der unterschiedlichen Modelle auf dem globalen Technologiemarkt
Das Insiders LLM Benchmarking zeigt nicht nur die aktuellen Top-Performer unter den LLMs auf, sondern bietet auch einen anschaulichen Überblick über alle im Data to Process-Bereich relevanten Modelle. Dabei ist es nicht immer die beste Lösung, ausschließlich auf die leistungsstärksten Modelle zu setzen. Je nach individuellen Anforderungen kann ein Modell mit spezifischen Eigenschaften, wie das Insiders Private LLM mit seinem Fokus auf Datenschutz, für unterschiedliche Unternehmensanforderungen geeignet sein.
LLM Benchmarking
Ein LLM Benchmarking bei zum Beispiel Insiders basiert auf einem spezialisierten IDP-Benchmark, der aus der Expertise als KI- und Softwareunternehmen sowie DFKI-Spin-Off entwickelt wurde. Der Fokus liegt dabei besonders auf der Versicherungs- und Finanzbranche. Die standardisierten Testdaten decken typische Geschäftsvorgänge dieser Branchen ab und ermöglichen eine Bewertung der LLM-Performance in den relevanten Bereichen. Die Testmenge umfasst verschiedene Dokumenttypen wie Adress- und Namensänderungen, Prämienrechnungen, Schadensberichte, SEPA-Mandate und medizinische Dokumente, die als Basis für gängige Geschäftsprozesse dienen.
Das LLM Benchmarking ist ein kontinuierlicher Prozess, der den Best-of-Breed-Ansatz antreibt. Dadurch wird stets den Überblick über die Performance der neuesten LLMs behalten und es kann sichergestellt werden, dass die Kunden mithilfe der flexiblen LLM-Integration der Insiders OvAItion Engine immer die bestmögliche Lösung für ihre Bedürfnisse nutzen. KI-Experten überwachen laufend die leistungsfähigsten Technologien und passen die LLM-Integration in allen Produkten entsprechend an die Markt- und Technologieentwicklungen an.
Mit dem Best-of-Breed-Ansatz erhalten die Kunden die Möglichkeit, hybride Architekturen zu schaffen, die das Beste aus der Welt der externen LLMs und der Insiders-KI-Technologien vereinen – und zwar ohne, dass sich die Kunden selbst zeitintensiv mit den rasanten und komplexen Entwicklungen auf dem globalen LLM-Markt beschäftigen müssen.
Aktueller Performancecheck
Das Insiders LLM Benchmarking bildet regelmäßig die Gesamtperformance verschiedener LLMs ab. In diesem standardisierten Performancecheck werden diejenigen LLMs getestet, die von den Insiders KI-Experten in einer Vorauswahl als besonders geeignet für den Einsatz im Data to Process-Bereich identifiziert wurden. Das umfasst unter anderem ihre jeweilige Performance in den Arbeitsfeldern Informationsklassifikation und -extraktion.
Im aktuellen LLM Benchmarking wurden 15 verschiedene Modelle getestet, darunter bekannte Namen wie GPT-4 Turbo, Claude 3.5 Sonnet und Mistral Large sowie das Insiders Private LLM. Das Ranking der Gesamtperformance, in die sowohl die Leistung im Bereich Extraktion als auch in Klassifikation einfließen, ermöglicht dadurch einen Vergleich der LLMs in Bezug auf die jeweilige Leistungsfähigkeit in Relation zu den verbleibenden Nachbearbeitungsaufwänden.
Der aktuelle LLM Benchmarking zeigt, dass die bekannten US-amerikanischen LLM-Anbieter aufgrund ihrer immensen Rechenpower und der Menge an Trainingsdaten, wie erwartet, die Nase vorn haben. Auf Platz 1 im Gesamtranking landet Claude 3.5 Sonnet von Anthropic mit einem Score von 90,10, dicht gefolgt vom Medienstar GPT-4o von OpenAI mit 87,11. Den dritten Platz belegt Gemini 1.5 Pro von Google mit 86,98.
Im Vergleich mit den LLMs der US-Tech-Giganten erreicht das Insiders Private LLM zwar eine geringere Gesamtperformance von insgesamt 72,33, punktet jedoch durch seine unübertroffenen Datenschutzstandards. Dies ist seitens des Anbieters ein ganz bewusster Tradeoff, der speziell für informationssensible Branchen wie Versicherungen und Finanzen entscheidend ist. Hier müssen sensible Daten wie Personalausweise, SEPA-Mandate oder medizinische Informationen schnell und zuverlässig verarbeitet werden, ohne dabei Kompromisse beim Datenschutz einzugehen.
Das Insiders Private LLM wird von dem Softwareunternehmen in der eigenen Cloud selbst betrieben und unterliegt dem bekannten, hohen Datenschutzlevel. Während große externe LLMs zudem oft von Faktoren wie Drosselungen oder Rate Limits betroffen sind und der Datenfluss nicht immer transparent nachvollzogen werden kann, bietet das Insiders Private LLM volle Unabhängigkeit und Skalierbarkeit nach den individuellen Kundenbedürfnissen. Mit einer ISO-zertifizierten Infrastruktur und der nahtlosen Integration in bestehende Systeme garantiert es somit maximale Sicherheit und volle Kontrolle für Kunden mit höchsten Datenschutzansprüchen.
Was ist also „das beste“ LLM?
Bei der Frage nach dem Besten geht es nicht nur um die reine Power. Gerade im Versicherungs- und Finanzbereich müssen Unternehmen oft zwischen Leistung und Sicherheit abwägen. Hinzukommen individuelle Vorgaben und Präferenzen der Unternehmen in Bezug auf Kosten, Geschwindigkeit und Dunkelverarbeitung.
Durch die Kombination aus state-of-the-art Deep Learning-Verfahren, tiefgehender LLM-Expertise und über 25 Jahren Branchenerfahrung im Finanz- und Versicherungsmarkt bietet Insiders seinen Kunden leistungsfähige Automatisierungslösungen, die speziell auf die Bedürfnisse sicherheitskritischer Anwendungsfälle zugeschnitten sind und gleichzeitig höchstmögliche Performance liefern.
Je nach individuellen Anforderungen im Spannungsfeld von Performance, Latenz, Dunkelverarbeitung und Kosten ermöglicht das Unternehmen durch die Integration von LLMs von Drittanbietern seinen Kunden einen bequemen und variablen Zugang zu genau dem LLM, das sie wirklich brauchen. Trotz der etwas besseren Ergebnisse externer LLMs ist das Insiders Private LLM eine attraktive Lösung für diejenigen Unternehmen, die höchste Datenschutzstandards einhalten müssen.
Somit muss nicht zwischen Performance und Sicherheit entscheiden werden. Das Insiders LLM Benchmarking ist dabei der verlässliche Referenzpunkt, um im schnelllebigen LLM-Markt den Durchblick zu behalten.
(cm/Insiders)
