Zoho setzt für die Entwicklung seiner LLMs auf NVIDIA NeMo

Der globale Technologieanbieter Zoho hat bekannt gegeben, dass das Unternehmen zur Entwicklung von Large Language Models für seine SaaS-Anwendungen zukünftig auf die AI-Accelerated-Computing-Plattform von NVIDIA setzt. Dazu gehört als Teil der NVIDIA-AI-Enterprise-Software auch die End-to-End-Plattform NVIDIA NeMo.

Die fertig entwickelten Large Language Models und Anwendungen werden den mehr als 700.000 Kunden von Zoho weltweit über die Produktmarke ManageEngine und Zoho.com zur Verfügung stehen. Das Unternehmen hat im vergangenen Jahr mehr als zehn Millionen US-Dollar in NVIDIAs KI-Technologie und GPUs investiert, weitere zehn Millionen sind für das nächste Jahr geplant. Die Ankündigung wurde während des NVIDIA AI Summit in Mumbai bekannt gegeben.

„Viele der heute auf dem Markt angebotenen LLMs sind für die Nutzung durch private Anwender konzipiert und bieten nur einen begrenzten Nutzen für Unternehmen“, erklärt Ramprakash Ramamoorthy, Director of AI bei Zoho. „Wir haben es uns zur Aufgabe gemacht, LLMs zu entwickeln, die speziell auf eine breite Palette von Geschäftsanwendungen zugeschnitten sind. Da wir einen gesamten Technologie-Stack mit Produkten besitzen, die verschiedene Geschäftsfunktionen abdecken, können wir das wesentliche Element integrieren, das KI wirklich effektiv macht: Kontext.“ 

Seit jeher liegt eine der Prioritäten von Zoho auf der datenschutzkonformen Entwicklung von KI-Modellen, die spätere Anpassungen überflüssig macht. Ziel von Zoho ist es, Unternehmen dabei zu unterstützen, schnell und effektiv einen Return on Investment zu erzielen, indem sie den gesamten Stack der KI-Software und des beschleunigten Computings von NVIDIA nutzen, um den Durchsatz zu erhöhen und die Latenz zu verringern. 

Zoho entwickelt seit mehr als einem Jahrzehnt eigene KI-Technologien und integriert sie kontextbezogen in ein breites Portfolio von über einhundert Lösungen seiner einzelnen Geschäftsbereiche und ManageEngine. Der KI-Ansatz von Zoho ist multimodal und zielt darauf ab, kontextbezogene Intelligenz bereitzustellen, die den Nutzern hilft, Entscheidungen zu treffen. Dafür entwickelt das Unternehmen neben LLMs auch Narrow, Small und Medium Models. Diese Vielfalt bietet die Option, Modelle unterschiedlicher Größe zu verwenden, um bessere Ergebnisse für eine Vielzahl von Anwendungsfällen zu erzielen. Der Einsatz von mehreren Modellen bedeutet auch, dass Unternehmen, die nicht über große Datenmengen verfügen, dennoch von Künstlicher Intelligenz profitieren können. Mit dem Datenschutz als zentralen Punkt in der KI-Strategie von Zoho werden die einzelnen LLM-Modelle nicht auf Kundendaten trainiert. 

„Die Möglichkeit, aus einer Reihe von KI-Modellgrößen zu wählen, versetzt Unternehmen in die Lage, ihre KI-Lösungen exakt auf ihre Bedürfnisse zuzuschneiden und dabei ein Gleichgewicht zwischen Leistung und Kosteneffizienz zu finden“, sagt Vishal Dhupar, Managing Director Asia South bei NVIDIA. „Mit der KI-Software und der beschleunigten Computing-Plattform von NVIDIA baut Zoho eine breite Palette von Modellen auf, um die vielfältigen Anforderungen seiner Geschäftskunden zu erfüllen.“

Im Rahmen der Zusammenarbeit wird Zoho seine LLMs mit der NVIDIA-Accelerated-Computing-Plattform und NVIDIA Hopper GPUs beschleunigen sowie die End-to-End-Plattform NVIDIA NeMo für die Entwicklung kundenspezifischer generativer KI nutzen – einschließlich LLMs, multimodaler, visueller und Sprach-KI. Darüber hinaus testet Zoho NVIDIA TensorRT-LLM, um seine LLMs für den Einsatz zu optimieren. Die Ergebnisse zeigen eine 60-prozentige Steigerung des Durchsatzes sowie eine 35-prozentige Reduzierung der Latenz im Vergleich zu einem zuvor verwendeten Open-Source-Framework. Das Unternehmen verbessert auch andere Workloads wie Sprache-zu-Text auf der beschleunigten NVIDIA-Computing-Infrastruktur.

(pd/Zoho)