JFrog und Nvidia kündigen Partnerschaft an

 JFrog, Entwickler der JFrog Software Supply Chain Plattform,  welche durch die Übernahme von Qwak AI um eine einheitliche MLOps-Plattform erweitert wurde, kündigt eine neue Produktintegration mit Nvidia NIM Microservices an, die Teil der NVIDIA AI Enterprise Softwareplattform sind.

Durch die Integration der JFrog-Plattform mit der JFrog Artifactory-Modellregistrierung und Nvidia NIM können GPU-optimierte, vorab genehmigte KI-Modelle mit zentralisierten DevSecOps-Prozessen in einem durchgängigen Software-Lieferketten-Workflow kombiniert werden. Dadurch können Unternehmen sichere Modelle für Machine Learning  (ML) und Large Language Models (LLMs) in die Produktion bringen, und zwar mit erhöhter Transparenz, Rückverfolgbarkeit und Vertrauenswürdigkeit.

„Da Unternehmen KI-Technologie heutzutage schnell einführen, ist es unerlässlich, Praktiken zu implementieren, die ihre Effizienz und Sicherheit gewährleisten und KI verantwortungsvoll einbeziehen“, sagt Gal Marder, EVP Strategy bei JFrog. „Durch die Integration von DevOps-, Sicherheits- und MLOps-Prozessen in einen durchgängigen Software-Lieferketten-Workflow mit Nvidia NIM-Mikrodiensten können unsere Kunden sicherere Modelle effizient in die Produktion bringen und gleichzeitig ein hohes Maß an Transparenz, Rückverfolgbarkeit und Kontrolle in der gesamten Pipeline gewährleisten.“

Mit der zunehmenden und beschleunigten Nachfrage nach KI in Softwareanwendungen stehen Data Scientists und ML-Ingenieure vor großen Herausforderungen, wenn es darum geht, ML-Modelle in Unternehmensumgebungen zu skalieren. Die Integration von KI-Workflows in bestehende Softwareentwicklungsprozesse bringt zahlreiche Herausforderungen mit sich, wie z.B. fragmentiertes Asset-Management, Sicherheitslücken, Compliance-Probleme und Performance-Engpässe. Diese Komplexität sowie die Anforderungen an flexible und sichere Bereitstellungsoptionen in unterschiedlichen Umgebungen führen oft zu langwierigen, kostspieligen Bereitstellungszyklen und können letztlich das Scheitern von KI-Initiativen zur Folge haben.

JFrog Artifactory bietet eine einzige Lösung für die Unterbringung und Verwaltung aller Artefakte, Binärdateien, Pakete, Dateien, Container und Komponenten, die in der gesamten Software-Lieferkette verwendet werden. Die Integration der JFrog-Plattform in Nvidia NIM soll containerisierte KI-Modelle als Softwarepakete in bestehende Softwareentwicklungs-Workflows integrieren.Durch die Integration von Nvidia NGC – einem Hub für GPU-optimierte Deep-Learning-, ML- und HPC-Modelle – mit der JFrog-Plattform und der JFrog Artifactory-Modellregistrierung können Unternehmen eine zentrale Quelle für alle Softwarepakete und KI-Modelle verwalten. Gleichzeitig nutzen sie bewährte DevSecOps-Praktiken, um Transparenz, Governance und Kontrolle über ihre gesamte Software-Lieferkette sicherzustellen.

Die Integration zwischen der JFrog-Plattform und Nvidia NIM wird mehrere Vorteile bieten, darunter:

• Einheitliche Verwaltung: Zentralisierte Zugriffskontrolle und Verwaltung von NIM-Mikroservice-Containern neben allen anderen Assets, einschließlich proprietärer Artefakte und Open-Source-Software-Abhängigkeiten, in JFrog Artifactory als Modellregister zur nahtlosen Integration in bestehende DevSecOps-Workflows.
• Umfassende Sicherheit und Integrität: Kontinuierliches Scannen in jeder Phase der Entwicklung – einschließlich Containern und Abhängigkeiten – liefert kontextbasierte Einblicke in NIM-Mikroservices mit JFrog-Prüfungs- und Nutzungsstatistiken, die die Compliance fördern.
• Außergewöhnliche Modell-Performance und Skalierbarkeit: Optimierte Performance der KI-Anwendungen durch Nvidia-beschleunigte Recheninfrastruktur mit geringer Latenz und hohem Durchsatz für die skalierbare Bereitstellung von LLMs in großen Produktionsumgebungen.
• Flexible Bereitstellung: Flexible Optionen zur Bereitstellung über JFrog Artifactory, einschließlich selbstgehosteter, Multi-Cloud- und Air-Gap-Bereitstellungsoptionen.

(pd/JFrog)