Thought Leadership
Excelero integriert in seine software-definierte Blockspeicherlösung NVMesh das Cluster-Dateisystem BeeGFS. Im Vergleich zu direkt angeschlossenen NVMe-Speichern bietet die neue Speicherlösung eine dreimal höhere Performance und eignet sich so insbesondere für datenintensive Workloads, High-Performance-Computing (HPC) sowie künstliche Intelligenz und maschinelles Lernen.
Mit NVMesh werden verteilte NVMe-Speicher-Ressourcen mit der Möglichkeit zum Erstellen beliebiger dynamischer Blockspeicherkapazitäten zusammengefasst (Grafik: Excelero).Excelero, spezialisiert auf software-definierten Blockspeicher, und ThinkParQ, Entwickler des Cluster-Dateisystems BeeGFS, haben ihr kombinierte Speicherlösung erstmals auf der ISC Super Computing-Messe in Frankfurt präsentiert. Hierbei wurde der software-definierte Blockspeicher NVMesh für gemeinsame NVMe-Speicher in das parallele Cluster-Dateisystem BeeGFS integriert. Dies soll im Speichersystem zu niedrigen Latenzen führen, vergleichbar mit denen in einem lokalen Laufwerk.
Die Benchmark-Tests der ersten Auslieferungen zeigen, dass die Kombination der beiden Lösungen eine maximale Ressourcen-Auslastung und Flexibilität für Speichersysteme ermöglicht. Konzipiert sei die Lösung, Sven Breuner, Field CTO bei Excelero zufolge, dank ihrer bis zu dreifach höheren Performance im Vergleich zu Direct-Attached-NVMe für datenintensive Workloads, High Performance Computing (HPC), künstliche Intelligenz, maschinelles Lernen und Cloud-Anwendungen.
Höhere Produktivität von GPU-Computing-Clustern gefordert
Mit dem neuen NVMe-Speicher-Cluster mit integriertem BeeGFS und NVMesh, reagieren die beiden Speicherhersteller, eigenen Angaben zufolge, auf die Nachfrage von Anwendern, die sich eine höhere Produktivität von fortschrittlichen GPU-Computing-Clustern wünschen. Für viele Unternehmen liegt gerade bei KI-Anwendungen der Flaschenhals im Speicher. So lassen sich I/O-intensive Applikationen selbst auf GPU-Systemen nicht schnell genug verarbeiten. Daher müssen Datensätze häufig von Hand lokal kopiert werden müssen.
NVMesh Server-SAN mit den drei Modulen Client, Target und Management ermöglicht die Umsetzung einer hyperkonvergenten Infrastruktur (Grafik: Excelero).
»Die Fähigkeit von NVMesh, eine riesige Menge an IOPS mit den extrem niedrigen Latenzen von NVMe-Laufwerken über Netzwerke mit hochverfügbaren Volumes bereitzustellen, hat uns sehr beeindruckt«, erklärt Frank Herold, CEO von Thinkparq. »Das Gleiche gilt für die Option mittels verteiltem Erasure-Coding auf der Blockspeicher Ebene und BeeGFs eine hohe Effizienz für unterschiedlichste Zugriffsmuster und Dateigrößen bereitzustellen.«
Lior Gal, CEO und Mitgründer von Excelero, ergänzt: »Man kann ein Unternehmen von morgen nicht auf einer Infrastruktur von gestern aufbauen. Wir freuen uns darüber, wie nahtlos NVMesh und BeeGFS zusammen funktionieren. Dadurch müssen weder die IT-Teams noch die Endbenutzer in Organisationen Abstriche machen.« Durch die Zusammenarbeit mit Thinkparq sei er überzeugt, dass weltweit noch mehr Unternehmen ihren NVMe-ROI maximieren und die Effizienz ihrer gesamten Operationen steigern können.
Vergleichstests belegen hohe Performance von NVMesh
Die von Thinkparq entwickelte Software-Lösung BeeGFS soll einen schnellen Zugriff auf Speichersysteme aller Art und Größe ermöglichen (Grafik: Thinkparq).Zum Nachweis der Möglichkeiten dieser neuen Scale-out-Infrastruktur wurden die Standardtests mdtest und IOR herangezogen. Der Testaufbau bestand aus einem kompakten 2U-Chassis mit vier Servern und insgesamt 24 NVMe-Laufwerken, das über ein 100-Gbit-RDMA-Netzwerk mit acht BeeGFS-Client-Compute-Knoten verbunden war.
Die Vergleichstests wurden mit der exakt gleichen Hardware-Konfiguration durchgeführt: BeeGFS mit Direct-Attached-NVMe und BeeGFS mit logischen NVMesh-Volumes. NVMesh wurde zum Auslagern der Spiegelungs-Operationen verwendet, hier sprechen die Hersteller von einer Beschleunigung des Datei-Erstellungsprozess um das Dreifache. Auch das Lesen der Metadaten erfolgte 2,5 Mal schneller. Für den Random-Zugriff auf kleine Dateien, was häufig als besonders kritisch für die Anwendungsleistung gesehen wird, hat die geringe Latenz von NVMesh die BeeGFS 4K Schreib-IOPS auf 1,25 Millionen pro Sekunde gesteigert – das entspricht einer 2,5-fachen Verbesserung.
Mit dem verteilten Erasure-Coding von NVMesh für BeeGFS erhalten die Nutzer bis zu 90 Prozent nutzbare Kapazität ohne Einfluss auf die Tolerierbarkeit von Laufwerkausfällen. Gleichzeitig erzeugt dieses Einsteigersystem einen Streaming-Durchsatz von 75 GByte/s.
Das Ziel von Thinkparq ist es, die schnellsten, flexibelsten und stabilsten Lösungen für jede leistungsorientierte Umgebung zu entwickeln. Das Unternehmen wurde 2014 als Spin-off vom Fraunhofer Center for High-Performance Computing gegründet und ist seither für die Weiterentwicklung von BeeGFS verantwortlich. Thinkparq arbeitet eng mit Systemintegratoren zusammen, um schlüsselfertige Lösungen zu entwickeln.
Excelero entwickelt verteilte Blockspeicher mit geringen Latenzen für webbasierte Anwendungen wie KI, maschinelles Lernen und GPU-Computing. Das Unternehmen wurde 2014 von mehreren Speicher-Veteranen gegründet, die von den Shared-Nothing-Architekturen der Technologie-Giganten für webbasierte Anwendungen inspiriert waren. Excelero hat mit NVMesh eine software-definierte Blockspeicherlösung mit geringen Latenzen entwickelt, die die Leistungs- und Skalierbarkeits-Anforderungen der größten Web- und Unternehmens-Anwendungen erfüllt.
