Dateisysteme für den PByte-Bereich

Datenberge jenseits des PByte-Bereichs, Cloud-Anbindungen und Analytics-Szenarien stellen Dateiysteme vor neue Herausforderungen. Der Markt bietet einige Optionen wie GPFS, Gluster FS, OneFS oder QF2. Worauf gilt es zu achten? Update zu CephFS und ZFS.

Leserfrage: Die eingeführten Dateisysteme scheinen alle in die Jahre gekommen zu sein. Datenberge jenseits des PByte-Bereichs, Cloud-Anbindungen und Analytics-Szenarien stellen Filesysteme vor neue Herausforderungen. Verschiedene Hersteller »basteln« an diversen Dateisystemen, siehe GPFS, Gluster FS, OneFS oder QF2 von Neuling Qumulo. Wie sieht der Doc hier die Zukunft? Worauf sollten IT-Abteilungen achten bzw. vertrauen?

Antwort Doc Storage:

Zunächst einmal muss man sich einen Überblick über die Eigenschaften der genannten Dateisysteme und die dadurch vorhandenen Möglichkeiten verschaffen:

IBM General Parallel File System (GPFS), seit 2015 Spectrum Scale: Wie viele andere Objekte auch entsprang GPFS mehreren Forschungstätigkeiten des blauen Riesen. Es war während seiner Entwicklung unter mehreren Namen bekannt, unter anderen als »Vesta« oder »Tiger Shark«. GPFS tauchte bereits Ende der 90er Jahre als offizielles IBM-Produkt auf und sollte damals »PIOFS« (das vormalige Vesta) ablösen. Im Laufe der Jahre wurden Versionen für das IBM-eigene AIX, Linux und zehn Jahre später schließlich für Windows vorgestellt.

GPFS wird vor allem als Dateisystem in High-Performance-Clustern eingesetzt. Seine hauptsächlichen Eigenschaften umfassen die Trennung von Metadaten und Daten auf unterschiedliche Datenträger, die Unterstützung von Shared-Nothing-Umgebungen, die Konfiguration von Speicherknoten als hochverfügbare Cluster, eingebautes HSM (hierarchisches Speichermanagement), Erreichbarkeit von Snapshots über jedes exportierte Verzeichnis und die Möglichkeit der Replikation zwischen verschiedenen Volumen. Die maximale Dateigröße beträgt 8 EByte, die gesamte Dateisystemgröße 8 YByte. Geschrieben werden können bis zu 2^64 Dateien pro Dateisystem. Die Zugriffsrechte können je nach angeschlossenem System über NFS oder ALCs gesteuert werden, für die Freigabe stehen NFS, Hadoop oder CIFS zur Auswahl.

GlusterFS: Das freie OpenSource-Projekt GlusterFS hat ein mit sehr vielen Eigenschaften ausgestattetes, allerdings lediglich für Linux, BSD, OpenSolaris und MacOS verfügbares System veröffentlicht. Ich schreibe hier absichtlich nicht »Dateisystem«, da es sich im Ende um wesentlich mehr als nur das handelt. 2015 wurde es von Red Hat gekauft.

Windows-Systeme sollen Unterstützung finden, sobald die hierfür vorgesehene Software stabil ist. GlusterFS kann entweder allein, mit verteilten Speichern, mit replizierten Speichern oder mit hieraus kombinierten Eigenschaften installiert werden. Einzelne Systeme lassen sich entweder über TCP/IP oder Infiniband koppeln, es gibt keine offizielle Angabe zur Beschränkung von Datei- oder Dateisystemgrößen oder die maximale Anzahl von einzelnen Einträgen.

Isilon OneFS: OneFS ist ein paralleles verteiltes Netzwerkdateisystem, welches für die Scale-Out-Plattform von Isilon entwickelt wurde. Es läuft ausschließlich unter OneFS OS, einer FreeBSD-Variante. Als solches unterstützt es ein Clustering über TCP/IP oder – bei neueren Versionen – auch über Infiniband. Für die Erreichbarkeit von außen stehen NFS, CIFS, FTP, http und HDFS zur Auswahl. Als Speichersystem-Plattform unterstützt OneFS fast schon natürlich Snapshots, Clustering, Hochverfügbarkeit und andere hier als Standard eingeführte Funktionen.

Als maximale Größen gibt Isilon 66 PByte für die Volumen und 4 TByte für einzelne Dateien an. Zum Schutz der Dateien können entweder POSIX oder ACLs genutzt werden.

Qumulo File Fabric 2 (QF2): Die von Isilon-Veteranen gegründete Firma ist kaum mehr als zwei Jahre alt und bietet mit seinem QF2-Dateisystem ein durchaus konkurrenzfähiges System an. Es kann, im Gegensatz zu vielen anderen Konkurrenten, auf beliebiger Hardware installiert und betrieben werden. Die Datenbank zum Auffinden der Einträge ist im Gegensatz zu den anderen Produkten vollständig in das Dateisystem integriert und soll damit laut Hersteller wesentlich schneller von Statten gehen. Snapshots sind ebenso Standard wie die Einrichtung von Echtzeit-Quotas oder die Bildung von Clustern über geografisch verteilte Strukturen. Nicht ohne Grund zählen vor allem Studios für animierte Filme zu den ersten Kunden von Qumulo. Auch dieser Hersteller gibt die Skalierbarkeit von QF2 nur sehr vage mit »einigen Milliarden Dateien« an.

Kein Risiko beim Speicherdateisystem

Und nun zur eigentlichen Frage – wie sehe ich die Zukunft, worauf sollen die IT-Abteilungen vertrauen? Die Zukunft sehe ich, man mag nun »leider« oder »Gott sei Dank« sagen, in der Lösung vom Hersteller mit dem längsten Atem. Und diesen Atem hat, und das ist keine Wertung, der Verein mit den drei Buchstaben aus Armonk. Dies eine Mal muss ich hinzufügen, dass neben den 108 Jahren Gesamterfahrung bei GPFS nunmehr über 20 Jahre Erfahrung mit der Entwicklung dieses Systems dazukommen.

Man mag die Jungs mögen oder nicht, aber alle anderen haben in irgendeiner Ecke Defizite. GlusterFS läuft nur auf X-Kisten (jaja, ich weiß, momentan, aber das wird sich ändern). OneFS gehört Isilon und damit Dell EMC, das heißt, es ist nur eines von mehreren zugegeben sehr guten Speicherdateisystemen dieses Herstellers. Und wie schnell sowas sterben kann, haben wir ja schon öfter gesehen. Außerdem wird Dell EMC kaum dazu übergehen, die Milch ihrer Cash-Cows einzeln zu verkaufen. Heißt – bei OneFS muss ich im Ende die Hardware immer mitkaufen.

Und QF2 ist einfach zu jung, als dass man es als RZ-Leiter in eine strategische Auswahl ziehen könnte. Es kann nur allzu schnell passieren, und einer der großen blauen oder roten hat sich dieses Herstellers bemächtigt. Sorry, ich weiß, ich schreibe wieder einmal wider die Freiheit, aber wenn ich Geld setzen sollte, dann hier auf IBM und sein GPFS.

Update: ZFS und CephFS

In Bezug auf die Kommentare unserer Leser, führen wir den Beitrag gerne noch weiter fort:

ZFS (Zettabyte File System): Das ehemals von Sun entwickelte Dateisystem wurde mit seinen zahlreichen Funktionen speziell für den Einsatz im Rechenzentrum entwickelt. Herausstechend ist die Zusammenfassung von Eigenschaften wie Software-RAID, logischem Volume-Manager und dem eigentlichen Dateisystem. Hinzu kommen Datendeduplizierung, Snapshots und eine Fehlerkorrektur, die jeden einzelnen geschriebenen Block mit einer Prüfsumme versieht und somit das Dateisystem immer konsistent bleibt.

ZFS hat eine theoretische Kapazität von 281 Billionen YByte, ein Dateisystem kann bis zu 16 EByte angelegt werden. Es existieren Versionen für Solaris, FreeBSD und Linux. Die Nutzung von 128-bit-Adressierung macht es zwar ideal für riesige Datenmengen, senkt allerdings die Leistungsfähigkeit auf heutigen Standard-64-bit-Systemen, da diese für die Verarbeitung der Pointer mit doppelter Breite ein wesentlich komplizierteres Verfahren nutzen müssen.

CephFS: Bei CephFS handelt es sich, genauso wie zum Beispiel bei OneFS, um eine Open-Source-Lösung für ein verteiltes Speichersystem, entwickelt von dem CERN, Fujitsu, Intel, RedHat, SuSE, sowie einigen anderen. Es besteht momentan nur eine Implementierung für Linux und FreeBSD, und hier entweder für Datei-, Block- oder Objektspeicher. Alle Entwickler geben keine konkrete maximale Kapazität für ein Volume oder ein Dateisystem an, ziehen sich immer wieder auf die Floskel »as much data as you want to store« zurück.

Um diese beiden in die Bewertung meines Artikels hineinzuziehen: ZFS ist zwar erfahren und mit Sun/Oracle unter der Flagge eines großen Entwicklers, läuft allerdings nur unter einer eingeschränkten Anzahl von Betriebssystemen und birgt mit seiner 128-bit-Verarbeitung immer noch einige Performance-Herausforderungen. Dieselbe Einschränkung gilt in höherem Maße noch für CephFS, hier sind es nur Linux und FreeBSD. Außerdem sind es mir zu viele Köche, die hier im Brei rühren. Und das hat, ich verwende jetzt einmal wieder das nervige Wort »Erfahrung«, in der EDV im Ende noch nie zu etwas geführt. Also, es bleibt bei dem Ergebnis meines Artikels: wenn ich Geld setzen sollte, dann hier auf IBM und sein GPFS.

Gruß
Doc Storage