OpenIO – Object-Storage mit Open-Source

Mit OpenIO können Unternehmen eigenen Object-Storage auf flexibler Hardware aufbauen. Die Open-Source-Lösung unterstützt zahlreiche Technologien zur Datenspeicherung. Der Beitrag zeigt die Möglichkeiten der Lösung.

OpenIO: Object-Storage mit Open-Source auch für UnternehmenszweckeOpenIO ist eine Open-Source Object-Storage-Lösung, die es seit 2015 gibt. Basis von OpenIO ist eine seit 2006 entwickelte Software, die auf Grid basiert. Die Lösung wurde im Jahr 2020 durch das Cloud-Unternehmen OVHcloud übernommen. Vorteile bringt Object-Storage vor allem bei großen Datenmengen, da hier Daten schneller gefunden werden können und der Speicher einfacher skalierbar ist. OpenIO ist in diesem Bereich ein bekanntes Produkt, das unter einer Open-Source-Lizenz steht.

Beispiele für den Einsatz sind Szenarien für Big-Data, HPC, künstliche Intelligenz und Machine-Learning. Auch in der privaten Cloud-Lösung NextCloud lässt sich OpenIO als Storage-System auswählen. Gleichzeitig ist Object-Storage einfacher und günstiger skalierbar, als viele andere Speicherlösungen. Bei der Speicherleistung ist Object-Storage zwar teilweise etwas langsamer als andere Speicher, wie zum Beispiel Block Storage. Allerdings spielt das bei den Einsatzgebieten keine Rolle, da der Preis dafür deutlich günstiger ist. Im Fokus von Object-Storage stehen sehr große Daten.

Unterschied zwischen Object-Storage und File-Storage

Object-Storage unterscheidet sich von herkömmlichen File-Storage dadurch, dass die Daten als komplettes Objekt abgelegt werden. Das gilt auch bei OpenIO. Bei File-Storage spielen Dateien, Ordner und Metadaten eine Rolle. Block Storage teilt Daten wiederum in Blöcke auf. Die Leistung von Block-Storage ist besser als bei Object-Storage, dafür ist Block-Storage aber auch teurer und bietet keine Metadaten. Bei Object-Storage werden komplette Daten als einzelnes Objekt gespeichert.

Zu diesem Objekt gehören die Daten und die Metadaten sowie eine ID. Es gibt keine komplexe Ordner-Struktur wie bei File-Storage, die Objekte liegen nebeneinander im Speicher. Es spielt keine Rolle, wo das Objekt gespeichert ist und Anwender, die diese Daten nutzen, müssen den Speicherort für den Zugriff nicht kennen. Metadaten gibt es auch im File-Storage, sind bei Object-Storage aber wesentlich flexibler und komplett frei wählbar, es können mehr Informationen als Metadaten abgelegt werden.

Durch die flache Struktur in einem Object-Storage sind Zugriffe sehr viel schneller möglich als bei File-Storage und Block Storage. Der Zugriff auf Object-Storage erfolgt über HTTP oder Rest-API. Es lassen sich bei OpenIO aber auch Anwendungen direkt einbinden, die zum Beispiel mit Python, C oder Java entwickelt wurden. Dazu hat OpenIO APIs für diese Programmiersprachen integriert. Daten lassen sich über deren ID einfach finden. Dazu kommt die einfachere Skalierbarkeit von Object-Storage, denn zusätzliche Speicher kann durch das Hinzufügen weiterer Speicherknoten erfolgen. Das ist bei OpenIO durch das Dashboard gelöst.

Einfach ausgedrückt, ist Object-Storage ideal für Cloud-Speicher oder für große Daten, die analysiert, aber nicht verändert werden. Block-Storage ist für seine hohe Leistung ideal für Einsatzbereiche, bei denen Daten auch schnell geändert werden müssen. Daher wird Object-Storage oft für Cloud-Lösungen genutzt. Die Skalierbarkeit ist ideal, der Preis im Verhältnis geringer und durch HTTP- und REST-APIs ist der Zugriff einfacher.

OpenIO als Object-Storage im Netzwerk einbinden

OpenIO ist so ein System, das in der Lage, ist verschiedene Speichermedien anzubinden. Dazu gehören auch herkömmliche HDD, SSD und NVMe-Speicher. Hier besteht auch die Möglichkeit Speicherbereiche in Pools zusammenzufassen, um die Speicherung der Daten mit Richtlinien zu ermöglichen.

OpenIO bietet Tiering, um besonders häufig verwendete Daten auf schnellen Datenspeichern abzulegen, während Archivdaten auf langsamere Hardware ausgelagert werden kann. Dadurch sollen sich Daten auch zwischen Pools schnell und einfach über Richtlinien verschieben lassen. Dies ermöglicht das Speichern von Daten und deren begleiten in OpenIO über einen kompletten Lebenszyklus hinweg. Dadurch können schnellere Speicherbereiche freigemacht werden, wenn das System neue heiße Daten speichern muss.

Um Speicherplatz einzusparen, kann OpenIO zusätzlich noch Daten nach Richtlinien komprimieren. Auch hier stehen verschiedene Funktionen zur Verfügung, mit denen sich die Daten auch in Echtzeit komprimieren lassen. Durch die asynchrone Komprimierung können diese Aufgaben aber auch zu Zeiten ausgeführt werden, an denen das System weniger belastet ist.

Object-Storage mit S3 verwalten

Um Object-Storage zu nutzen, ist eine Software notwendig, die mit Speicher-Hardware umgehen kann. Zusätzlich sollte Object-Storage die Möglichkeit bieten, seine Speicherkapazität auf die Cloud auszulagern. OpenIO bietet hier Funktionen aus Amazon S3 und ist kompatibel zum Cloud-Speicher von Amazon. OpenIO unterstützt das S3-Objekt-Lebenszyklus-Management. Das ermöglicht das Aufstellen von zeitbasierten Regeln und das Auslösen von automatisierten Aktionen zwischen S3 und dem lokalen OpenIO-Speicher.

Beim Einsatz von OpenIO mit Nextcloud erfolgt mit dieser Technik die Ausdehnung des lokalen Cloud-Speichers über die S3-API von OpenIO zu Amazon S3. Die Verwaltung des lokalen Speichers erfolgt weiterhin über OpenIO, es lassen sich in der Nextcloud-Lösung aber auch Daten in S3 speichern. Auch dies wird über OpenIO gesteuert.

Quellcode und kostenloser Zugriff auf OpenIO

Der Quellcode ist auf GitHub verfügbar, die Binärdateien stehen zum kostenlosen Download bereit. Wer produktiv auf OpenIO setzt, kann auf einen der Subscriptions setzen, die das Unternehmen bereitstellt. Vorteil der Pläne sind unter anderem 24/4-Support und Überwachung der Storage-Lösung durch OpenIO-Support-Mitarbeiter.

OpenIO produktiv nutzen

OpenIO gehört sicherlich zu den Open-Source-Lösungen, die problemlos auch produktiv einsetzbar sind. Der Speicher unterstützt zahlreiche Hardware, bietet Amazon-S3-Funktionen und durch den Support können auch große Speichernetzwerke aufgebaut werden. Unternehmen wie Dailymotion, Canal+, Kayrros und viele andere setzen auf OpenIO in der Praxis. Die Verwaltung von OpenIO kann über das webbasierte Dashboard erfolgen.

Hier sind auch die angebundenen Speicherknoten zu finden. Die Stärke von Object-Storage und eben auch von OpenIO ist die Skalierbarkeit. Ist zusätzlicher Speicher notwendig, lässt sich dieser über das Dashboard in Form eines neuen Knotens relativ leicht hinzufügen. Durch die flache Struktur bei der Speicherung von Daten in Object-Storage steht der neue Knoten sofort wieder zur Verfügung.

Fazit: Object-Storage mit Open-Source

OpenIO ist ein Object-Storage-System, das im Vergleich günstig auf verschiedene Hardware aufbauen kann. Durch die vielfältigen Möglichkeiten ergeben sich zahlreiche Einsatzgebiete, auch zusammen mit Amazon S3 und Nextcloud. Für Testumgebungen kann der Quellcode genutzt werden. Wer produktiv auf OpenIO setzt, kann mit den verschiedenen Plänen auch umfassenden Support erhalten.