DKRZ nutzt 1 PByte großen Cache für Archivierung

Klimawandel, Datenbewegung, Storage-Wechsel: Das Deutsche Klimarechenzentrum (DKRZ) stellt sich in puncto Datenmanagement neu auf und installiert ein hierarchisches Speichermanagement-System (HSM) auf Basis der Workflow-Engine Stronglink. Diese virtualisiert einen unbescheidenen Cache von ein PByte Größe. Huawei stellt die Storage-Hardware, die künftig bis in den EByte-Bereich skalieren soll.

Mindestens 150 PByte Bestandsdaten und jährlich bis zu 120 PByte neue Tape-Library mit über 79.000 Medienstellplätzen beim DKRZ (Bild: Deutsches Klimarechenzentrum)Daten soll die Infrastruktur zwischen hierarchischem Speichermanagement-System (HSM) und High-Performance-Computing-Storage (HPC) am Deutschen Klimarechenzentrum (DKRZ) künftig bewegen. Zu diesem Zweck virtualisiert StrongLink nicht nur ein PByte Hochleistungscache, sondern auch neun Bandarchive.

Das neue HSM-System mit Stronglink soll dem DKRZ zukünftig die Speicherung und Verwaltung eines Datenvolumens im Bereich von EBytes erlauben. Mit dem Projekt ersetzt das DKRZ das vorhandene High-Performance-Storage-System (HPSS) durch eine runderneuerte Architektur, die auch mit offenen Standards wie LTFS und S3 arbeiten kann. Dies soll die Datenagilität zwischen Disk-, Object-, Tape- und Cloud-Speicher zukunftssicher aufstellen.

Klimamodellierung und -projektionen

»Mit diesem neuen Archivsystem können wir wichtige Datendienste für unsere Forschungsgemeinschaft erweitern, modernisieren und gleichzeitig nahtlos auf eine neue Plattform mit offenem Standard umsteigen, die mit unseren Anforderungen wachsen kann«, erläutert DKRZ-Geschäftsführer Prof. Thomas Ludwig. »Das neue HSM-System bietet eine solide Grundlage um sicherzustellen, dass die Forschenden kontinuierlich auf die kritischen Daten zugreifen können, die für die Klimamodellierung und verbesserte Klimaprojektionen erforderlich sind.«

Das Datenverwaltung übernimmt im DKRZ die Metadaten gestützte Workflow-Engine Stronglink.Das HSM-System adressiert und parallelisiert über 90 Bandlaufwerke in neun Bandarchiven, welche mehr als 79.000 Medienstellplätze zur Verfügung stellen. Entsprechend wurde dafür eine performante Scale-out-Architektur gefordert. Der Dienstleister hat diese mit der über Metadaten gesteuerten Workflow-Engine Stronglink von StrongBox Data Solutions (SBDS) umgesetzt, in Verbindung mit den OceanStor-Systemen von Huawei. Stronglink liefert ein Virtual-File-System, Global-Name-Spaces und Dienste zur nahtlosen Datenmigration.

Umweltfreundliche Klimaforschung

Den Vertrag für Ausstattung, Umsetzung und Betreuung mit einer Laufzeit von fünf Jahren hat sich der Dienstleister Cristie Data gesichert. Dementsprechend kommentiert Volker Wester, Geschäftsführer von Cristie Data: »Das DKRZ ist ein wichtiger Partner in der Klimaforschung. Mit Stronglink greifen Klimaforscherinnen und -forscher auf der ganzen Welt auch in Zukunft schnell und verlässlich auf alle Daten zu.« Das Projekt sei durchaus als Beitrag für umweltfreundlichere Lösungen im Datacenter zu sehen.