HPC-Server: Asperitas Immersed Cooling System AIC24

Dauerhaft Vollgas: Weil das »Asperitas Immersed Cooling«-System »AIC24« die Wärme effizient von den CPUs abtransportiert, lassen sich diese dauerhaft im Turbo-Mode beitreiben. Dabei werden die Compute-Nodes (Fenway Kassetten), eine Art Blade, in ein Synthetik-Öl getaucht. Dies verbessert die Wärmeabfuhr und erhöht die mögliche Packungsdichte im Rechenzentrum. Die Server sind vor allem für High-Performance- und Cloud-Computing konzipiert.

Asperitas kühlt Compute-Nodes in ihrem »Immersed Cooling System AIC24« per Ölbad.

Das niederländische Unternehmen Asperitas bringt mit dem Asperitas Immersed Cooling System AIC24 einen neuartigen, universellen Ansatz zur Kühlung von Servern in Rechenzentren und Server-Räume: AIC24 ist ein in sich geschlossenes Kühlsystem, das sich ganz generell zur Kühlung handelsüblicher Mainboards eignet. Compute Nodes werden dazu vollständig in ein elektrisch isolierendes Synthetik-Öl getaucht, der Wärmeabtransport erfolgt durch natürliche Konvektion des Öls. Grundsätzlich ist es möglich, jedes Mainboard in Öl zu tauchen, mit den Boston Fenway-Kassetten ist eine Auswahl zertifizierter Einschübe für das System verfügbar.

Die Grundidee hinter dem Asperitas-System ist indes nicht neu: Cray Research brachte Immersed Cooling bereits 1985 mit ihrer Cray-2 erstmalig in die Rechenzentren. Lange hielt dieses Verfahren damals nicht vor, was im Wesentlichen der weiteren technischen Entwicklung von Supercomputern, CPUs und Kühltechnologien geschuldet war. Zuletzt tauchten nur noch Overclocker und PC-Tuner ihre Mainboards komplett in Kühlflüssigkeit, um einem Rechner so noch ein paar Prozent mehr Leistung abzutrotzen.

Ähnlich wie bei Blade-Systemen sind bei einem Asperitas-System die einzelnen Compute-Nodes auf Einschüben montiert, Asperitas spricht hier von Kassetten. Im Gegensatz zu Blade-Systemen müssen dafür aber keine speziellen Boards entwickelt werden. Das Asperitas Immersed-Cooling-System kann grundsätzlich mit beliebigen, handelsüblichen Mainboards arbeiten, sofern keine Komponenten darauf montiert sind, die die natürliche Konvektion des Systems unterbinden. Der Hersteller bietet auch einen Zertifizierungsprozess an, mit dem man eigene Mainboards für das System prüfen lassen kann.

In einem solchen Asperitas Immersed-Cooling-System finden 24 Kassetten Platz (daher auch die Bezeichnung AIC24). Einzelne Systems lassen sich aneinanderreihen, dies soll auch die Installation zusätzlicher Kassetten vereinfachen. Zusammen mit seinen Partnern zertifiziert Asperitas Kassetten für unterschiedliche Einsatzzwecke, überwiegend im Bereich High-Performance-Computing (HPC) und Cloud-Computing.

Der Zertifizierungsprozess dauert in der Regel mehrere Wochen. Getestet werden unter anderem die Verträglichkeit der Mainboard-Komponenten und -Materialien mit dem verwendeten Synthetik-Öl, sowie die Strömungseigenschaften des Bauteile-Layouts auf dem Mainboard.

Gekühlt wird innerhalb des Systems mittels natürlicher Konvektion: Der Hersteller verzichtet komplett auf bewegliche Teile, wie zum Beispiel Pumpen, die ausfallen könnten. Der Kühlkreislauf folgt den Gesetzen der Physik und benötigt keine weitere Regelung. Die Rückkühlung des Öls erfolgt über einen Wasserkreislauf mit der Außenluft. Aufgrund des verwendeten Prinzips der Hochtemperaturkühlung (bei ca. 40°C Kühmitteltemperatur) ist kein spezieller Außenkühler erforderlich. Die aus dem System abgeführte Wärme kann zu 100 Prozent für Heizzwecke (z.B. Flächenheizung) verwendet werden.

Asperitas AIC24: Der eingebaute Dauer-Turbo

Asperitas Fenway AIC-DDW Weil das Mainboard komplett in Kühlflüssigkeit getaucht ist, sind keine Lüfter am Mainboad oder der CPU erforderlich. Das heißt, diese können deshalb auch nicht mehr ausfallen. Ein Compute-Node wird so bei gleicher oder sogar höherer Leistung mit weniger Stromverbrauch betrieben. Mit dem Immersed-Cooling-Verfahren ist es zudem möglich, moderne Prozessoren dauerhaft im Turbo-Modus laufen zu lassen, und dabei sicherzustellen, dass CPUs nicht überhitzen. Ein einzelnes AIC-System hat bis zu 34 kW Kühlleistung (entspricht bis zu 14 kW/m^2). Damit ist ein PUE von 1,09 erreichbar. Im Gegensatz zu herkömmlicher RZ-Kühlung ist der Platzbedarf für »Nebenaggregate« wie Wärmetauscher, Klimaanlage oder Außenkühler deutlich geringer. Im Rechenzentrum selbst ist keine Einhausung mehr notwendig (Kalt-/Warmgang). Asperitas-Systeme benötigen keinen Doppelboden.

Ein AIC24 System kommt mit integrierter, redundanter Stromversorgung für alle Kassetten, sowie redundanten 10-Gigabit-Ethernet-Switches für die Anbindung einzelner Kassetten an die Außenwelt. Zur Wartung werden einzelne Kassetten aus der Flüssigkeit gezogen. Eine spezielle, fahrbare Wartungsvorrichtung mit Kran und Kassettenablage wird vom Hersteller mitgeliefert. Für die Inbetriebnahme eines einzelnen Immersed-Cooling-Systems gibt Asperitas gerade mal vier Stunden an, vom Auspacken der Komponenten bis zum Booten der ersten Nodes an — Befüllung mit 450 Liter Synthetik-Öl eingeschlossen.

Boston Fenway AIC24-DST für HPC

Die Boston Fenway AIC24-DST-Kassette wurde speziell entwickelt für Anforderungen aus dem High-Performance-Computing. Jede Kassette nimmt zwei AMD EPYC 7000-Prozessoren auf und bietet damit 32 CPU-Cores mit insgesamt maximal 2 TByte Hauptspeicher je Kassette. Der Compute-Node wurde von Asperitas gemeinsam mit Boston entwickelt und für den Einsatz im Immersed-Cooling-System zertifiziert. In ein AIC passen, wie gesagt, 24 dieser Sandwich-Kassetten, im Vollausbau bedeutet das 768 EPYC-7000-Kerne und 48 TByte Memory. Zur Kommunikation mit der Außenwelt bietet jede Kassette 2x 10-Gbit-Ethernet.

»Boston Fenway AIC24-DST«-Kassette für High-Performance-Computing

Boston Anna AIC24 Kassette (Immersed Computing SMC-X10DGQ-P)

Boston Anna AIC24-Kassette für Machine-Learning-Anwendungen mit Platz für bis zu 3 GPU-Karten.Für den wachsenden Markt des Machine-Learning wurde die Boston Fenway Anna-Kassette entwickelt. Neben zwei Intel Xeon E5-2600 v4 CPUs (Broadwell Family) bietet die Kassette Platz für drei GPU-Karten. Jeder einzelne Steckplatz liefert PCIe x16 Gen3. Auch diese Kassette wurde in einer Zusammenarbeit mit Boston entwickelt und von Asperitas zertifiziert. Jede Kassette bietet zwei Gbit-Ethernet-Ports und einen 100-Gbit-Infiniband-EDR-Port für den schnellen Datentransfer zu und von den GPUs. Ein voll ausgebautes und voll bestücktes Immersed-Cooling-System mit 24 solcher Kassetten bietet bis zu 1.056 CPU-Cores (Intel Xeon v4, Broadwell Family) bei 48 TByte Hauptspeicher, sowie (derzeit) maximal 331.776 Nvidia CUDA-Cores, was einer (rechnerischen) AI-Leistung von 8.1 PFLOP entspricht.

Neben den beiden hier erwähnten sind noch weitere Kassetten wahlweise auf Basis AMD EPYC 7000 oder Intel Xeon v4 CPU-Familie erhältlich. Eine Übersicht findet sich zum Beispiel hier.

Fazit & Preisinfo: AIC-Systeme erlauben dauerhaften Turbo-Mode

Mit der Idee, herkömmliche Mainboards zur Kühlung komplett in Flüssigkeit zu tauchen, ist Asperitas am Markt derzeit konkurrenzlos. Das Unternehmen liefert, aus unserer Sicht, ein durchdachtes und ausgereiftes Produkt, in dem mehrere Jahre Entwicklung stecken. Die Plattform hilft IT-Abteilungen, verfügbare Standfläche optimal zu nutzen und dicht mit Rechenleistung vollzupacken. Interessant ist das Immersed-Cooling-System auch für alle, die hohe Rechenleistung benötigen, und dazu am liebsten CPUs dauerhaft im Turbo-Mode laufen lassen wollen. Mit den unterschiedlichen Boston-Fenway-Kassetten lassen sich im Prinzip so gut wie alle rechenintensiven Anwendungen abdecken.

Preisinfo Asperitas Immersed Cooling System

Das Asperitas-System und die Fenway-Kassetten sind keine Produkte, die man einfach mal von der Stange kauft. Das heißt, die Preise sind stark vom Ausbau der jeweiligen Module abhängig und in der Regel handelt es sich um Projektpreise.

Ein Grundsystem, bestehend AIC24-Gehäuse, Synthetik-Öl, Stromversorgung, Management-Controller (Monitoring), Switch-Kassetten (Ethernet) beläuft sich auf rund 50.000 Euro netto zuzüglich Lieferung.

Beispiel-Konfiguration Boston Fenway AIC24-DST-Kassette:

• 2x AMD EPYC 7301 CPU
• 8x 64-GByte-RAM
• 2x 512 GByte Boot-SSD
• Netzteil
• angepasste CPU-Kühlkörper
• ca. 14.000 Euro pro Kassette

Beispiel-Konfiguration Boston Fenway AIC24-DSI-Kassette:

• 2x AMD EPYC 7451 CPUs
• 16x 16 GByte RAM
• 2x 512 GByte Boot-SSD
• Netzteil
• angepasste CPU-Kühlkörper
• ca. 8.500 Euro pro Kassette