Thought Leadership
Jahrzehntelang war Fibre-Channel erste Wahl, wenn es darum ging Storage vom lokalen Netzwerk zu entkoppeln. Nachdem immer mehr Speichersysteme standardmäßig NVMe unterstützen, scheint sich eine Wachablösung anzubahnen: NVMe-over-TCP/RoCE ist dabei FC den Rang abzulaufen.
Leserfrage: Immer mehr Storage-Hersteller stellen ihre Disksysteme komplett auf NVMe um. Kann dies ein »Game-Changer« sein? Man könnte künftig weiter auf vorhandene Ethernet-Strukturen bzw. auf 100 Gbit und mehr aufrüsten. Bei allen Vorteilen, FC ist teurer, aufwendiger, personalintensiver und letztendlich komplexer – zumindest für die breite Masse. Wo sehen Sie die Vor-/Nachteile von NVMe-over-TCP gegenüber FC?
Antwort Doc Storage:
Auch wenn Fibre-Channel (FC) ursprünglich überhaupt nicht zur Speicherkopplung gedacht war, hat es vor zweieinhalb Jahrzehnten die Art und Weise völlig geändert, wie in den Rechenzentren Speicher angesprochen wurde. Jetzt werden Fibre-Channel-SANs durch eine wiederum überlegene Technologie namens NVMe-over-TCP/RoCE ersetzt, so wie in den 90ern FC-SANs die Direktkopplungen ersetzt hat. Es fällt zwar schwer das so zu schreiben, aber, die mit Glasfaserkanälen verbundenen Technologien sind inzwischen veraltet.
Seit iSCSI damals vor nunmehr auch über 20 Jahren standardisiert wurde, diskutieren wir fast schon religiös, was als Speicherverbindung besser geeignet sei, Fibre-Channel oder Ethernet. Für die meisten Rechenzentren, vor allem diejenigen, die höchste Leistung benötigten, lautete die Antwort (natürlich) Fibre-Channel. FC wurde zur Speicherkopplung der Wahl und somit in fast allen Rechenzentren weltweit eingesetzt. Ob nun richtig oder falsch, TCP wurde als kostengünstige und einfache Lösung für Speicher auf Blockebene angesehen, aber bei weitem nicht als leistungsstarke. Das ändert sich nun, und zwar rapide.
NVMe hat SAS und SATA längst als Laufwerksschnittstelle der Wahl für schnelle lokale Speicher ersetzt, und damit nochmals zu einer erheblichen Leistungssteigerung bei lokalen Laufwerken geführt. NVMe-oF erweitert das vorhandene NVMe-Protokoll über die Fabric, was zu höherem Durchsatz und geringeren Laufzeiten im Speichernetzwerk führt. NVMe-oF kann entweder Fibre-Channel oder Ethernet als Medium verwenden und ist daher wesentlich flexibler in der Konfektionierung als FC allein. Die inzwischen weit überlegene Leistung und die verbesserten Laufzeiten von Ethernet, insbesondere bei Verwendung von RDMA, machen dieses Medium jedoch zur einzigen wirklich verbliebenen Wahl für die heutigen Rechenzentren. Die heute landläufigste Implementierung von Fibre-Channel ist 32 Gbit, obwohl auch 64-Gbit-HBAs verfügbar sind und Hersteller Switch-Geschwindigkeiten von bis zu 128 Gbit im Portfolio haben. Allerdings ist Ethernet mit 200 Gbit verfügbar, und einige Anbieter vertreiben bereits 400-Gbit-Optionen. Damit bietet Ethernet eine wesentlich größere mögliche Bandbreite als das schnellste 128-Gbit-FC.
Dabei bietet Ethernet wesentlich mehr als »nur« Bandbreite. RDMA-over-Converged-Ethernet (RoCE) reduziert die Laufzeiten in Speichernetzen deutlich, indem der Speicher-Controller Daten direkt im Speicher eines Rechners ablegen kann. Im Gegensatz dazu kann NVMe-over-FC RDMA nicht verwenden. Damit wird Fibre-Channel immer längere Laufzeiten als TCP/RDMA haben. Und neben wesentlich höherer Bandbreite und deutlich besseren Laufzeiten hat Ethernet einen heute wesentlich wichtigeren Vorteil: es kostet erheblich weniger. Die Allgegenwart von Ethernet in Datennetzen hat zu einer Verbreitung geführt, die Fibre-Channel niemals erreichen konnte und kann. Als Ergebnis sind Ethernet-Komponenten wesentlich günstiger als vergleichbare FC-Hardware. Aus dieser Perspektive verbietet sich somit der Verbleich zwischen Fibre-Channel und Ethernet.
Viele Experten haben seit langem das Ende von Fibre-Channel herbeigebetet. Lange Zeit haben die historischen Vorteile von Fibre-Channel diesem allerdings geholfen, seine Dominanz gegenüber Ethernet als Speicherschnittstelle zu behaupten. Da sind das verlustfreies Protokoll, eine große Installationsbasis, die Isolierung des Blockspeichertransportes und eine gut definierte Roadmap. Heute sind all diese Vorteile allerdings verschwunden.
Converged-Ethernet bietet ebenso ein verlustfreies Protokoll. Fibre-Channel hat immer noch eine große Installationsbasis, aber die Allgegenwart von Ethernet in Datennetzen macht es tatsächlich um Faktoren weit verbreiteter. Während es sich bewährt hat, Speicher- und Netzwerktransport auf verschiedenen Komponenten zu trennen, lassen sich diese heute auch durch die Verwendung von VLANs separieren. Der letzte verbliebene Vorteil von Fibre-Channel, eine gut definierte Roadmap, ist ebenfalls mehr oder weniger am Ende. Während noch eine achte Generation diskutiert wird, gibt es zum jetzigen Zeitpunkt keine offizielle Roadmap über 128 Gbit hinaus.
Was sind also die realen Unterschiede zwischen beiden Lösungen? Vergleicht man beispielsweise eine führende All-Flash-Fabric-Attach-Lösung, die NVMe-over-FC verwendet, mit einer All-Flash-Fabric-Lösung eines führenden Herstellers. Das Datenblatt des NVMe-over-FC-Arrays gibt eine Leistung von 300 GByte/s Lesedurchsatz, 11,4 Millionen IOPS Leistung und Lieferzeiten von 100 µs an, und das Ganze in einem 48U-Rack. Bemerkenswerte Zahlen, vor allem im Vergleich zu traditionellem SCSI-FC. Vergleicht man dies mit einem System, welches NVMe über TCP verwendet, erhält man ein deutlich anderes Ergebnis. Es liefert einen Lesedurchsatz von 120 GByte/s, 20 Millionen IOPS und eine Lieferzeit von nur 25 µs in einem System mit nur 4U. Somit verdoppeln sich auf einem Zehntel der Höheneinheiten die IOs, die Laufzeiten verkürzen sich um 75 Prozent. Das ist deutlich. Es braucht allerdings zwei dieser Systeme, um den ungefähren Durchsatz der FC-Lösung zu erreichen, die Größe des Systems verringert sich immer noch von 48U auf nur 8U. Bei dieser Verdoppelung steigert sich die IO-Leistung allerdings auch auf 40 Millionen.
Somit bietet NVMe-over-TCP/RoCE erkennbar mehr Leistung, reduzierte Laufzeiten, wesentlich niedrigere Kosten und eine verlässlichere Roadmap. Fibre-Channel hat sich gut und zuverlässig entwickelt, es ist seit über zwei Jahrzehnten das Rückgrat der meisten Speichernetzwerke. Nun allerdings haben die deutlichen Vorteile von NVMe FC letztes mehr oder weniger überflüssig gemacht.
Gruß
Doc Storage
Weiterführende Links
