Moin zusammen,
wir stossen in letzter Zeit öfter an die Grenzen der im Mietmarkt verfügbaren Rental-NAS-Systeme für das Content-Handling unserer Medienserver. Ein typisches Szenario sieht so aus:
8-12 Medienserver sind per LAG (2 x 10GBit/s) an einen 48-Port 10GBase Switch angebunden. Datenquelle ist ein NAS oder ein Windows-Fileserver, der mit bis zu 4x10GBit/s (je nach verfügbarer Ausstattung) an den Uplink des Switch angebunden ist. Verfügbare NAS-Systeme im Markt sind aktuell 2477-Serie von QNAP, alternativ auch DELL-Server, zum Teil auch schon mit SSD bestückt. Realistische Datenströme bei Anbindung von 8-12 Servern fallen dann pro Server schnell in den Bereich um die 200 MB/s , also nur unwesentlich schneller als eine geteamte Gigabit-Verbindung. Übertragen werden dabei in der Regel unkomprimierte Einzelbild-Sequenzen (TIFF,PNG) mit einer Einzeldateigrösse von 6-24MB, je nach Projekt also zwischen 25 und 60 Bilder pro Sekunde. Diese werden dann lokal in den RAIDs der Medienserver gespeichert.
Der Flaschenhals ist also offensichtlich die Anbindung des NAS/Servers an den Switch. Im Markt verfügbare NAS-Systeme von QNAP sind mit max. 2 x 40GBit/s Karten bestückbar, Synology hat sogar auf nur 2 x 25Gbit/s reduziert.
Meine Idealvorstellung wäre ein Fileserver, der eine konstante Lese-Rate von 8000-12000 MB/s realisieren kann, also konstant 100GBit/s Richtung Switch schieben kann, um ausreichend Datenstrom zu gewährleisten. Dazu denke ich an einen Netzwerkadapter mit 2 x QSFP28, der die Verbindung zwischen Server (NAS ist mE an der Stelle raus) und Switch bedient. Brutto-Kapazität sollte bei ca. 50TB liegen (mit 24 x 2TB in einem Raid 5/6 wäre es wahrscheinlich zu knapp) . Wie und mit welcher Hardware schaffe ich es, daß der Server diese Datenmengen auch zur Verfügung stellen kann?
Raid-Controller für bis zu 28 Stück SATA 6GB/s oder SAS 12GB/s sind *nur* mit PCIe 3 x8 angebunden, theoretisch als mit max 7,8GByte/s , wenn ich der Tabelle trauen kann, die ich gefunden habe.
Welchen Ansatz soll ich nun verfolgen:
- 24-36 Platten SATA oder SAS? Wie stabil sind Systeme aus mehreren Raid-Controllern, um auf den gewünschten Datendurchsatz zu kommen?
- NVMe oder U.2 Raids? gleiches Problem mit mehreren Controllern, um auf die gewünschte Kapazität zu kommen
Welches Betriebssystem, um den Overhead so gering wie möglich zu halten?
Als Switch wäre entweder der Cisco Nexus 9300-EX mit 48xRJ45 und 6 x QSFP28 geplant oder der N5860-48SC von fs.com.
Der zweite Schritt ist dann die Bereitstellung von Schnittplätzen, die auch mit der entsprechenden Geschwindigkeit auf den Server schreiben können.
Bin für ein paar Denkanstösse und das Aufzeigen von Fallstricken bei dem Thema dankbar. Das ist ja doch ein bisschen jenseits von dem, was man jeden Tag in den Fingern hat.
Gruss
Cube
wir stossen in letzter Zeit öfter an die Grenzen der im Mietmarkt verfügbaren Rental-NAS-Systeme für das Content-Handling unserer Medienserver. Ein typisches Szenario sieht so aus:
8-12 Medienserver sind per LAG (2 x 10GBit/s) an einen 48-Port 10GBase Switch angebunden. Datenquelle ist ein NAS oder ein Windows-Fileserver, der mit bis zu 4x10GBit/s (je nach verfügbarer Ausstattung) an den Uplink des Switch angebunden ist. Verfügbare NAS-Systeme im Markt sind aktuell 2477-Serie von QNAP, alternativ auch DELL-Server, zum Teil auch schon mit SSD bestückt. Realistische Datenströme bei Anbindung von 8-12 Servern fallen dann pro Server schnell in den Bereich um die 200 MB/s , also nur unwesentlich schneller als eine geteamte Gigabit-Verbindung. Übertragen werden dabei in der Regel unkomprimierte Einzelbild-Sequenzen (TIFF,PNG) mit einer Einzeldateigrösse von 6-24MB, je nach Projekt also zwischen 25 und 60 Bilder pro Sekunde. Diese werden dann lokal in den RAIDs der Medienserver gespeichert.
Der Flaschenhals ist also offensichtlich die Anbindung des NAS/Servers an den Switch. Im Markt verfügbare NAS-Systeme von QNAP sind mit max. 2 x 40GBit/s Karten bestückbar, Synology hat sogar auf nur 2 x 25Gbit/s reduziert.
Meine Idealvorstellung wäre ein Fileserver, der eine konstante Lese-Rate von 8000-12000 MB/s realisieren kann, also konstant 100GBit/s Richtung Switch schieben kann, um ausreichend Datenstrom zu gewährleisten. Dazu denke ich an einen Netzwerkadapter mit 2 x QSFP28, der die Verbindung zwischen Server (NAS ist mE an der Stelle raus) und Switch bedient. Brutto-Kapazität sollte bei ca. 50TB liegen (mit 24 x 2TB in einem Raid 5/6 wäre es wahrscheinlich zu knapp) . Wie und mit welcher Hardware schaffe ich es, daß der Server diese Datenmengen auch zur Verfügung stellen kann?
Raid-Controller für bis zu 28 Stück SATA 6GB/s oder SAS 12GB/s sind *nur* mit PCIe 3 x8 angebunden, theoretisch als mit max 7,8GByte/s , wenn ich der Tabelle trauen kann, die ich gefunden habe.
Welchen Ansatz soll ich nun verfolgen:
- 24-36 Platten SATA oder SAS? Wie stabil sind Systeme aus mehreren Raid-Controllern, um auf den gewünschten Datendurchsatz zu kommen?
- NVMe oder U.2 Raids? gleiches Problem mit mehreren Controllern, um auf die gewünschte Kapazität zu kommen
Welches Betriebssystem, um den Overhead so gering wie möglich zu halten?
Als Switch wäre entweder der Cisco Nexus 9300-EX mit 48xRJ45 und 6 x QSFP28 geplant oder der N5860-48SC von fs.com.
Der zweite Schritt ist dann die Bereitstellung von Schnittplätzen, die auch mit der entsprechenden Geschwindigkeit auf den Server schreiben können.
Bin für ein paar Denkanstösse und das Aufzeigen von Fallstricken bei dem Thema dankbar. Das ist ja doch ein bisschen jenseits von dem, was man jeden Tag in den Fingern hat.
Gruss
Cube