Mainboard und CPU gesucht für Playout-Server

[cubewall]

Guten Abend zusammen,

wir stellen gerade Playout-Hardware für einen Medienserver zusammen. Keykomponenten des System sind:
- 19" 4HE Gehäuse
- Mainboard für Xeon-Familie (Sockel noch nicht final definiert), mindestens 10 x 2,4GHZ, 4 x PCIe 3.0 x16, 2 x PCIe 3.0 x8
- mind 32GB ECC RAM
- 2 x NVidia P4000 plus 1 x Syncboard
- 2 x 10Gbit LAN (kann auch gerne schon auf dem Mainboard drauf sein)
- 1 TB System -SSD kann m.2 sein, muss aber nicht, muss vor allen Dingen keine NVME sein, ob das System in 12 oder 20 Sekunden startet, ist egal)
- mindestens 3TB Speicher mit einer Übertragungsrate von mind. 6GB/s
- 3G SDI Capture-Karte (wahrscheinlich Deltacast, kommt auf die Latenz an, muss getestet werden)

Zum Speicher:
Da wir häufig unkomprimierte Bildsequenzen ausspielen, kommt man recht schnell in Bereiche, wo selbst eine schnelle NVMe wie die Samsung EVO 970 mit 3,5 GB/s an ihre Grenzen kommt. Datenstrom einer UHD-Bildsequenz mit 3840x2160 Pixel und 50 Frames liegt bei ca. 1,3GB/s. NVMe ist also mit 2 Bildsequenzen schon ausgelastet. Noch eine Prämisse: Datensicherheit in Form von Redundanz wird bei den Datenspeichern nicht benötigt, dafür stehen im Normalfall Ersatzgeräte zur Verfügung.

Ich habe mich heute mit diversen Möglichkeiten auseinander gesetzt:
- den Link von besterino zum Thema Asus Hyper m.2 x16
- direktes m.2 Raid 0 auf einem entsprechend ausgestattetem Mainboard
- PCIe Lösungen wie HGST SN260 oder Samsung PM1725b
- HighPoint SSD7101A-1 NVMe ,die Karte finde ich sehr interessant.

Da beim geforderten Mix von SPeicherkapazität und Lesegeschwindigkeit nur die PCIe Lösung von HGST oder Samsung (oder kompatible) und die Highpoint bleiben, würde ich bei fast identischer Preisgestaltung die out-of-the-Box Lösung mit der PCIe Karte nehmen.
Preis HGST ca. 1700 Euro brutto, die Samsung liegt bei ca. 1400 brutto. Highpoint mit 4 x 1TB als Raid5 und 3TB Nettokapazität liegt bei ca. 1300 Euro brutto, mit 4 x 2TB und 6TB Nettokapazität dann ca. 2300 Euro. Für eine reine PCIe-Variante wäre man dann schon bei 2600 für die Samsung.

Aufgabenstellung ist also ein passendes Mainboard mit ausreichen PCIe x16 Steckplätzen, um die 2 Grafikkarten und den Speicher voll anbinden zu können. Heisst eigentlich, wir brauchen was mit 48 Lanes. Leider fällt Threadripper wegen unerklärlicher Kompatibilitätsproblemen aus, spielt nicht mit der Software, wie es soll.

Ich habe mal eine Zusammenstellung angelegt:
Playout-Server Preisvergleich Geizhals Deutschland

Da ist aktuell ein Supermicro-Gehäuse primär wegen dem redundanten Netzteil drin, die Backplane brauche ich nicht und die Läfter da drin sind wahrscheinlich viel zu laut.
Kommentare, Ãnderungsvorschläge, Tips gerade für ein anderes 4HE Gehäuse (gerne mit redundantem Netzteil) sind immer willkommen.

Besten Dank fürs Reinschauen und Kommentieren vorab
Cube

 

[sch4kal]

Muss das aus irgendeinem Grund ein Xeon sein ? AMD Epyc haben ein besseres P/L-Verhältnis und 128 PCIe-Lanes, die vielleicht von Vorteil sein können.

Auch mal ne Intel Optane SSD angeschaut? Oder erzeugst du wirklich immer nur sequentielle Last ?

 

[pescA]

- mindestens 3TB Speicher mit einer Übertragungsrate von mind. 6GB/s

Also habt ihr ~8 Minuten Output?
Generell sind solche Datenraten zu humanen Preisen schwierig, am günstigsten kommt ihr wohl mit der Asus Hyper m.2 x16 und 4 SSDs im Software Raid0. Ist aber eine ziemliche Bastellösung...

Besser wäre wohl die Samsung PM1725b. Interessant kann hier ZFS mit LZ4 Kompression (LZ4 is capable of compression at 500 MB/s and decompression at 1500 MB/s per CPU core) sein, da so die erreichbare Datenrate höher als die Geschwindigkeit des Laufwerks ist, auf kosten einer höheren CPU Last. Funktioniert unter Linux, oder seid ihr auf Windows angewiesen?

Noch eine Prämisse: Datensicherheit in Form von Redundanz wird bei den Datenspeichern nicht benötigt, dafür stehen im Normalfall Ersatzgeräte zur Verfügung.
[...]
Highpoint mit 4 x 1TB als Raid5 und 3TB Nettokapazität

Ja gut ähhh... ein Raid0 mit 4TB würde hier besser passen.

Leider fällt Threadripper wegen unerklärlicher Kompatibilitätsproblemen aus, spielt nicht mit der Software, wie es soll.

Threadripper ist Kindergeburtstag, Epyc ist die Serverlösung. Habt ihr da auch Ergebnisse? Wäre wie erwähnt günstiger.

 

[cubewall]

Moin zusammen,

@ sch4kal: AMD Epyc war bislang noch nicht in der Überlegung, werde ich mir mal anschauen, ob man zeitnah ein Testsystem auf die Beine stellen kann. Bei der Optane finde ich nichts, was über genügend Speicherkapazität verfügt. Kannst du mir da einen Link für ein passendes Modul geben?
@ pescA: es geht darum , auf einer Maschine genügend Headroom zu haben, um auch mehrere 4K-Streams uncompressed auszuspielen. 4 Streams UHD uncompressed p50 machen dann schon 5GB/s, wenn da noch ein Alpha dazu kommt, sind die 6GB/s ausgelastet. Bei der Rechnung mit p50 Content kommt man dann auf ca. 75GB pro Minute Content. Bei 3 TB Netto wäre man dann bei 40 Minuten Content, also 4 x 10 Minuten oder 2 x 20 Minuten. Das sind in unserer Branche auch durchaus übliche Contentmengen.

Die Asus Hyper ist auf Boards mit Bifurcation angewiesen und braucht x16 Slots um zu funktionieren. Das war für mich der Grund, das nicht weiter zu verfolgen. Ist natürlich gerade in Verbindung mit 4 x 1 TB und Raid0 deutlich günstiger als die PCIe-Lösung von HGST oder Samsung.
Und da war auch der Fehler bei der Highpoint-Karte, mit der liebäugele ich schon länger und hatte die immer als Raid5 im Hinterkopf. Um da voll kompatibel zu sein, kann man die natürlich auch in Raid0 bestücken und noch ein paar Gigabyte mehr rausholen.
Allerdings wurde uns von diesen Varianten auch wegen der fehlenden TRIM-Funktion abgeraten, da die Software-Raids auf diesen Karten keine TRIM Funktion bieten und die SSD dann nach einigen Content-Bespielungen ohne die TRIM Funktion deutlich in der (Schreib)Leistung einbrechen sollen.
Da fehlt mir dann die Erfahrung, ich weiss auch nicht, in wie weit das hier schon mal ausgiebig getestet wurde.

LZ4 Kompression ist nicht, da spielt die Software nicht mit, leider.

Erstmal besten Dank für den Tip Richtung Epyc, das wird dann aber Richtung 16 Kerner gehen, da der Maximaltakt deutlich geringer ausfällt als bei den Xeons.

Gruss
Cube

 

[00riddler]

Samsung und HGST liegen aber beide schreibend auch unter 3 Gigabyte/s, du bräuchtest also auch mindestens 2-3 in einem Raid 0.
Optanes z.B. die 905P wird dann interessant, wenn du die IOPS oder mehr als 3 drive writes per day brauchst. Auch hier wirst du aber 3 in einem Raid 0 fahren müssen.

 

[cubewall]

Hi 00riddler,

die Schreibrate ist nicht (so) wichtig in dem Szenario, das spreaden der Daten vom Manager-Rechner zu den Playout-Servern geht eh maximal über ein 10 GBit Netzwerk, da sind die Karten locker schnell genug.

Zum Thema Epyc-Plattform, da sieht es leider auf der Mainboard-Schiene gar nicht gut aus, maximal 5 PCIe x16 verfügbar und dann auch noch in direkt nebeneinander liegenden Slots. Da die Grafikkarten schon jeweils 1,5 Slots belegen, wird das wahrscheinlich zu eng.

 

[sch4kal]

Hi 00riddler,

die Schreibrate ist nicht (so) wichtig in dem Szenario, das spreaden der Daten vom Manager-Rechner zu den Playout-Servern geht eh maximal über ein 10 GBit Netzwerk, da sind die Karten locker schnell genug.

Zum Thema Epyc-Plattform, da sieht es leider auf der Mainboard-Schiene gar nicht gut aus, maximal 5 PCIe x16 verfügbar und dann auch noch in direkt nebeneinander liegenden Slots. Da die Grafikkarten schon jeweils 1,5 Slots belegen, wird das wahrscheinlich zu eng.

In meinem Asus KNPA-U16 passen locker zwei 2-Slot Grakas und Capture Card rein. Die Optane SSDs kannst du z.B. per OCuLink direkt anschließen. Da hat das Mainboard 6 Anschlüsse von.