[Kaufberatung] DIY Nas mit Video-Performance?

[blaues Kopftuch]

Mein uralt NAS läuft über, ein neues muss her.
Bei der Gelegenheit wäre es nützlich, wenn das NAS in Zukunft auch meine Spielereien mit Videodateien übernehmen könnte. Bisher mache ich so Sachen wie Videostabilisierung nämlich auf meinem Desktop 3930k mit <10fps. Spätestens wenn ich mein altes Projekt "Video Similarity" selbst programmieren wieder aufgreife sollte das nicht mehr auf meinem Desktop im Schlafzimmer laufen.

Mein Problem: Ich hab keine Ahnung wie Ram-Bandbreite, Ram-Größe, Hardwarebeschleunigung und Anzahl von CPU-Kernen die Performance beeinflussen.

Wunsch/Plan:

• ECC Arbeitsspeicher (64-256 GB)
• 10G Netzwerk (RJ45 oder SFP+ ist egal)
• im Fall von Videostabilisierung >30fps
• 6-8x ~16TB im RaidZ2
• Optane Cache (P4801X, 100GB, TBW: 10.9PB)
• Budget: ~2000€ für CPU, Mainboard, Ram

Problem: Platz, ich hab genau einen Ort in meiner Wohnung wo ein Server hin kann und das ist der Metallschrank in dem aktuell noch die alte Qnap steht. 36x36x ~50cm (BxHxT) was mich praktisch auf das Node 804 Gehäuse beschränkt und mikro-ATX oder kleiner bedeutet.

Ich hab mir mal ein paar Konfigurationen zusammengeklickt.
Welche würdet ihr nehmen?
In welcher steckt am meisten Dampf?

Intel Sockel 2066

• Intel Xeon W-2255, 10C/20T, 3.70-4.50GHz oder
  Intel Xeon W-2265, 12C/24T, 3.50-4.60GHz
• Supermicro X11SRM-VF
• 2x Micron RDIMM 64GB, DDR4-3200
• 10 Kern: 1757€
  12 Kern: 2000€
• 10 Kern: Passmark 22680
  12 Kern: Passmark 26048
• Nachteil: kein 10G Lan onboard bei jedem Mainboard mit Sockel 2066 + Mikro-ATX
• Vorteil: Option auf 256GB Arbeitsspeicher

Intel Sockel 1200

• Intel Xeon W-1290P, 10C/20T, 3.70-5.30GHz
• Supermicro X12SCZ-TLN4F
• 4x SK Hynix DIMM 32GB, DDR4-2933
• 1748€
• Passmark 23545
• Nachteil: Nicht genug SATA Anschlüsse -> HBA nötig, Ram 2-Kanal ausgereizt, wenig PCIe-Lanes und nur 3.0
• Vorteil: iGPU

AMD Sockel AM4

• AMD Ryzen 9 5950X, 16C/32T, 3.40-4.90GHz
• ASRock Rack X570D4U-2L2T
• 4x Kingston Server Premier DIMM 32GB, DDR4-3200
• 2262€
• Passmark 46090
• Nachteil: Ram 2-Kanal ausgereizt, wenig PCIe-Lanes, Preis, Mainboard anscheinend aktuell unmöglich zu bekommen
• Vorteil: Dampf

AMD Sockel SP3

• AMD Epyc 7252, 8C/16T, 3.10-3.20GHz oder
  AMD Epyc 7282, 16C/32T, 2.80-3.20GHz
• ASRock Rack ROMED6U-2L2T
• Micron RDIMM 64GB, DDR4-3200 oder
  Crucial RDIMM 32GB, DDR4-3200
• 8 Kern, 2x64GB: 1424€
  8 Kern, 4x32GB: 1651€
  8 Kern, 4x64GB: 2007€
  16 Kern, 2x64GB: 2111€
  16 Kern, 4x32GB 2338€
  16 Kern, 4x64GB: 2694€
• Passmark: 16 Kern: 31510
• Nachteil: Teure Prozessoren mit im Vergleich zu Threadripper oder Ryzen 5950x wenig Dampf, 72y2 für y=3,5,7,8 hat nur 4-Kanal und 2666MHz DDR4, +200€ für 8-Kern / +350€ für 16-Kern um dieses Manko los zu werden.
• Vorteil: Anschlüsse & PCIe Steckplätze und Lanes im Überfluss, Ram kann noch erweitert werden

AMD Sockel sTRX4

• AMD Ryzen Threadripper 3960X, 24C/48T, 3.80-4.50GHz
• ASRock Rack TRX40D8-2N2T
• 4x Kingston Server Premier DIMM 32GB, DDR4-3200
• 2915€
• Passmark 54950
• Nachteil: Formfaktor ATX passt nicht ins Node 804, Preis

Was würdet ihr machen?
Bringt die iGPU vom W-1290P signifikante Vorteile?
Denkt ihr die einstiegs EPYC Prozessoren hätten genug Dampf?
Wovon profitiere ich am meisten: Speicherbandbreite, Speichergröße, Kerne?

P.S.: Dafür, dass ich ursprünglich mit einer Qnap TVS-h1288X / h1688X geliebäugelt habe (Xeon W-1250 mit 16GB bzw. 32GB Arbeitsspeicher) sind meine Konfigurationen vergleichsweise günstig.

Nachtrag: Hab einen sehr sehr ähnlichen Thread gefunden... https://www.hardwareluxx.de/community/threads/10g-ecc-zfs-xeon-e-w-vs-ryzen.1294181/

 

[aXu]

die video stabilisierung ist gpu oder cpu optimiert?
metalschrank und abwärme von so einem pc beissen sich... wäre wohl einfacher irgendwo einen midi pc gehäuse zu platzieren

 

[Supaman]

Wovon profitiere ich am meisten: Speicherbandbreite, Speichergröße, Kerne?

Du machst den zweiten Schritt vor dem ersten. Anscheinend hast Du Dich schon auf eine Anwendung festgelegt, da würde ich mal mit Bestandshardware ein wenig rumspielen, welche Parameter am meisten Einfluß haben.

Mehr Kerne bringen nur was, wenn die Anwendung es vernünftig unterstützt.
Wenn es darum geht, mehr Kerne oder höherer Basetakt ist i.d.r. der höhere Basetakt sinnvoller.
Weiterhin skalieren Kerne nicht immer linear, d.h. es kann sein das z.B. von 4 auf 6-8 noch großer Unterschied ist,
und 10+ Kerne nur noch eine leichte Steigereung bringen.

Das würde ich vorher mal ausprobieren oder nach forschen, und dann die Hardware zusammenstellen.

Ich würde mich auch nicht auf Optane festlegen, sondern auch mal den Speed der neuen PCIe 4.x SSDs gegenprüfen, die machen 6-7 GB/ sek, das könnte sehr viel mehr Einfluss auf die Gesamtperformance haben als Kerne im zweistelligen Bereich.

 

[asche77]

Und die nötigen IOPs messen - aus einem HDD RAIDZ2 macht auch eine optane / NVME keinen Porsche. Bei den Anforderungen lieber ein kleinerer SSD Pool für "hot" Data und die HDDS für cold storage?

 

[blaues Kopftuch]

@aXu der Metallschrank ist temperaturgesteuert aktiv belüftet, es geht mir bei dem Metallschrank nur darum den Server nicht auf Holz (=Feuerfutter) zu stellen.
@asche77 & @Supaman das mit den IOPs und Optane ist in der Tat ein guter Wink mit dem Zaunpfahl. Da ich keine Videos schneide/bearbeite sondern sie wenn dann nur transkodiere / sequenziell lese dürfte sequenzielle Performance wichtiger sein als IOPs.

Aktuell nutz ich zum stabilisieren Virtualdub + Deshaker, was laut Google keine GPU Beschleunigung bietet. Scheint aber passabel parallelisiert zu sein, die Filter Einstellungen weisen explizit die Anzahl erkannter CPU Kerne aus. Den Versuch Hardwarebeschleunigung zu testen kann ich glaub ich knicken, meine GTX680 unterstützt glaube ich noch kein NVENC.

Wenn ich nen NVME SSD Pool anlegen will wären mehr PCIe Lanes von Vorteil, es sei denn es wären Sata SSDs (was aber glaube ich nicht mehr ganz zeitgemäß wäre?).
Mein "Video Similarity" Projekt beruht aktuell darauf einzelne Frames aus den Videos zu extrahieren und diese via vorhandenen Bild-Similarity Projekten draufzuhauen. Um dabei aber trotz unterschiedlicher Ausstrahlungen der selben Filme die selben Frames zu bekommen rekodiere ich alle Videos neu und setze ausschließlich dort Keyframes wo sich viel im Bild ändert (im Allgemeinen dort wo im original Film zwischen zwei Kameras oder zwischen zwei Szenen geschnitten wurde). Beim Neukodieren habe ich bezüglich Software und damit Hardwarebeschleunigung natürlich freie Hand ... wobei mir gerade kommt das es natürlich viel effizienter wäre das neu Kodieren ganz zu lassen und statt Keyframes zu extrahieren einfach gleich den Film "abzuspielen" und nur daraufhin zu untersuchen wo neue Keyframes gesetzt würden und gleich nur diese Frames auszuspucken statt den Film nochmal abzuspeichern bevor die neuen Keyframes extrahiert werden...

Ich denke Sockel 2066 ist raus. Sockel 1200 würde im Falle des Scheiterns nen 3-Montior OfficePC abgeben. Als Nas müsste ich allerdings definitiv ne HBA reinstecken womit kaum noch PCIe Lanes für NVME übrig blieben. Für PCIe 4 komme ich um AMD nicht rum und der Ryzen 5950x könnte schlimmstenfalls in nem neuen Desktop aufgehen, wenn Grafikkarten aktuell nicht so elends überteuert wären. Wenn ich mich auf 3 NVME SSD's beschränke (z.b. 1x Optane über Chipsatz, 2x PCIe 4) hätte die AM4 Lösung sogar noch 8 PCIe Lanes für ne Grafikkarte übrig.

Wenn die Passmark Prognose für den Epyc 7313 aus diesem Thread https://www.hardwareluxx.de/communi...eon-e-w-vs-ryzen.1294181/page-3#post-28289900 sich so bestätigt hätte die Epyc 7313 (16 Kern) + 2x64GB Lösung allerdings fast die selbe Performance wie die 5950x Lösung, wäre aber mit 2000€ rund 250€ günstiger und hätte natürlich viel mehr Erweiterungsmöglichkeiten...

Wie schätzt ihr den idle Stromverbrauch der Sockel 1200, AM4 und SP3 Lösungen ein?

mfg Kopftuch

 

[besterino]

Grundsätzlich wohl SP3>1200>AM4 - your mileage may vary, je nach CPU, Peripherie und Einsatz.

 

[asche77]

.Da ich keine Videos schneide/bearbeite sondern sie wenn dann nur transkodiere / sequenziell lese dürfte sequenzielle Performance wichtiger sein als IOPs.....

Wenn ich nen NVME SSD Pool anlegen will wären mehr PCIe Lanes von Vorteil, es sei denn es wären Sata SSDs (was aber glaube ich nicht mehr ganz zeitgemäß wäre?).

Sequentiell lesen / schreiben dürfte selbst ein Pool aus mehreren HDD vdevs genügen (mirror). NVME braucht es da keinesfalls.

Also entweder SATA SSD Pool oder HDD mirror (4x2) HDD* + NVME cache/special vdev dürfte da besser passen - fehlt mir aber konkrete Erfahrung zu.

* (Mit 4 mirror vdevs hast Du immerhin 4x soviele IOPS wie mit einem RAIDZ2 und mit Auslagerung von readops auf den Cache bzw von kleinen Dateien/Metadaten auf das NVME Special vdev sinkt die IOPs Last auf den HDDs nochmal, so dass mehr IOPs für Schreiben zur Verfügung stehen).

 

[blaues Kopftuch]

So wie es aussieht wird es dann wohl die Lösung mit Sockel AM4.
Der Stromverbrauch von Epyc im idle ist laut STH jenseits von dem was ich gewillt bin mit der Stromrechnung zu bezahlen. Aktuell bin ich bei 83W mit 6x 4TB WD Red drehend + Fritzbox + Pi4 + Telefonbasisstation + Homematicbasisstation + USV.
Da das Mainboard aktuell nicht lieferbar ist hab ich noch Zeit an meiner Entscheidung zu zweifeln und wieder unentschlossen zu werden 😩 natürlich während die Preise für Arbeitsspeicher und HDD weiterhin steigen 😰. Falls jemand nen Cheatcode hat um das Jahr 2021 von "hardcore" auf "einfach" umzustellen bitte posten.

 

[blaues Kopftuch]

@******* darf ich fragen was dir im 1. und 2. Durchgang als fps angezeigt wird?
Meine Settings siehe Bilder unten, dabei ist es wichtig "Video -> Compression" zu aktivieren sonst frisst der Output zu viel Platz. Dieses Video habe ich zu Testzwecken runtergeladen und stabilisiert: YT Video: Elektrotechniker #86

Falls du gerade Deshaker frisch entdeckt hast: Wenn das Video hin und wieder trotzdem ruckelt liegt es meistens am 2. Durchgang, ganz rechts unten im Eck "max correction limits" gibt an ab wann die Stabilisierung aufgegeben wird und das Video halt kurz ruckelt. Dort einfach überall 100 oder noch mehr eintragen. Wenn du dann noch "edge compensation" auf "none" stellst kommen solche Videos bei raus:
Entwackeltes YT Video

mfg Kopftuch

 

[blaues Kopftuch]

60 Sekunden von irgendwo, am liebsten von 3:30 bis 4:30 (da wackelt er so stark, dass mir schlecht wurde), reichen voll und ganz. Zum schnell-schneiden von Videos empfehle ich übrigens Avidemux. Video & Audiocodec auf "copy", Anfang und Ende jeweils auf Keyframes setzen (mit den 4 markierten Knöpfen, die linken zwei springen zwischen Keyframes, die rechten beiden setzen Anfang und Ende). Das Schneiden geht dann binnen Sekunden weil das Video nicht neu gerendert werden muss.

mfg Kopftuch