[Guide] NAS/Server Hardwareguide 2020

[underclocker2k4]

@underclocker2k4 Bei den neuen Xeons gibts die passenden Mainboards dazu noch nicht,

Nicht?
Hmm...

Hardware Online Shop für Server & PC | SONA

ᐅ Spezial Hardware Online Shop für Server & PC. Aktuelle & beste Hardware ✓ versandkostenfrei ✓ Raten & Rechnungszahlung ✓ Jetzt SONA.de besuchen!

www.sona.de

ohne IPMI:

Hardware Online Shop für Server & PC | SONA

ᐅ Spezial Hardware Online Shop für Server & PC. Aktuelle & beste Hardware ✓ versandkostenfrei ✓ Raten & Rechnungszahlung ✓ Jetzt SONA.de besuchen!

www.sona.de

beim Intel Xeon E-2324G gibts noch keine CPU Benchmarks

Wie der Alte, nur etwas schneller.

 

[Wirman]

bei geizhals noch nicht :-D
war aber auch das einzigw, was ich gefunden hab.
Asus etc. kommen erst noch.

 

[underclocker2k4]

Geizhals ist dafür ne schlechte Quelle. Sona ist z.B. nicht gelistet, hat aber nen Haufen Zeug in dem Bereich.
Und Asus will man nicht haben.

EDIT: Was real lieferbar ist, weiß ich natürlich auch nicht.

 

[Wirman]

btw:
i3-10100E, aber schon happig, 80€ Aufschlag, nur für ECC kompatibilität.
Tendiere grad zum Xeon W-1250, mit dem Gigabyte W480m Vision W

 

[Badrig]

@Wirman Auch für Plex am besten eine CPU mit Intel iGPU, ist am einfachsten. Darauf achten, dass der Chipsatz die iGPU unterstützt (das war bei C242 zB nicht der Fall)
Wichtig ist auch, dass die iGPU an die Plex VM durchgereicht werden kann, damit das HW Transcoding funktioniert. Die iGPU wäre dann aber für nichts anderes mehr verfügbar.

 

[Wirman]

@Badrig Der Xeon W-1250 hat die Intel UHD Graphics P630 (iGPU) und der W480 sollte die ja auch unterstützen (wo seh ich das, im Handbuch find ich dazu nichts)
Wenn ich Plex im Unraid als Docker laufen lasse, dann muss ich die iGPU ja nicht durchreichen oder? Wenn ich jetzt noch eine Windows VM z.B. für die ETS5 habe (auch über Unraid) kan nich das dann machen? Ich brauch ja nicht für jede VM ne eigene GPU oder?

 

[Badrig]

Mit Docker kenne ich mich aus, aber ich kann mir nicht vorstellen, dass so ein Container PCIe-Passthrough kann. Müsstest du mal gezielt danach suchen. Auch mit Proxmox geht es erst nach einer kleinen Modifikation.

In den tech. Daten zum Board steht: "Onboard Graphics Integrated Graphics Processor-Intel® HD Graphics support" also passts, aber das ist die einzige Grafik, die das Ding hat. Passthrough geht nur mit Geräten, die nicht für den Betrieb an sich gebraucht werden. So ist deine iGPU also schon "blockiert". Ein Grund, warum ein IPMI Board ganz praktisch ist.
Immerhin hättest du genug PCIe Slots, um Karten zu stecken. Zwei Optionen:
1. Die kleinen Nvidia Quadros taugen da auch ganz gut für Plex dank NVENC - achte nur auf eine aktuelle Generation wegen der Codecunterstützung (ab Pascal, z.B. P400).
2. Alternativ eine Billigkarte reinstecken und als primäre GPU einstellen, dann sollte die iGPU frei werden. Plex will jedenfalls direkten Zugriff auf eine Grafikkarte.

 

[Wirman]

Mit Docker kenne ich mich aus, aber ich kann mir nicht vorstellen, dass so ein Container PCIe-Passthrough kann. Müsstest du mal gezielt danach suchen.

Muss er das überhaupt? Verwaltet dann nicht Unraid die iGPU und die Dockercontainer benutzen die je nach notwendigkeit? Und nur wenn ich speziell möchte, dass eine bestimmte Anwendung/VM eine GPU benutzt und sonst niemand (auch wg. performance), dann kann man die durchreichen. So hab ich das verstanden, korrigiere mich, wenn ich falsch liege.

 

[Ceiber3]

Docker kann normal auch Passthrough.

 

[underclocker2k4]

Wie soll das denn funktionieren?
Mit welchen OS-Stack lädt denn so nen Docker Contrainer den Grafikkartentreiber?

Docker kann kein passthrough, einfach aus dem Grund, dass Docker nur eine Art Anwenderprogramm und kein OS ist.
Du kannst lediglich Docker die Möglichkeit geben auf die Grafikkarte zuzugreifen, analog wie es auch jedes andere Programm kann, nämlich ganz normal über die APIs.
Das muss die Container Engine natürlich unterstützen. Das ist aber kein Durchreichen. Und so ist es dann auch möglich, dass mehrere Container oder auch andere Programme, mehr oder minder parallel die GPU benutzen.

EDIT: Mit anderen Worten, das Plex-Docker spricht über die Engine die API der GPU an und diese API wird auf OS-Ebene bereitgestellt, da dort der Treiber sitzt. Der Docker hat und kennt keine GPU Treiber. Ist am Ende also nichts anderes, als wenn man ein Spiel startet und dieses mit der GPU API spricht.
Auch wenn Docker gerne mit VMs vergleichen wird, so ist das ein himmelweiter Unterschied.

 

[Ceiber3]

Oder so, ich weiß nur das ich die GPU in Docker ein Container zuweisen konnte.

 

[Badrig]

Muss er das überhaupt? Verwaltet dann nicht Unraid die iGPU und die Dockercontainer benutzen die je nach notwendigkeit? Und nur wenn ich speziell möchte, dass eine bestimmte Anwendung/VM eine GPU benutzt und sonst niemand (auch wg. performance), dann kann man die durchreichen. So hab ich das verstanden, korrigiere mich, wenn ich falsch liege.

Für Quicksync bzw NVENC muss m.E. voller Zugriff vorhanden sein.

 

[underclocker2k4]

Was heißt denn voller Zugriff?

Man aktiviert einfach die Berechtigung für den Zugriff auf Quick Sync, bzw. auf andere Geräte. Das ist nichts anderes, als wenn jemand Berechtigungen für nen Dateiordner setzt.
Per Default ist der access gesperrt, aus gutem Grund. Also einfach aktivieren und gut ist.

Eine Exklusivität kann man nur dadurch erreichen, dass man bestimmten Containern bestimmte Zugriffe erlaubt und anderen nicht.

Oder so, ich weiß nur das ich die GPU in Docker ein Container zuweisen konnte.

Das ist aber kein zuweisen. Es ist einfach nur ein Setzen von Berechtigungen, welcher Natur auch immer.
Also zuweisen im Sinne einer Berechtigung, wie bei jeder anderen access rule auch.

EDIT:
Wenn man also nur Plex den Zugriff erlaubt, dann ist das exklusiv, aber eben nicht zwingend.

 

[Badrig]

Grad auch nachgelesen, scheint zu gehen, gibt wohl Guides wie man das einstellt. Wie gesagt, hab keine bzw. nur schlechte Erfahrungen mit Docker (instabil, zerschießt sich bei jedem Update, Datenbank plötzlich hinüber). Benutze eine Ubuntu VM auf Proxmox dafür.

 

[Wirman]

Das an sich eine VM die stabilere Lösung ist, würde ich nicht bestreiten. Aber wie gesagt, du möchtest ja eigentlich keine Ubuntu VM mit Nextcloud, Plex, Heimautomatisierung etc, etc. Du willst das ja eigentlich voneinander trennen. Und für jedes der Aufgaben eine eigene VM aufzusetzen ist halt dann übertriebener Overhead. Mich wird es schon ärgern, wenn ich eine extra Windows VM benötige, nur um die ETS5 dort laufen lassen zu können.
Und VMs sollten doch z.B. bei ESXi in der Lage sein, sich ne GPU zu teilen oder? Kann doch nicht sein, dass man für jede VM ne eigene GPU benötigt?! Und bei Docker ja sowieso nicht.

 

[underclocker2k4]

VMs funktionieren da ganz anders, bzw. die Virtualisierer dazu.

Virtualisierer haben eine Art Hardwaresimulation. Eine vCPU ist nichts anderes wie ein Treiber, der eine CPU simuliert und Rechenaufgaben von der VM empfängt und diese an die eigentliche CPU weiterleitet und dann wieder zurückschaufelt.
Das ist grundsätzlich anders als bei Docker, wo die Prozesse des Containers direkt auf dem HostOS ausgeführt werden. Es gibt da also keine vCPU. Was Docker(bzw. Containerdienste) macht, ist einfach nur eine stärkere Kapselung und keine Abstraktion.

Und genauso wie ein Virtualisierer eine CPU emuliert, genauso muss er eine GPU emulieren und da fängt der Spaß an. Er macht das heute schon, das ist aber nichts anders als ein klassischer Legacy Treiber fürs Pixel malen, aber kein Compute.
Um auch Compute zu emulieren, braucht man einen passenden Simulator bzw. Treiber.
Ja, sowas gibt es. hier eine Liste der benötigten Karten.

https://www.vmware.com/resources/compatibility/search.php?deviceCategory=sptg&details=1&partners=68&page=1&display_interval=500&sortColumn=Partner&sortOrder=Asc

https://www.vmware.com/resources/compatibility/search.php?deviceCategory=sptg&details=1&partners=6&page=1&display_interval=500&sortColumn=Partner&sortOrder=Asc

Dazu braucht man dann noch die passenden Virtualisierer-Lizenz, im Fall von ESX, Enterprise+.

Dann kannst du GPU-Ressourcen sharen.
Was, das ist dir zu teuer? Tja, dann ein paar GPUs kaufen und dediziert weiterleiten.

Daher mein TIpp, bevor man sich etwas irgendwie im Kopf zusammenreimt, wie leicht das alles gehen müsste, sich mal mit der Technik, die da drunter liegt, beschäftigen. Dann klären sich viele Dinge selber und man lernt leider auch noch was.

 

[Wirman]

Danke für die Erklärung und ins richtige Licht zu rücken. Mir war nicht klar, dass GPU emulieren eben etwas vollständig anderes ist, als CPU emulieren. Bin ich dir sehr dankbar, solche Dinge von dir zu erfahren!
Das hilft enorm für meine Entscheidung, das heißt es wird entweder Unraid mit Windows VM und durchgereichter GPU für die Spiele, oder wenn die Virtualisierung in Unraid nicht performant genug dafür ist, dann halt ESXi mit Windows VM und durchgereichter GPU dort hin und dann eine zweite VM mit Unraid, die dann die iGPU nutzt und wenn das nicht reicht noch ne kleine Quadro dazu.

 

[underclocker2k4]

Es ist bei der GPU das selbe wie bei der CPU. Die Mechaniken sind die gleichen. Nur ist es so, dass ESX halt nen CPU Treiber mitbringt, der das kann, weil sie es eh brauchen und das auch nicht so ultraspeziell ist, da grob x86 grob x86 ist. Bzw. würde nen Virtualisierer ohne CPU-Support wenig Sinn machen.
Das ist auch der Grund, warum mit Version zu Version CPUs rausfallen, weil es der Treiber nicht mehr mitbringt, alte Zöpfe abschneiden.

Und bei GPUs ist es das Gleiche. Nur mit dem Unterschied, dass ESX da keinen eigenen, bzw. nur so nen low level Ding, mitbringt. Und da kommen dann die Hersteller ins Spiel. Die machen letztendlich genau das, was auch VMware mit der CPU macht, nur eben aus einer anderen Feder.
Und da ist es nun so, dass man sich das auch entsprechend bezahlen lässt, weil das schon sehr speziell und damit kostspielig ist, bzw. man in aller Regel damit Geld verdient. Genutzt wird das ja eigentlich für Computeanwendungen wie irgendwelche Cruncher und das macht man in aller Regel eher im prof. Umfeld.

 

[Wirman]

Ich hätte noch eine Frage zum Router Setup (gilt fürs NAS in gleicher Weise)
Wie berechne ich die Größe meines Netzteils und wieviel Puffer muss ich einplanen? Wie schauts mit der Anzahl an Lüftern aus?
Setup:
i5-9600K (ist für Router übertrieben, aber gebraucht kein großer preislicher Unterschied zu den anderen CPUs der Gen. und im Idle Verbrauch ebenso kein Unterschied) 95W TDP
Fujitsu d3643-h (Laut c't 7,7W Idle und 98W mit i5-8400 (65W TDP) unter Vollast)
beliebige M.2 SSD (Idle vernachlässigbar, Last 5-6W)
2x8GB Ram (Faustregel 3W pro Riegel)
X520-DA2 (8,6 Watt laut Caseking)
SM-CPU-Kühler (klappt das? Anscheinend für 95W ausgelegt und 1HE tauglich. Wieviele und welche Lüfter benötige ich dann, dass alle Komponenten ausreichend gekühlt sind? Geizhals Noctua Lüfter)
Leistungsaufnahme der Noctua Lüfter laut Geizhals bis zu 0,6W pro Lüfter.

Jetzt geh ich mal von den Worstcase Werten aus, heißt:
CPU+Board = 128W
M2: 6W
RAM: 6W
X520: 9W
3(?) Lüfter: 2W.
Entspricht 151W. Würde dann zum PicoPSU 160W greifen, wobei 100€ mit Netzteil dann schon viel Geld ist, aber die PicoPSU werden schnell teuer. (PicoPSU weil sparsam und 1HE tauglich und lautlos)

Passt das so, oder mach ich irgendwo einen Denkfehler? Kann man den 9600k auf 65W TDP drosseln? Entspricht dann ja quasi einem 9500er, der ist aber neu teurer und gebraucht kaum zu bekommen)

 

[Badrig]

Für Router hoffnungslos übertrieben - außer du hast irgendeine Spezialanwendung laufen?
Ich würde das NT nicht so knapp ausreizen. Die haben zwar grundsätzlich noch Puffer darüber hinaus, aber der Wirkungsgrad ist bei ca. 50% Last idR besser. Insbesondere kommt beim Pico noch ein Steckernetzteil dazu.
Bei so einem Kühler würde ich nicht über 35W gehen. Die sind zwar für 1HE und 95W ausgelegt, aber mit servertypischem Luftstrom, d.h. Düsenjet-Niveau. Das willst du vermutlich nicht.
Wieso eigentlich 10G im Router, hast du Internet >1GBit/s?

 

[Falo999]

SM-CPU-Kühler (klappt das? Anscheinend für 95W ausgelegt und 1HE tauglich. Wieviele und welche Lüfter benötige ich dann, dass alle Komponenten ausreichend gekühlt sind? Geizhals Noctua Lüfter)
Leistungsaufnahme der Noctua Lüfter laut Geizhals bis zu 0,6W pro Lüfter.

Der ist nur für 95 Watt ausgelegt wenn ein dementsprechener Luftzug über den Kühler vorhanden ist.
Und den wirst du mit einen 0,6 Watt Lüfter (egal welche Marke) vermutlich eh nicht erzeugen können.


Natürlich ist die CPU wirklich komplett wahnsinnig überzogen für nur einen Router, das schafft im normalfall jede 6/10 Watt CPU genausogut.
(außer du hast wirklich einen sehr speziellen Anwendungsfall, evtl. willst du ja bei dir zuhause den nächsten AMD/Nvidia GPU FE Drop hosten)

Ich hätte auch KEINE Problem das Setup mit einer 160W Pico zu betreiben das selbst im großzügig berechneten Worstcase noch Luft ist.

 

[Badrig]

Ach ja, klar, dann schließe ich mich an, was das NT angeht. Das war ja worst case, nicht Alltragsnutzung. Mein Fehler, dann passts

 

[underclocker2k4]

Ich glaube, die 10G sind für Verkehr zwischen VLANs, also nicht in Richtung Inet. Wobei auch da, kann man ja vorsorgen.
Wichtig wäre dann ja ggf. auch die IPSEC-Performance für 10G VPNs....

EDIT:
Ansonsten gilt, du kannst die CPU auch kochen, die taktet dann einfach runter. Sprich, aus den 65W am Anfang werden dann über Zeit auch 50W, je nachdem was die Temp. geht.
Schön ist das nicht, geht aber.
Aber, wenn man die Leistung nicht abruft, dann braucht das Teil auch nur seine, sagen wir mal 10W. Da passiert dann nichts.
Und im Routing ist das dann auch relativ uninteressant. Die Spikes, die man bei 10GBE hat, treten ja für gewöhnlich nur wenige Minuten auf. So schnell kocht die CPU nicht hoch.
Beim NAS/VM kann das anders aussehen. Wenn seitens VMs viel los ist und man dauerhaft Leistung zieht, dann wird das mollig warm in der Kiste.
Und ja, so nen 1HE passiv Server kann eine Herausforderung sein, gerade bei höherer Last. Läuft das im unteren Lastbereich sind die Lüfter auch gut leise. Richtig Server können aber aufdrehen, was man bei der Noctua-Lösung nicht kann, die sind da limitiert und können keine Spitzen abfangen.

 

[Wirman]

Für Router hoffnungslos übertrieben - außer du hast irgendeine Spezialanwendung laufen?
Ich würde das NT nicht so knapp ausreizen. Die haben zwar grundsätzlich noch Puffer darüber hinaus, aber der Wirkungsgrad ist bei ca. 50% Last idR besser. Insbesondere kommt beim Pico noch ein Steckernetzteil dazu.
Bei so einem Kühler würde ich nicht über 35W gehen. Die sind zwar für 1HE und 95W ausgelegt, aber mit servertypischem Luftstrom, d.h. Düsenjet-Niveau. Das willst du vermutlich nicht.
Wieso eigentlich 10G im Router, hast du Internet >1GBit/s?

10G, weil der Router den Traffic zum/vom NAS über das VLAN routen soll und weil der Switch mit 10G angeschlossen wird.
Nein, den Düsenjet-Strom möchte ich nicht. Funktioniert sowas hier, wenn ein Deckel drauf ist? Zalman 1HE. Ansonsten ein Radiallüfter( Dynatron)
Wieviel von den kleinen Lüftern bräuchte ich dann noch für das System? (Im 1HE Case)

Und ja, das System läuft die meiste Zeit vermutlich mit sehr niedriger Last. Der Dynatron gönnt sich halt auch 10W Leistung, was für den 24/7 Router blöd ist.
Wenn der Prozessor kaum gefordert ist, ist dann auch der Lüfterverbrauch genauso gering? Also z.B. 10% Last, 10% Lüfterleistung? Oder ist das mehr oder sogar weniger?

 

[underclocker2k4]

Und ja, das System läuft die meiste Zeit vermutlich mit sehr niedriger Last. Der Dynatron gönnt sich halt auch 10W Leistung, was für den 24/7 Router blöd ist.
Wenn der Prozessor kaum gefordert ist, ist dann auch der Lüfterverbrauch genauso gering? Also z.B. 10% Last, 10% Lüfterleistung? Oder ist das mehr oder sogar weniger?

Wenn der Lüfter langsamer dreht, dann verbraucht der auch weniger. Ist wie beim Staubsauger, geringe Stufe, weniger Saugleistung und weniger Stromaufnahme.
Linear ist das nicht, da gibt es dann quadratische Abhängigkeiten.

 

[Wirman]

Also wenn 100% 10 Watt sind, dann sind also 10% Leistung 0,1Watt?
Oder andersrum, dass sqrt(10%) = 3,6 Watt entsprechen, und dann sqrt(100%) = 10 Watt?

 

[underclocker2k4]

https://www.delta-fan.com/Upload/PWM/Delta_PWM.pdf

Da kannste mal nachlesen. Da sind dann auch exemplarische Stromwerte und daraus bekommt man dann die Leistung.
Nicht vom Duty Cycle verarschen lassen, die Drehzahl ist das Interessante.

So nen PWM-Lüfter geht z.b. nicht auf 10% Drehzahl runter. Die haben ne Mindestdrehzahl und eben ne max. Drehzahl.

 

[Wirman]

Ist ja ne Wissenschaft für sich. Was mir hier fehlt ist jetzt aber z.B. die Angabe, bei welcher Leistung die CPU welchen Airflow braucht. Anhand dessen könnte man dann den passenden Kühler wählen und sich auch den Verbrauch berechnen. Bzw da tatsächliche Kühlleistung vermutlich nicht dem Airflow entspricht, müsste der Kühler die tatsächliche Kühlleistung in Watt in Abhängigkeit von seinem Airflow (irgendwie müssen die ja berechnen für wieviel TDP der Kühler dimensioniert ist) und die CPU die tatsächliche Wärmeentwicklung in Watt in Abhängigkeit der Auslastung angeben. Ich denke das finde ich nirgends?

 

[Strikeeagle1977]

Über den Aktuellen Artikel der Asrock Boards bin ich mal wieder auf mein Thema neues NAS gestoßen.

Bisher N54 HP Microserver mit RAC, Freenas9 letzte Version, aber darf eben auch gerne etwas schneller und zukunftssicherer sein, vor allem bei den Schnittstellen nach außen.

Bisherige Nutzung als reines NAS, langfristig möchte ich natürlich VM laufen lassen.

Vorstellung:

Sparsame CPU mit 4C oder wenigstens 4t
Board mit 2,5Gbs onboard oder schneller
Unterstützung für min 6x, besser 8x SATA, gerne 1x M.2 fürs OS
ECC ist notwendig, wie auch IPMI
Gerne ITX, µATX Format, ungern teurere SO DIMMs

Wie gehe ich am Besten da ran?

Sind ja ganz typische Vorraussetzungen für nen kleinen NAS Server

 

[Scharrlatan]

Die ersten Fragen sind folgende:

Wie viel willst du ausgeben? Was machst du alles mit dem System? Willst du in Zukunft mehr damit machen?