Hardware/Software-Beratung für privaten Fileserver/Virtualisierungsserver

[[SoD]r4z0r]

N'Abend miteinander,
ich bitte um etwas Beratung für nen Fileserver/Virtualisierungsserver (sowohl bezogen auf die Hardware, als auch auf die Software, also OS, RAID etc.).

Geplanter Verwendungszweck:

• Fileserver/Netzwerkshare, Minimum 12TB Netto (HDDs)
• Plex Media Server (greift auf o.g. Netzwerkshare zu)
• Transkodierung für Plex
• 10GBase-T oder Möglichkeit zum Nachrüsten
• Virtualisierungsmöglichkeit (VMware ESXi oder Microsoft Hyper-V) von Linux- und Windows-Servern
• 512GB SSD (NVMe bevorzugt, SATA auch OK) für die VMs

Ferner sollte der Stromverbrauch nicht außer Acht gelassen werden. Ebenfalls sind kleinere Komponenten bevorzugt. Das Gerät wird im Keller stehen, sollte aber trotzdem nicht zu laut sein.

Generell sehe ich drei Möglichkeiten:

1. Billig-NAS mit Anschluss per iSCSI an nen Server der die VMs beinhaltet.
2. Teures NAS was alle o.g. Anforderungen erfüllt
3. Selbstgebauten Server mit Hyper-V oder ESXi. Darauf als VM den Plex und als zweite VM nen Linux der für den Fileserver zuständig ist.

Da die dritte Möglichkeit die meisten Freiheiten bringt ist sie mein Favorit den ich hier erstmal betrachte.

Hardware:

• Intel Xeon E3-1225 v6 (wegen der Transkodierungsmöglichkeiten)
• Supermicro X11SSZ-TLN4F (integriertes 10GBase-T)
• 2x16GB ECC RAM
• 3x/4x 6TB/8TB HDD

Um "sonstige Hardware" (Gehäuse, Kühler, Netzteil und dergleichen) kümmere ich mich wenn hier das geklärt ist.

Fragen zu der Hardware:
Hat einer Erfahrung mit dem Mainboard? Da dass Mainboard nur 4 SATA-Ports hat müsste ich bei der Verwendung von 4 HDDs für den Host und die VMs eine NVMe SSD über einen der PCIe Slots nutzen.

Welche HDDs könnt ihr empfehlen? Ich tendiere aktuell zur 6TB oder 8TB WD Red. Die 6er gefällt mir allerdings etwas besser, da sie kein Helium benötigt.

Habt ihr andere/bessere Vorschläge oder gibt es Nachteile bei o.g. Komponenten?


Fragen zu der Software:
Wenn ich den Plex in einer Linux-VM nutze, kann der dann noch die Kodierungsfunktionen der CPU nutzen?

Wie soll ich den Fileserver aufbauen? Die Platten über den Virtualisierungshost verwalten und als "fertigen" Speicherplatz an den Fileserver weiterreichen?
Oder die Platten an die VM durchreichen und dort z.B. ein Linux Software-RAID einrichten?
Soll ich für das RAID 3 oder 4 HDDs nehmen? Möchte ein RAID5 oder vergleichbares.
Soll ich den Fileserver selber aufbauen oder auf Sachen wie FreeNAS oder vergleichbares zurückgreifen?
Ich brauche eigentlich nur Netzwerkshares die vom Windows-Rechner und vom Plex erreichbar sind. Allerdings sollten manche Ordner auch per Benutzername/Passwort geschützt werden.


Kenntnisse in u.a. Linux, Windows und ESXi sind vorhanden. Ich schrecke also vor einer Bastellösung nicht zurück.
Bin für alle Ideen und Verbesserungsvorschläge offen

 

[besterino]

Ich werfe als Board Mal das Supermicro X11SSH-CTF retail Preisvergleich Geizhals Deutschland in dem Raum.

Hat für kleines Aufgeld (nimmt man die bei Geizhals lagernden ist es sogar billiger) einen m2-PCIe Slot (leider leider nur 2260), 8x SATA und einen LSI 3008 SAS Controller (nochmals 8 Platten-Anschlüsse) an Bord. Ersteren kannst du für die SSD nehmen und letzteren reichst Du sauber an die Storage VM durch.

Mit dem Board wirst du die verbleibenden PCIe-Slots allenfalls für einen m2-Adapter (für ne gescheite 2280er SSD) brauchen, verlierst aber den 16er Slot im Vergleich zu dem von Dir verlinkten Brett.

 

[[SoD]r4z0r]

Danke für den Vorschlag. Der 2260er M.2 bringt mir leider nicht viel, da ich auf Geizhals keine 2260er NVMe SSD gefunden habe. Oder gibt es wo anders welche?
Die zusätzlichen SATA-Ports sind aber auf jeden Fall interessant wenn ich keine PCIe-Lösung ans Laufen bekomme.

Du meinst nicht nur die Platten, sondern auch den gesamten Controller an die VM durchzureichen? Wo ist der Unterschied ob ich jetzt nur die Platten oder Controller + Platte durchreiche?

Hätten bei dem Board SAS-Platten für mein Szenario einen Vorteil gegenüber SATA-Platten?

 

[rayze]

Hätten bei dem Board SAS-Platten für mein Szenario einen Vorteil gegenüber SATA-Platten?

Du kannst ohne weiteres SATA Platten an einem SAS Controller betreiben, nur umgekehrt klappt dies nicht.

 

[oelsi]

...

Fragen zu der Software:
Wenn ich den Plex in einer Linux-VM nutze, kann der dann noch die Kodierungsfunktionen der CPU nutzen?

...

Selbst wenn Du Plex bare metal laufen lässt, wird mit den oben erwähnten Supermicro-Boards Transcoding auf der GPU nicht funktionieren (EDIT: Sorry, gilt nicht für das X11SSZ-TLN4F-B). Das geht nur, wenn das Board selbst einen Grafik-Ausgang für die onboard GPU hat. Auf den Supermicro-Boards wird die onboard GPU einfach deaktiviert. Selbst wenn Du auf ein Board mit entsprechenden Grafik-Ausgängen umsattelst, wird GPU-Transcoding in einer VM nicht laufen, da der Hypervisor die GPU nicht weiterreicht. Es gibt zwar bereits Ansätze, die onboard GPU auch in VMs nutzbar zu machen (Link, Link), das ist aber alles noch reichlich experimentell und damit, ausser Du suchst die Bastel-Challenge, Zeitverschwendung. Falls Linux/Proxmox eine Alternative für Dich darstellt, könnte man mal untersuchen, ob sich GPU-beschleunigtes Plex Transcoding zumindest in einem LXC-Container realisieren lässt.

 

[besterino]

Damit stehen dir alle Möglixhkeiten offen, um eine Storage VM auf Solarish-Basis aufzusetzen mit all den Vorzügen, die ZFS bietet.

 

[Trambahner]

Hinter der Schraube für die 2260 sollte genug Platz für eine 2280 sein. Ich würde die ssd da von der Unterseite einfach per Wärmeleitpad/Isoliertape auf dem Schraubensockel elektrisch isoliert leicht ankleben.

 

[[SoD]r4z0r]

Selbst wenn Du Plex bare metal laufen lässt, wird mit den oben erwähnten Supermicro-Boards Transcoding auf der GPU nicht funktionieren (EDIT: Sorry, gilt nicht für das X11SSZ-TLN4F-B). Das geht nur, wenn das Board selbst einen Grafik-Ausgang für die onboard GPU hat. Auf den Supermicro-Boards wird die onboard GPU einfach deaktiviert. Selbst wenn Du auf ein Board mit entsprechenden Grafik-Ausgängen umsattelst, wird GPU-Transcoding in einer VM nicht laufen, da der Hypervisor die GPU nicht weiterreicht. Es gibt zwar bereits Ansätze, die onboard GPU auch in VMs nutzbar zu machen (Link, Link), das ist aber alles noch reichlich experimentell und damit, ausser Du suchst die Bastel-Challenge, Zeitverschwendung. Falls Linux/Proxmox eine Alternative für Dich darstellt, könnte man mal untersuchen, ob sich GPU-beschleunigtes Plex Transcoding zumindest in einem LXC-Container realisieren lässt.

Die Bastellösungen müssen es nicht unbedingt sein, zumindest nicht am Anfang. Zur Not muss ich halt Softwaretranskodierung nutzen. Bei nur einem Abspielgerät (ein TV) sollte die CPU aber ausreichen.

Damit stehen dir alle Möglixhkeiten offen, um eine Storage VM auf Solarish-Basis aufzusetzen mit all den Vorzügen, die ZFS bietet.

Meinst du normales x64 Solaris? Benötigt ZFS nicht relativ viel RAM? O.g. Konfiguration hat zwar 32GB RAM, aber ich möchte einen Großteil davon für VMs nutzen.
Mein Gedanke war 4GB für die Plex-VM und 2-4GB für den Fileserver. Auf den Fileserver hätte ich ein einfaches Linux Software-Raid gepackt, so wie es bei meiner aktuellen NAS (WD EX4100) auch ist. Was würde dafür und dagegen sprechen?

Hinter der Schraube für die 2260 sollte genug Platz für eine 2280 sein. Ich würde die ssd da von der Unterseite einfach per Wärmeleitpad/Isoliertape auf dem Schraubensockel elektrisch isoliert leicht ankleben.

Das könnte klappen, in der Tat. Die Option halte ich mir auf jeden Fall offen.

 

[besterino]

Meinst du normales x64 Solaris? Benötigt ZFS nicht relativ viel RAM? O.g. Konfiguration hat zwar 32GB RAM, aber ich möchte einen Großteil davon für VMs nutzen.
Mein Gedanke war 4GB für die Plex-VM und 2-4GB für den Fileserver. Auf den Fileserver hätte ich ein einfaches Linux Software-Raid gepackt, so wie es bei meiner aktuellen NAS (WD EX4100) auch ist. Was würde dafür und dagegen sprechen?
.

Die Details hängen vom Einsatzzweck ab. Ja, ZFS wird grds. umso performanter, je mehr RAM zur Verfügung steht. Stellt sich also die Frage, wie viel Performance brauchst Du auf dem Storage denn wirklich?

a) Als Datengrab für Mediendateien wohl eher wenig - dann reicht auch wenig RAM (z.B. 4GB - vielleicht reichen sogar 2GB) für die Storage VM.

b) Liegen aber z.B. VMs auf dem ZFS-Storage, wird man mit 4GB RAM bei normalen HDDs als Datenträgern allein nicht wirklich glücklich (das gilt dann aber im Zweifel auch genauso für ein Linux Storage mit gleicher Konfiguration).

Variante b) ist aber nach meinem Verständnis hier nicht gewollt, denn:

512GB SSD (NVMe bevorzugt, SATA auch OK) für die VMs

Außerdem: RAM dient auch nur als Cache - vereinfacht gesagt: sind die Daten nicht im Cache, hast Du auch wieder nur die reine Platten-Performance.

Würde ich das persönlich so wie von Dir skizziert bauen? Wahrscheinlich nicht. Ich würde vermutlich auch den Datenspeicher für die VMs (außer die StorageVM) durch die StorageVM managen lassen und an ESXi zurückgeben. Also die SSD auch in die StorageVM packen. Dort dann entweder als Cache für den großen HDD-Pool oder als separaten SSD-Pool für die VMs nutzen - müsste man dann mal ausprobieren, womit man bei wenig RAM die bessere Performance herausholt (vielleicht hat gea da ja auch Empfehlungen?). Warum? Dann kann man z.B. die VMs sehr bequem wegsichern (zum Beispiel vom SSD-Pool auf den HDD-Pool).

Aber das führt jetzt zu weit und ich kann da auch keine echten Empfehlungen abgeben, was für DICH am besten passen könnte. Meine StorageVM hat halt zum Beispiel beides: mehr RAM (16GB) und einen SSD "RAID0" Pool (4x256GB SATA SSDs = ca. 1TB) als Datenspeicher für die VMs. Bin damit recht happy, muss man aber natürlich eben nicht so machen.

Und zu guter Letzt: das Problem von "zu wenig RAM" für die StorageVM könnte man bei dem Board ja ganz easy lösen: einen 16GB Riegel mehr und zack kannste der StorageVM 16GB mehr geben...

 

[[SoD]r4z0r]

@besterino
Der Fileserver wird primär für Filme via Plex genutzt. Zusätzlich habe ich dort ausgelagerte Dateien von meinem Rechner (Installationsdateien, alte Bilder, Musik und dergleichen). Ich nutze das auch als zusätzliches Backup. Bezogen auf die Datensicherheit reicht mir eigentlich ein "normales" Linux-Software-RAID.
Performance benötige ich nur, wenn ich vom Rechner Daten auf den Fileserver schiebe und umgekehrt. Sind zu 90% große Dateien (Archive, Isos, Filme). 1GBit sollte problemlos über die Leitung gehen, alles drüber ist nice-to-have (habe aktuell nur GBase-T).

Wie Du vermutet hast, die VMs sollen auf eine separate SSD und nicht auf die HDDs.

Interessantes Konstrukt mit der SSD durch die StorageVM zu verwalten, an so etwas habe ich noch nicht gedacht. Aber das würde dann heißen, dass ich den Hypervisor auf USB-Stick installieren muss, oder?
Als Cache für die HDDs benötige ich die SSD auf Grund des o.g. Nutzungsszenarios eigentlich nicht. Die HDDs würde ich zwischendurch auch gerne zum Strom sparen herunterfahren, so wie meine NAS das aktuell schon macht. Gibt zeitweise einige Wochen in denen ich nicht auf die Daten dort zugreifen muss.
Die VMs würde ich nicht als ganzes sichern. Einige würde ich per Script sichern (Anwendungsdaten & Datenbank), andere würde ich gar nicht sichern.

Du würdest aber dennoch ZFS empfehlen wenn ich dich richtig verstanden habe, oder?
Empfiehlst Du das eigenhändig auf z.B. Solaris einzurichten oder empfiehlst Du eher eine Appliance wie z.B. Napp-It zu nutzen?

 

[CommanderBond]

Also ich habe NFS Readonly für Clients wie Kodi und SMB dann für den Zugriff von Windows aus.
Bei nem reinen Videoarchiv bringt der ganze Cache im Ram von ZFS nichts, weil die Daten ja nicht mehrmals gelesen werden, außer du guckst immer den selben Film. Hatte hier mal einen Server mit 9GB und danach 4GB. In meinen Augen reichen 4GB in so einem Fall, eventuell gehen noch weniger. Auch SSD Cache bringt demnach nix für zB Filme.

SSDs bieten sich für VMs an, hier könnte auch ein HDD Pool mit SSDs zur Leistungssteigerung Vorteile bringen. Allerdings sind SSDs ja jetzt auch nicht mehr so teuer und VMs dürften nicht so groß jetzt sein sodass man hier von vornerein auf SSDs setzen könnte.
Wenn irgendwas durchlaufen soll wären 2,5er HDDs auch eine Option, welche zwar langsammer sind aber stromsparender. Den Leistungsnachteil könnte man dann mit SSDs ausgleichen, macht aber nur Sinn falls man da in Größenordnungen kommt wo SSD only zu teuer ist.
Ich persönlich überlege auch ob ich bald für "Eigene Dateien" also Dokumente, Bilder, usw auf SSDs umsteige, weil hier hat man dieses nervige warten nicht wenn die Platten im Spindown sind und wenn ich Videos abziehe habe zumindest ich nicht soviele Dateien die sich nicht gut auf SSDs unterbringen lassen von der Größe her.

Also auf jeden Fall würde ich 2 Pools machen mindestens, einen für Videos, große Dateien die man selten benötigt, und einen anderen für VMs, Eigene Dateien usw. Videos dann RaidZ1 (Raid5) wenn man mutig ist, oder besser RaidZ2(Raid6). VMs und eigene Dateien wenn auf SSD dann einen Mirror.

Der Nachteil von einem großen Pool ist wie du schon erkannt hast dass dieser dann nie in den SpinDown kann wenn dort VMs liegen, und wenn dort ne Word Datei liegt oder PDF an die du dran willst muss der auch jedesmal wieder komplett hochfahren. Bei mehreren 3,5er Platten wäre das wirklich Schwachsinnig nur weil du nen paar KB lesen musst vom Pool.

4mal Sata wäre dann aber warscheinlich zu wenig. Wird Transcoding wirklich gebraucht? Vielleicht mal gucken ob es nicht vielleicht billiger ist an jedem Fernseher ein RPi zu installieren welches das Format nativ schon abspielen kann. Auf Plex muss man dann ja nicht verzichten, könnte aber ne schwächere CPU nehmen weil das Transcoding Problem sich entschärfen würde.

 

[[SoD]r4z0r]

Warum siehst Du RaidZ1 bzw. Raid5 als Risikoreich? Weil nur eine Platte abrauchen kann und der Restore auf Grund von 6-8TB pro Platte recht lange dauern wird?
Kann ich ein RaidZ1 noch nachträglich in ein RaidZ2 umändern oder muss ich mich von Anfang an für ein Level entscheiden?

Das mit dem SpinDown sehe ich nicht als Problem, da ich auch bei meiner aktuellen NAS teils wochenlang nicht drauf zu greife. Die aktiv benötigten Daten (aktuelle Dokumente und dergleiches) habe ich eh auf meinem Rechner.

Meine Filme sind alle in komplett unterschiedlichen Formaten, von alten VHS-Sicherungen die ich vor Ewigkeiten irgendwie digitalisiert habe bis hin zu H.265 Videos.
Auf meinem Fernseher (LG) läuft eine Plex-App, allerdings kann die mangels Transcodingfähigkeit meiner aktuellen NAS nicht alles wiedergeben. Die Plex-App vom TV würde ich gerne weiterverwenden, da ich ungerne zusätzliche Geräte vor dem TV haben möchte.
Ich könnte dann zwar vermutlich circa 100€ bei der CPU sparen, aber es käme dann noch ein RasPi mit WLAN oder vergleichbares dazu.

 

[Trambahner]

Raidz2 statt Raidz1 hat mir schon vor 9-10 Wochen die Daten auf meinen ZPool gerettet...

 

[MisterY]

Zur Software: ich habe das so gelöst: proxmox mit ZFS Raidz 1/2/3, den Pool dann per Samba/NFS freigegeben und/oder komplett als mountpoint in einem LXC-Container gemountet. Dort dann Plex installiert. Alternativ gibt es ein emby turnkey-linux für proxmox.