Skalierbare Serverlösung für die Großfamilie

[Japanic]

Hallo zusammen,

nach dem ich mit Hardwareluxx-Hilfe den Wiedereinstieg in die PC-Welt gewagt habe und damit auch nach wie vor zufrieden bin, steht jetzt das nächste Projekt an: Eine All-in-One Serverlösung für alles was in einer Großfamilie mit 7 Personen so anfällt und zu dem auch mitwachsen kann. Folgende Aufgaben sollen mit der Zeit realisiert werden:

1. Backup aller Geräte per Wlan / Lan auf einen zentralen Ort, von dem wiederum auch Backups auf M-BluRay geschrieben werden können um diese auch extern zu Lagern (Fotos / Videos / Dokumente, ca. 4TB)
2. Arbeit mit zentralen Daten auf dem Netzspeicher (Für Lightroom etc.)
3. Mediaserver für alle, welcher auch bei paralleler Nutzung von Full-HD nicht in die Knie geht
4. VMs für verschiede Ansprüche, darunter auch min. 2 Gaming-VMs mit genug Leistung für Full-HD Spiele (30FPS würde sogar reichen, wir sind da nicht so anspruchsvoll)
5. TV-Recorder (als Bonus zum Mediaserver, wenn alles andere funktioniert)
6. Owncloud

Als Basis für diese ganze Aktion möchte ich unraid testen, welches den Infos im Forum nach zu Urteilen, für Anfänger sehr leicht einzurichten sein soll. Die eventuellen Geschwindigkeitsnachteile gegenüber eines normalen Raids werden wir mangels Erfahrungen nicht bemerken. Allerdings bietet es Nachteile für die Backuplösung, da muss ich bei den 4TB an "wichtigen Daten" noch sehen, was ich mache - es wäre im Standard nicht sicherer als die aktuelle Lösung mit USB-Platten.

Starten wollte ich eigentlich mit alter Hardware, welche sich aber als nicht mehr Lauffähig erwies. Nun habe ich kurzerhand den oben genannten Spiele-PC in den Keller verfrachtet, meinem Sohn ein Harry-Potter Buch geschenkt und eine schöne analoge Zeit gewünscht . Die SSD mit dem Spielesystem ist jetzt eingetütet und zwei neue HGST 4TB 7200 NAS + 1TB Crucial SSD liegen als Speicherbasis auf dem Tisch für Unraid. Wenn die Tests in den folgenden Tagen erfolgreich sein sollten, möchte ich das Spielesystem wieder zurückbauen und zu neuer Hardware greifen.

Als Vorauswahl habe ich folgende, möglichst günstige, Threadripper-Konfiguration erstellt, da ich nicht sofort das Geld mit vollen Händen verteilen möchte, sondern lieber nach und nach Auf/Umrüsten will:

ASRock X399 Taichi
Threadripper 1900X
Kingston 2x 16GB ECC

Die größten Fragezeichen habe ich beim Speicher. Je mehr ich mich einlese, desto schlimmer wird es. Einerseits soll Quad-Channel Pflicht sein, andererseits auch ganz gut ohne laufen. Dann wäre 3200er Takt sehr wichtig, die Latenz unwichtig. Dann wieder anders herum, wenn man mindestens 2400er kauft. Und am Schluss ist es anscheinend doch egal, wenn man auf 4x16 GB geht, weil das sowieso für alle Belange ausreicht. Es sieht nach einem Glaubenskrieg aus, ohne dass irgendwo Benchmarks präsentiert werden...

Sollte das alles laufen (als Anfänger dürfte es eine Zeit dauern), möchte ich mich daran wagen, die VMs einrichten. Hierbei frage ich mich aktuell, welchen Leistungsverlust man im Vergleich zu einem nicht virtualisierten PC hätte. Zwar scheint das gleichzeitige Zocken auf dem Server per KVM lt. verschiedener How—To-Videos möglich (1x Graka pro User). Aber wenn ich in den Server jeweils eine 1080ti stecken muss, um die Leistung meiner aktuellen 690er rauszubekommen, baue ich lieber einen weiteren PC auf und streiche die Serverkosten zusammen.

Natürlich gibt es für mich bei diesem Projekt weitaus mehr neue Informationen, als bei dem Spiele-PC. Server, Linux, VMs sind alles komplett neue Welten. Allerdings ist es wohl so, dass sich die Hürde für einen erfolgreichen Einstieg in den Severbereich mittlerweile deutlich gesenkt hat. Versuch macht Kluch.

Was haltet ihr von dem Vorhaben? Ich danke schon mal vorab für jede Hilfe und wünsche noch ein schönes Wochenende
-Japanic

 

[Ceiber3]

? Man braucht für jede VM wo du drauf Spielen möchtest ne extra Grafikkarte. Zum Beispiel 2x GTX 1080ti. Dazu sei noch gesagt das Consumer Nvidia Grafikkarten Probleme machen beim durchreichen. Selbst wenn du es hinbekommst, weden dir die meisten Spiele nach ein paar Minuten crashen. AMD Grafikkarten machen da weniger Probleme beim durchreichen, aber beim Gaming kackt die auch manchmal ab. Jedenfalls mit ESXI getestet. Mit Unraid könnte das ganze ganz anders ausehen.

Edit:
Ich persönlich halte es für schwachsinnig ein Server für Daten und Gaming usw hinzustellen. Dann lieber ein kleinen Server für Datenaustausch/TV/Plex usw.. Und 2 kleine Gaming Rechner für die Kinder ?

 

[Matschgo]

bei Unraid crashed da nichts... erst letzte Woche probiert und 4h BF1 am Stück gezockt ohne Probleme und ohne merklichen Geschwindigkeitsverlust zu bare-metal.

 

[besterino]

Bei Gaming in VM stellt sich halt die Sinnfrage, schon im Hinblick auf Kosten/Nutzen. Ein performantes Gaming-System ist sowohl bei der CPU als auch beim Speicher preiswerter bzw. leistungsfähiger als das Gleiche in Server-Hardware (Core i vs. Xeon, RAM auf 3xxx hoch getaktete normale DIMMs vs. 2400/2666er ECC). Von den Grakas mal gar nicht zu reden, wann du volle Treiberunterstützung bei NVIDIA mit den Quadros/GRID haben willst (mit Amd kenne ich mich da nicht aus).

Bleibt je nach Setup nicht zuletzt auch eine praktische Frage, nämlich wie Du Grafik-, Ton- und Eingabesignale vom „Daddelplatz“ zum Server bekommen willst. USB(3) mag keine ellenlangen Verlängerungen, HDMI/DisplayPort sind ganz schön dick und gibt es m.W. kaum als „Unterputz-/Verlege-Kabel“. Dann kannst du - je nach räumlichen Gegebenheiten - noch über so Konverter über Ethernet nachdenken... die sind auch nicht ganz günstig.

Habe das selbst mal ausgetestet (siehe Link zur GPU-VM in meiner Signatur), aber am Ende schon wegen der Performance-Einbußen von Baremetall auf VM von ca. 50-70% bei den FPS mit nur EINER Gaming-VM (Auflösung 1440p) für meine Ansprüche als „nicht alltagstauglich“ verworfen. Möchte gar nicht wissen, was man an Hardware braucht, um 2 Gaming-VMs mit 2 Grafikkarten um eine 1060 aufwärts mit den nötigen Daten in hinreichender Speed zu füttern.

 

[Japanic]

@Ceiber3:
Danke für den Hinweis mit den Grafikkarten, mit AMD-Grafik habe ich zwar keine Erfahrungen, aber wenn es besser laufen soll, wird halt die Marke gewechselt. Zu deinem Edit: Das ist ja genau die Frage. Lohnt sich das große System für alles, oder wäre es klüger, die Aufgaben auf mehrere PCs zu splitten...

@Matschgo:
Danke für deine Erfahrungswerte! Mit welcher Hardware-Combo aus deiner Signatur lief das? Und wie waren deine Eingabegeräte angeschlossen, per USB direkt, oder komplett über das Netzwerk? Generell wäre es ja meine Traumlösung quasi an jedem Monitor/TV im Haus einen Thin-Client zu haben um dort nach Lust Arbeiten / Fernsehen / Spielen zu können. Natürlich nicht mehr Spieler parallel, als Grafikkarten im Server sind.

@besterino: Die Grafikkarten müssten bei Unraid, wie Ceiber3 bereits geschrieben hat, wohl von AMD kommen. Nvidia macht anscheinend mehr Probleme. Die Eingabe/Ausgabe müsste auf jeden fall über das Netzwerk getunnelt werden, alles anderen würde keinen Sinn ergeben. Wenn das nicht zufriedenstellend klappt (wie mit Steam-In-Home-Streaming), lohnt es sich nicht. Und zu deinen Erfahrungen über VM-Gaming: Wie war denn dein Setup? Auch per Unraid + KVM?

Der heutige Tag lief recht erfolgreich, ich habe noch mal einen Umweg gemacht und Benchmarks auf "Bare-Metal" gemacht mit den Testversionen von PC-Mark und 3D-Mark. Dann habe ich Unraid gestartet und die Platten eingerichtet. Dabei ist bei der Parity 4GB HGST folgende Warnung gekommen: Reallocated sectors on Parity: 30. Finde ich jetzt nicht so Prickelnd und soll wohl auch nicht so gut sein. Dazu muss ich mich aber noch mal einlesen bzw. beobachten ob es mehr werden. Noch kann ich die Platte umtauschen.

Danke für die Infos / Hilfe und eine gute Nacht...
Japanic

 

[Trambahner]

Wenn da jetzt schon Reallocated Sectors kommen, dann umtauschen. Ohne jede Verzögerung, da würde ich nicht lange warten.

 

[besterino]

Nein, kein Unraid.

Ich hab das mit ESXi und Passthrough einer NVIDIA GTX 1080ti gemacht. Der Monitor hing direkt per DisplayPort an der Graka.

Außer der Graka war eine USB3-Steckkarte durchgereicht an der eine USB-Soundkarte sowie Keyboard und Maus hingen.

Also keine Kompression des Bildsignals, KVM über IP oder ähnliches.

Bin neugierig auf das was Du da bastelst, vor allem wenn man Bild/Ton/usw. übers Netz streamen kann - mit RDP/RemoteFX zum Beispiel hab ich das nicht weiter verfolgt.

 

[fard dwalling]

Würde bei so einer Lösung nicht was Richtung Steamlink funktionieren?? Ich weiß nur nicht, wie das Steamlink den Sound bekommt. Also benötigt der Host wirklich ne Soundkarte, oder kriegt das Steamlink die Audiodaten direkt von den Spielen?

 

[besterino]

Würde es (inkl. Sound schätze ich mal), jedenfalls wenn Steam nativ auf dem Server läuft. Aber: kann m.W. nur ein Client gleichzeitig.

Bei mehreren Clients ist dann doch wieder eine VM pro Client notwendig.

 

[fard dwalling]

Das ist richtig. Aber ich dachte, das wäre eh vorgesehen. Man hätte dann natürlich in den Zimmern oder am TV immer nur den kleinen Steamlink.

 

[besterino]

Was m.E. aber definitiv kein Ersatz für einen „vollwertigen“ Thin Client ist, der bspw. über RDP einen Desktop sieht.

 

[fard dwalling]

Was würde der denn besser/schneller machen?

 

[schref]

Das ist richtig. Aber ich dachte, das wäre eh vorgesehen. Man hätte dann natürlich in den Zimmern oder am TV immer nur den kleinen Steamlink.

Meiner Erfahrung nach ist Steamlink nicht das gelbe vom Ei was die Performance angeht. Ich habe einen Zuhause (per LAN) und habe doch eine merkbare Verzögerung. Bei "schnelleren" Spielen ist das teilweise extrem unangenehm.

 

[konfetti]

Allein aus Gründen der Flexibiltät habe ich getrennte Server und Clients - nen Gaming-Rechner kann man eben mal mit auf LAN nehmen...
Zusätzlich wird das Gamingsystem ja nicht dauerhaft benötigt, d.h. der Mehrverbrauch bei den Grafikkarten im Server ist halt nicht zu vernachlässigen! - vorallem ist die Frage, ob die im Server auch ihr Stromsparpotential bei 2D-Anwendungen vs. 3D-Leistung nutzen können. - Eine Grafikkarte ist dann auch wieder eine zusätzliche Wärmequelle... macht nur bedingt Sinn.

Ich hab testweise auch ne Quadro600 im ESX, die macht dort relativ gut ihren Dienst, ist aber auch nur für Monitoring zuständig, sprich da wird am Monitor lediglich ne Webseite angezeigt, aber eben aus ner VM heraus - das ist auch eher ne spielerei als das es für den Dauerbetrieb nen Use-Case gibt, zumindest nicht wenn man von klassischer Verteilung von Clients und Servern ausgeht.

 

[Matschgo]

@Matschgo:
Danke für deine Erfahrungswerte! Mit welcher Hardware-Combo aus deiner Signatur lief das? Und wie waren deine Eingabegeräte angeschlossen, per USB direkt, oder komplett über das Netzwerk? Generell wäre es ja meine Traumlösung quasi an jedem Monitor/TV im Haus einen Thin-Client zu haben um dort nach Lust Arbeiten / Fernsehen / Spielen zu können. Natürlich nicht mehr Spieler parallel, als Grafikkarten im Server sind.

Mit der PMS/Backupserver-Hardware und meiner 980TI, die mittlerweile wieder im neuen System hängt (Gamer aus der Signatur)... da war alles direkt am Server angeschlossen. Also nix übers Netzwerk oder so.
Wiegesagt, ich konnte da keine merklichen fps-Einbußen feststellen... die GK und die ganze Peripherie wurde nativ durchgereicht über Unraid (Redhat KVM) an die Win10-VM. Linustechtips hat dazu auch schon mehrere Videos bei YT gemacht... wie das über Remoteclients funktioniert weiß ich nicht... stell ich mir aber jetzt nicht so günstig vor wenns ordentlich sein soll.

 

[Japanic]

@All: Danke für die rege Teilnahme und sorry für die späte Antwort! Durch den Ausfall der ersten Platte sowie etwas beruflichen Stress wird es vermutlich erst am Freitag mit den Systemtests weitergehen. Wie das Leben halt so ist.

@Trambahner: Die Platte ist jetzt auf dem Weg zurück zu Amazon und Nachschub bereits bestellt.

@besterino;26107003] Okay, dann scheint die Lösung mit Unraid besser zu funktionieren, zu mindest dann, wenn alles direkt am Server angeschlossen ist.

@fard dwalling: klar, müsste auch gehen. Ob es einen Unterschied gibt, Wenn Steam oder die VM für den Transport zuständig ist, muss ich dann herausfinden. Und natürlich muss so oder so ein Steam-Client pro VM exisitieren. Steam lässt gleichzeitige Logins nur begrenzt im Offline-Modus zu. Steamlink als Thin-Client ist aber zu schwach, wie besterino ja auch schon angemerkt hat. Die Kiste gibt es allerdings auch seit 2015 für 50€, da ist das kein Wunder.

@konfetti: Lanpartys... gibt es das noch? Geil! Die Wärme wäre kein Problem, der Stromverbrauch eigentlich auch nicht. Allerdings gehe ich davon aus, das auch ein Serversystem die Bauteile auch nur so belastet wie nötig. Wenn wir auf dem Spiele-PC Youtube schauen, geht bei der Grafikkarte noch nicht mal der Lüfter an. Also geringe Wärme = geringer Stromverbrauch. Ich müsste das einfach mal Messen.
Aber vermutlich wird der Server auch parallel zum Spiele-PC aufgebaut, daher bleibt es erst mal bei zwei getrennten Systemen.

@Matschgo: Okay, das heißt mit physikalischer Anbindung von I/O gäbe es keinen spürbaren Leistungsverlust per Unraid. Das ist ja auch das, was Linustechtips sagt. Wenn das noch über Lan klappt, wäre es perfekt. Zwar könnte man den Server auch physikalisch anbinden, da er genau unter dem Wohnzimmer stehen würde, aber dann braucht es eigentlich auch keinen Server. Damit steht und fällt also alles bei meinem Konzept.

Danke noch mal für eure Gedanken, ich bleibe dran und melde mich dann am WE zurück!

Grüße
Japanic

 

[Handle]

5. TV-Recorder (als Bonus zum Mediaserver, wenn alles andere funktioniert)
6. Owncloud

Zu 5.: Da bietet sich tvheadend an
Zu 6.: Nextcloud statt ownCloud

 

[Japanic]

@Handle: Okay danke für den Tipp, die Programme muss ich mir anschauen.

Zu dem aktuellen Stand: nach gefühlt unendlicher Zeitverzögerung habe ich es letztes Wochenende geschafft, den ersten Test per kabelbasiertem In-Home-Streaming durchzuführen. Ist ja nicht weiter kompliziert, einfach zwei mal Steam starten und ab dafür. Um eine bestmögliche Lösung testen zu können, habe ich einfach ein 1m Lankabel zwischen beide Geräte geklemmt (gemessener Durchsatz ca. 900mbit). Das Ergebnis von Spiele-PC zu Macbook Pro 2010 war: katastrophal. Die Verzögerung im Bereich von 500ms und mehr, Abstürze, Clouding als Kompressionsartefakt. GTA V und Landwirtschaftssimulator waren nicht spielbar, nicht mal mit zwei zugedrückten Augen. Nach diesem "schönen" Beginn des Abenteuers habe ich erst mal alles liegen lassen.

Gestern dann der nächste Versuch mit meinem Firmenlaptop (Lenovo L560). Der hat zwar keine dedizierte Grafikkarte, ist aber in etwa das, womit ich später die zwei Macs auswechseln würde. Es war ein unterschied wie Tag und Nacht! Die Verzögerungen lagen im Schnitt bei 20-30ms, natürlich bei den besten Qualitätseinstellungen bezüglich des In-Home-Streamings. Als Casual-Zocker ist es mir nicht gelungen, störende Effekte provozieren zu können (Explosionen während der Fahrt ect.). Selbst das physikalische Austauschen von Input / Output, also Mausklick auf dem Laptop, Betrachten am Host-Bildschirm (und umgekehrt) fiel nicht unangenehm auf. Das mein Macbook so zu alten Eisen gehört, hätte ich nicht für möglich gehalten. Allerdings muss man damit auch feststellen, dass das In-Home-Streaming auch beim Client deutlich mehr Leistung erfordert, als gedacht. Aber die Ergebnisse sind vielversprechend und ein Abbruch des Projektes nicht nötig!

Meine Schlussfolgerungen sind jetzt:

1. Es müssen weitere Tests mit dem In-Home-Streaming gemacht werden. Ein längeres Lankabel (10m) + 1-2 Router und Switches dazwischen, was dann später auch in etwa den Praxiszustand bedeuten würde. Wenn das dann wieder unspielbar ist, brauche ich kaum weiter zu machen. Wenn es erfolgreich ist, kann zusätzlich noch mal ein Test mit W-Lan gemacht werden. Schadet ja nicht.
2. Ich muss herausfinden, ob Stream eine vergleichsweise "minderwertige" Lösung darstellt, oder das non-plus-ultra ist. Hierzu müsste man dann einen Vergleichstests mit einer echten VM Host/Client Lösung machen. Dazu bietet sich dann erst mal die Basis von unraid an, die ich um ein Windows-System per VM erweitern werde. Zur Not muss dann aber sonst auf Windows Server und Hyper-V umgeschwenkt werden.
3. Screenshots und ggf. Videos werde ich hoffentlich nachreichen können.

Weitere Ergebnisse kommen dann heute / morgen.

Grüße
Japanic

 

[Japanic]

So, hier mal die Ergebnisse der kleinen Testreihe. Bitte beachten: der MBPS-Wert passt sich dem jeweiligen aktuell benötigten Datendurchsatz an und schwankt sehr stark. So kann auch die Anzeige bei 1Gbit auf 100mbit runtergehen und dann wieder hochspringen. Die jeweiligen Verbindungen wurden jeweils ca. 5 Minuten getestet, bevor das Fazit gezogen wurde.

Kabel 1m Direktverbindung, wie bereits zuvor beschrieben, komplett ohne Probleme


Kabel 20m Direktverbindung, ebenfalls keine Probleme


Kabel 10m + 100mbit Switch + 10m, man konnte ein paar Lags spüren. Zusätzlich deutliche Grafikkompression. Nicht optimal.


Kabel 10m + 1gbit Switch (FB 7940) + 10m, Leistung wie bei der Direktverbindung, ohne Probleme. Dies wäre der Zustand der späteren Verkabelung im Haus. Sehr Gut.


Zum Vergleich, Wlan-Verbindung im ausgelasteten Familiennetz. Beim dem Macbook Pro 2010 mit der Kabelverbindung war es genau so, nur noch mit deutlich schlechteren FPS.



Also alles in Allem weiterhin sehr vielversprechend. Zu den VM-Tests bin ich nicht mehr gekommen, wird aber als nächstes gemacht.

Grüße
Japanic