[Kaufberatung] Stiller Homeserver (auch als NAS), hauptsächlich für Virtualisierung

[tcg]

Das AsRock B550M Pro4 bootet hier headless problemlos.
Ich hatte zum installieren mal eine GT710 drin, aber wieder raus genommen.
Mit ESXi ist die irgendwie sinnlos ;-)

 

[Benedev]

Zwei x16 elektrisch kannst schon knicken. Wenn ein zweiter mechanischer x16 Slot wo auf einem B550 ist, dann ist da normal per x4 am Chipsatz angebunden.

Ist das auch ohne Grafikkarte ein Problem? Könnte ich also bspw. eine LAN Karte, eine SATA-Erweiterung und, was weiß ich, eine USB Erweiterung anschließen? Ich denke nur die wenigstens Karten brauchen wirklich x16, oder? Sorry falls du das bereits beantwortet hast, irgendwie blick ich grad nicht mehr ganz durch 😅

Ich hatte zum installieren mal eine GT710 drin, aber wieder raus genommen.

Irgend eine alte Grafikkarte hab ich hier auch noch rumliegen. So hab ich das auch vor.

 

[Trambahner]

Naja, wenn ein Slot belegt ist, dann ist er belegt.
D.h. wenn Du eine x1 Karte in einen elektrisch 16er Slot steckst, sind ohne Tricks (PCIe-Bifurcation) die restlichen 15 Lanes verpufft....

Du musst ganz genau aufpassen, was in einen Slot mechanisch passt und wieviel Lanes davon wirklich elektrisch benutzbar sind.
Auch das sagt Dir gesichert nur das jeweilige Manual, bei Geizhals&Co sind hier und da durchaus mal Fehler bei solchen Details.

=> ja, die Suche kann sehr aufwendig sein, wenn man ganz bestimmte Eigenschaften z.B. für Serverzwecke will. Der Teufel steckt in den exakten Details jedes einzelnen Boards.

Beispiel anhand meines B550M Tuf Wifi:
einmal x16 mechanisch+elektrisch (an CPU)
einmal M.2 x4 an CPU

einmal x16 mechanisch, aber nur x4 elektrisch (an Chipsatz)
einmal x1 mechanisch+elektrisch (an Chipsatz)
einmal x1 WiFi (M.2 E-Key, könnte ggf. aber auch verlötet sein statt gesockelt, das hab ich nicht überprüft) (an Chipsatz)
einmal M.2 x4 (an Chipsatz)

Die letzten vier teilen sich i.w. mit den 4 Sata Ports und Lan die nutzbare Bandbreite.
Setzt Du eine Karte in den x1 Slot, wird der x4 Slot nur noch x2 elektrisch angebunden.

===========================
Sata hab ich 2* 500GB SSd drin.
Im x1 hab ich eine Soundkarte,
im x4, der dadurch nur noch elektrisch x2 ist, hab ich eine Intel 10Gbit-LAN-Karte.
beide M.2 sind belegt (mit je einer 970 Evo Plus 1TB)
=> d.h. die 10Gbit-Karte, eine 970 Evo, die Sata-SSDs und die Soundkarte teilen sich die Bandbreite von 3.5GB zwischen Chipsatz und CPU. Das haut noch gut hin, weil wann schon hab ich dauernd 3GB/s an der 970er anliegen.

Der elektrische x16 (wo sonst die GPU steckt) ist derzeit frei, da ich eine 4750G APU nutze.
Dort könnte man dann z.B. einen Raid-Controller, SAS-Adapter oder auch per Bifurcation-Adapter noch drei M.2 stecken.

 

[Benedev]

D.h. wenn Du eine x1 Karte in einen 16er Slot steckst, sind ohne Tricks (PCIe-Bifurcation) die restlichen 15 Lanes verpufft....

Logisch, aber in den insgesamt drei vorhanden Slots 3 Karten zu verwenden funktioniert dann problemlos? "Zwei x16 elektrisch kannst schon knicken" klang für mich danach, dass der zweite nicht mehr funktioniert sobald der erste in Verwendung ist

 

[Trambahner]

Der zweite halt mit maximal 4 Lanes Bandbreite.

 

[Benedev]

Danke. Wieder einiges dazu gelernt.
Dann bin ich mir ziemlich sicher, dass mir die drei Slots des ASRocks reichen, dann bleib ich bei dem. Auch, weil @tcg bestätigen konnte, dass es headless bootet.

 

[Trambahner]

Denk auch dran, dass man per Riser-Kabel/Kärtchen aus einem PCIe M.2 wieder einen Slot mit elektrisch bis zu 4x zaubern kann.
Das kann je nach Anwendungsfall durchaus nützlich sein.

 

[tolga9009]

"Meine Workstation" ist gut Wäre schön wenn ich da was brauchbares hätte. Wäre es denn vielleicht tatsächlich eine Überlegung wert, das ganze aufzusplitten? In einen 24/7 laufenden Server mit deutlich reduzierter Handware als urpsrünglich geplant und eine "Workstation" (also einfach ein Desktop-PC mit Ausrichtung auf die genannten Anforderungen, richtig?)?

Wie man das aufsplittet, da gibt es leider keine pauschale Antwort und denke da gibt es auch kein richtig und falsch. Für ML - gerade wenn du vorhast mit Bildern / Videos zu arbeiten - brauchst du irgendwann eine GPU, falls du etwas mehr als nur "Proof-of-Concept" machen willst. Das wiederrum ist aber genau das Gegenteil zu "leise" und "stromsparend". Es ist sehr schwierig, alles in einer Kiste unterzukriegen. Du hast mehr Möglichkeiten und bist flexibler unterwegs, wenn du das in mehrere Kisten (z.B. Server & Workstation) unterteilst.

Meiner Meinung nach sollte ein Storage bzw. 24/7 Server, leise, stromsparend, stabil & langweilig sein. Auf die Workstation kann dann alles, was nicht 24/7 läuft, wo du ständig dran rumtüftelst und wo es nicht so schlimm ist, wenn mal was richtig kaputt geht. Bsp. wenn deine GPU einen Reset braucht, geht nicht direkt dein Smart Home flöten.

Auf einem Server, der 24/7 läuft und Storage usw. verwaltet ist ECC empfehlenswert, auf einer Workstation, wo du ein wenig mit ML / KI experimentierst oder anderweitig programmierst, kannst du dir das ECC wegsparen. Statt einem Transformers Server und Klapperkiste als Desktop, kannst du das etwas hin- und herbalancieren. Was hast du denn aktuell als Desktop?

Absolut so war das geplant. Die Schwierigkeiten sehe ich hierbei nur bei der Ungewissheit was die verbauten Platten angeht, so hätte ich gestern fast hier zugeschlagen, dann aber noch gelesen, dass der Lesekopf wohl sehr schnell Probleme macht, wenn nicht im Original-Gehäuse. Hast du da Erfahrungen?

Da musst du aufpassen. Die kleineren externen HDDs von WD nutzen intern WD Blues, die absolut grottig sind. WD Blue ist maximal in 6TB erhältlich - also wirst du bei externen HDDs ab 8TB etwas mehr Glück haben. Aber auch da musst du aufpassen. Es gibt qualitativ sehr hochwertige, heliumgefüllte HDDs, die im Grunde umgelabelte Enterprise / Datacenter HDDs sind. Die gibt es "garantiert" ab einer bestimmten Kapazität, aktuell wären es 12TB. Gab es in den letzten Wochen immer wieder für ca. ~170€ als MyBook mit 3 Jahren Garantie. 2x 12TB hat gegenüber 2x 6TB + 2x 4TB den Vorteil, dass du mehr SATA Slots frei hast, weniger Stromverbrauch und es ist vermutlich (?) leiser. Kosten dürften vergleichbar sein. Aber auch die luftgefüllten 8TB / 10TB sind kein Müll - die sind halt etwas wärmer und lauter als die heliumgefüllten Pendants, aber keinesfalls schlecht an sich.

//Edit: das ASRock B550M Pro4 ist eine sehr gute Wahl! Wollte mir das auch holen, leider war es damals nicht verfügbar. ASRock bietet auch astreinen ASPM-Support, was sich in deinem Stromverbrauch wiederspiegeln wird.

 

[Dr.Cupido]

Moin,

habe letzte Woche auch meinen neuen Server in Betrieb genommen. Hatte ähnliche Anforderungen. Hab mir dann das unten stehende zugelegt

Mainboard ist ein Fujitsu D3644-B mit Orochi-Kühler und nem E-2126G (6Kerner mit IGPU und ECC) mit Dell Perc 200 HBA (2x SAS auf 2X4 Sata) und 1x 16GB ECC. Das Board unterstützt AMT /vPro.
Auf dem Orochi liegt ein 14er Lüfter @ 5 Volt. Netzteil ist eine PicoPSU
Fast lautlos und stromsparend.
Da sind 12x Consumer ssd´s drin. 2x raid 1 und 1x raid 5 ca. 14TB. Die einzelnen Raids sind an die VMs durchgereicht. Am USB Port hängt noch eine Gbit Netzwerkkarte für LAG.
Ohne Vms nur mit hochgefahrenem Proxmoxx ca. 25W. Wenn alle VMs laufen ca. 35W. Wenn 2* 4K Videos gestreamt werden 65-80W

Für OpenVPN und als Firewall nehme ich die IPFire. Fhem mit mqtt für die Smarthome und Heizungssteuerung. Grafana mit Checkmk plugin und Fhem integration. LDAP mit Samba und SQL Datenbank für die eigene AD Domäne. Plex hatte ich als medienstreamer, bin jetzt aber wieder beim universal media server für die upnp streamingwiedergabe und ganz oldschool sftp server um mit dem gecrackten amazn 4k stick mit kodi gerartes auf alles zu streamen.
Ram ist zu 75% ausgelastet, werde da wohl bald noch einen 16gb stick dazu stecken. Der 6 Kerner langweilt sich in dem oben genannten Anwendungsfall.

Einmal im Monat wird auf ein Festplattennas gesynct das durch nen cronjob strom bekommt,hochfährt, Daten synct und sich wieder schlafen legt.

 

[Benedev]

Für ML - gerade wenn du vorhast mit Bildern / Videos zu arbeiten - brauchst du irgendwann eine GPU, falls du etwas mehr als nur "Proof-of-Concept" machen willst.

Da hast du Recht, diese Themen werde ich dann verschieben, Waren nur Überlegungen, da mich KI/ML etc. eigentlich schon stark interessieren, aber da dürft ihr mir dann in ein paar Monaten bis Jahren in meinem Workstation-Kaufberatungs-Thread helfen

Was hast du denn aktuell als Desktop?

Nichts spannendes, Ryzen 5 2400G (keine zusätzliche Graka), Gigabyte GA-AB350M-DS3H, 16GB RAM, 1TB SSD, 1TB HDD
Definitiv nicht als Workstation zu bezeichnen, aber noch komme ich damit klar Vielleicht würde hier aber auch schon eine brauchbare Grafikkarte für Verbesserung sorgen, sollte es in die genannten Richtungen gehen.

12TB. Gab es in den letzten Wochen immer wieder für ca. ~170€ als MyBook

Ja, habs auch gesehen, bis gestern für knapp 165€. Hab aber (leider?) nicht zugeschlagen, da ich ja noch am Überlegen war, 2 Platten an eine NAS VM durchzureichen und zwei direkt als Proxmox Storage zu verwenden. Hab mich jetzt ja aber vorerst dazu entschieden, auf HDDs ganz zu verzichten (und auf die DS918+ zurückzugreifen).

mit 3 Jahren Garantie

Aber doch nicht wenn man sie "shucked"? Bei einem Defekt einfach wieder ins Gehäuse schieben oder was?

 

[tcg]

Auch, weil @tcg bestätigen konnte, dass es headless bootet.

Ich hoffe nur dass sich das Verhalten nicht mit dem nächten BIOS update ändert.
Momentan habe ich die 1.20 drauf, werde aber jetzt upgraden auf 1.7x (wg. dem Ryzen 5k).

Ich werde berichten...

 

[tolga9009]

Aber doch nicht wenn man sie "shucked"? Bei einem Defekt einfach wieder ins Gehäuse schieben oder was?

Es gibt Videos im Internet, wie du die Festplatte rausbekommst, ohne Clips abzubrechen. Im Nachhinein kann dir das niemand nachweisen, dass es ausgebaut war.

Das Plastikteil, wo Clips abbrechen können, hat auch keine Seriennummer. Wenn du z.B. 2 externe Gehäuse hast, bei einem bricht was ab, bei dem anderen nicht, kannst du die tauschen. Das andere große Plastikteil hat jedoch eine Seriennummer, sowie das PCB fürs USB. Das darfst du nicht vertauschen.

Alternativ kannst du die Festplatten auch einfach so einschicken, ohne das externe Gehäuse, ohne alles. WD macht da i.d.R. keine Zicken.

Was natürlich zurecht abgelehnt wird, ist eine externe HDD mit kaputten Clips einzusenden. Bzw. mit falscher Seriennummer / falschem PCB.

 

[warchild]

Was natürlich zurecht abgelehnt wird, ist eine externe HDD mit kaputten Clips einzusenden. Bzw. mit falscher Seriennummer / falschem PCB.

Auch wenn ich den Thread hier jetzt etwas kapere, aber da das Thema ja eh gerade behandelt wird: kann ich selber irgendwie nachvollziehen welche Festplatte in welchem Gehäuse war? Steht z.B. die gleiche Seriennummer auf Festplatte und Gehäuse/PCB?

 

[Shutterfly]

1. Integrierte Grafik:
   1. Nur bei wenigen Modellen überhaupt dabei, die mir alle schon fast zu schwach für meine Anforderungen erscheinen.
   2. Frage 3: Lässt sich stand heute wohl nicht an VMs durchreichen, korrekt?

Nur bedingt korrekt. Was dir helfen könnte, ist bei Intel CPUs folgendes:

Intel GVT-g - ArchWiki

wiki.archlinux.org

Setzt natürlich ein passendes OS voraus.

 

[tolga9009]

Auch wenn ich den Thread hier jetzt etwas kapere, aber da das Thema ja eh gerade behandelt wird: kann ich selber irgendwie nachvollziehen welche Festplatte in welchem Gehäuse war? Steht z.B. die gleiche Seriennummer auf Festplatte und Gehäuse/PCB?

Gehäuse + Festplatte ja. Erkennst du direkt auf dem Aufkleber. PCB hat jedoch eine abweichende Seriennummer. Die Seriennummer der HDD ist jedoch auch im EEPROM des PCBs hinterlegt - die kriegst du über einen Hardware Programmer (3.3V) raus oder alternativ über ein Programm am PC (weiß nicht mehr welches). Am einfachsten ist es, wenn man sich das beim Shucking direkt aufschreibt bzw. schön getrennt aufbewahrt.

Wenn du dir unsicher bist, am besten direkt ohne alles Einsenden. Das hat eine viel höhere Chance akzeptiert zu werden, als wenn du da falsche Parts einsendest.

 

[tcg]

Confirmed: headless geht auch mit BIOS 1.70 und 5950x ;-)

Ist aber super umständlich wenn man nach dem BIOS flashen alles wieder zusammenbaut, die Kiste in den "Serverraum" stellt, anschliesst und dann merkt man hat vergessen passthrough für den Controller wieder zu aktivieren ! Controller raus, GPU wieder rein, konfigurieren, GPU raus, Controller rein... Oje !!
HPE mit iLO hat doch riesige Vorteile !
Zum Glück mach ich das nicht so oft...

 

[PStran]

Naja, wenn ein Slot belegt ist, dann ist er belegt.
D.h. wenn Du eine x1 Karte in einen elektrisch 16er Slot steckst, sind ohne Tricks (PCIe-Bifurcation) die restlichen 15 Lanes verpufft....

Das Asrock B550M Pro4 unterstützt laut Support am PCIEx16 die bifurcation übrigens mit x8x8 oder x8x4x4. Nachtrag: Es unterstützt mit dem aktuellen BIOS x16, x8x8, x8x4x4 und x4x4x4x4.

 

[Hipiman]

Supermicro x11sch-ln4f
Hab's genau wegen der Konstellation gekauft.

IPMI - Remote Management
RAM ECC - bis 128GB
M.2 - 2x NVME X4 Slots
NIC - 4x Intel Gigabit Netzwerkkarten
SATA - 8x SATA 3


Esxi - SATA Chipsatz Passthrough - TrueNAS
Esxi - 2x NIC Passthrough - Opensense

CPU von 4-8 Kernen möglich - keine GPU nutzbar

Wäre vielleicht etwas.

Dazu das Fractal Node 804 oder etwas besseres gedämmtes.

AMD ist zwar leistungstechnisch besser aber richtiges Server Feeling kommt nicht auf.

Die ASRock Rack Produkte haben mir zu viele Bugs.

Die Consumer Boards haben keine Garantie für ECC und kein IPMI.

Der Idle Verbrauch bei den X Chipsätzen ist im Idle auch nicht so gering.

 

[Holt]

Das Asrock B550M Pro4 unterstützt laut Support am PCIEx16 die bifurcation übrigens mit x8x8 oder x8x4x4.

Was aber nichts daran ändert, dass man den Slot denn mechanisch belegt hat und die übrigen Lanes dann mit einer speziellen Riserkarte mechanisch rausführen müsste um sie überhaupt nutzen zu können und ich habe keine Ahnung ob es solche Riserkarten gibt mit denen man die hinteren Lanes rausführen könnte. PCIe Lane Bifurkation, also die Möglichkeit mehrere Geräte in einem Slot nutzen zu können, ist eigentlich nur für Karten mit mehreren M.2 PCIe Slots aber ohne einen teuren PCIe Lane Switch (aka PLX Chip) wie z.B. die ASUS Hyper Card relevant.

AMD ist zwar leistungstechnisch besser aber richtiges Server Feeling kommt nicht auf.

Die ASRock Rack Produkte haben mir zu viele Bugs.

AM4 ist eben keine Serverplattform, während es bei Intel von keder S.115x Generation auch die Xeon-E als Entry-Level Server und Workstation Plattform gab und diese nutzen die gleichen Dies wie die Consumer CPUs, gleiches gilt für die Chipsätze. Daher können die ganzen Intel Consumer Boards auch diese ganzen Enterprise Features und untersützten problemlos Serverhardware und -betriebssysteme / Virutalisierungshosts und deren Features wie das Durchreichen von PCIe Geräten an eine VM. Das ist bei AMD anderes, da sind offiziell nur die großen 7000er EYPC die Serverplattform, die kleinen EYPC 3000 werden von AMD als Embedded bezeichnet und beworben, was andere Anforderungen an die Unterstützung von Hard- und Software sowie die Validierung bedeutet. ASRack versucht mit den AM4 Server Boards also etwas auf eigene Faust, was von AMD so nicht vorgesehen ist, denn AMD hat eben keine Entry Level Serverplattform auf AM4 Basis, AM4 ist eine reine Desktopplattfom, auch wenn sie genug Leistung für andere Anwendungen für vergleichsweise wenig Geld bietet:

A key challenge with using Ryzen in servers, as we mentioned in our recent Intel Xeon E-2288G Review, is that the Ryzen platform is supported by AMD’s desktop team, not the server team. That means AMD’s support resources for the Ryzen platforms are targeted more at desktop applications.

Anhand des Bugs des Zufallszahlengenerators der RYZEN 3000 CPUs der dazu geführt hat, dass beim Release viele aktuelle Distributionen mit systemd nicht liefen, kann man erahnen wie wenig umfangreich die Tests mit Linux gewesen sein dürften. Nur spielt Linux auf dem Desktop eben kaum eine Rolle, da ist Windows wichtig und danach lange nichts.

Auch die TR3000 wurden offenbar gar nicht unter Linux getestet:

Given the AMD EPYC 7002 "Rome" processors already to market and the Ryzen 3000 series, going into this I wasn't anticipating any Linux issues at all for these 7nm Zen 2 Threadripper CPUs. But I was quickly greeted by one big surprise...

Die CPUs sind zwar fast identich, die Plattform aber nicht, denn während die EYPC reine SoCs sind, haben die TR immer einen externen Chipsatz und ja, bis auf die neuen TR Pro (die offiziell Workstation CPUs sind), werden die anderen TR alle als Desktop (wenn auch HEDT) vermarktet, also kann man ahnen welches Team diese intern betreut und was für Tests diese wohl vorranging gemacht haben.

With either the ASUS or MSI motherboards and with both the 3960X and 3970X, Linux distributions like Ubuntu 19.10 weren't booting!
...
there were signs pointing to an MCE (Machine Check Exception) problem.
...
When reaching out to AMD's Linux engineers about it, on 21 November they did release an AMD x86 MCE patch for the Linux kernel.

Glaubt also jemand wirklich, dass ESXi und das Durchreichen von PCIe Geräten getestet und ggf. gefixt wurde? Intel macht sowas wegen der Xeon-E und die Desktopversionen können es dann auch, aber wofür sollte AMD dies bei seinen Desktopplattformen machen, von denen es keine Serverversionen gibt? Sowas kostet viel Geld weil es viel Aufwand ist und ist für Desktopplattformen nicht nötig. Man wird sehen wie es bei Intel in Zukunft aussehen wird, nachdem die Xeon-E nun Xeon-W sind und nur noch als Workstation und nicht mehr als Server beworben werden, was mehr als nur Marketung ist, es bestimmt eben auch welche Unterstützung implementiert wird und welche Validierungen gemacht werden.

 

[besterino]

Naja, mit den Threadrippern (non-Pro) hatte ich bisher wirklich keine Probleme bzw. wenn, dann in Konstellationen die auch auf Intel-Plattformen (inklusive C622 mit Xeon Silver) zickig und zudem völlig unsupported waren/sind (abstruse Passthrough-Geschichten z.B.). Habe da sowohl mit den 1000ern (auch zwei unterschiedlichen Mainboards) und einem 3000er rumgespielt und war positiv überrascht, wie unproblematisch da z.B. ESXi drauf läuft. Ich denke, dass die - wenn das überhaupt eine Rolle spielt - schon eher von dem Profi-Team betreut werden, einfach weil Anwendungsbereiche und Großzahl der Käufer wie bei den "echten Servern" eben deutlich Business-näher liegen.

Das aber nur als persönliche Erfahrung, wirklich zu einem Threadripper als Server RATEN würde ich wohl auch eher nicht bzw. mit einem fetten Disclaimer.

Das ist aber auch eher offtopic: die Dinger sind hungrig, damit auch laut(er) und für den gewünschten Einsatzzweck eh daneben.

 

[Holt]

Habe da sowohl mit den 1000ern (auch zwei unterschiedlichen Mainboards) und einem 3000er rumgespielt und war positiv überrascht, wie unproblematisch da z.B. ESXi drauf läuft.

Also ich vermute, dass dies eher an der engen Verwandschaft mit den EYPC liegt, die CPUs sind ja identisch und die meisten PCIe Lanes kommen bei TR von der CPU und nicht dem Chipsatz. Vom Chipsatz abgesehen sind TR und EYPC ja gleich, daher wundert es eben nicht und ist auch kein Hinweis darauf welches Team die Plattform betreut, wenn Serveranwendungen die auf EYPC unterstützt und validiert sind, dann auch auf TR laufen, solange diese eben nichts mit dem Chipsatz zu tun haben, also etwa der Versuch PCIe Geräte durchzureichen die am externen Chipsatz hängen. Sowas wird das Serverteam natürlich nicht testen, da die EYPC den externen Chipsatz ja nicht haben.

 

[emerald]

Was aber nichts daran ändert, dass man den Slot denn mechanisch belegt hat und die übrigen Lanes dann mit einer speziellen Riserkarte mechanisch rausführen müsste um sie überhaupt nutzen zu können und ich habe keine Ahnung ob es solche Riserkarten gibt mit denen man die hinteren Lanes rausführen könnte. PCIe Lane Bifurkation, also die Möglichkeit mehrere Geräte in einem Slot nutzen zu können, ist eigentlich nur für Karten mit mehreren M.2 PCIe Slots aber ohne einen teuren PCIe Lane Switch (aka PLX Chip) wie z.B. die ASUS Hyper Card relevant.

Folgender Verkäufee bei eBay hat einige Interessante Sachen im Angebot. Nur der Preis ist leider auch recht ordentlich...

Artikel zum Verkauf von c_payne99 | eBay

Bei eBay tolle Angebote von c_payne99 finden!

www.ebay.de

Im seinem WebShop gibt es auch einiges an Hintergrundinfo zur Thematik Bifurcation.