[Kaufberatung] Aufbau NAS und VM Server

Huntley

Urgestein
Thread Starter
Mitglied seit
16.01.2007
Beiträge
2.600
Hallo,

durch meine berufliche Veränderung, muss ich (neben dem Thema Netzwerk) mich auch mit dem Thema NAS und VM Server beschäftigen.

Das NAS ist gedacht für:

- Backups
- Fotos und Videos
- Dokumentenarchiv

Ich bin mir noch unschlüssig ob das NAS auch Container betreiben können soll (ecoDMS z. B.) oder ich es wirklich nur als Speicherplattform nutze. Hängt sicher auch vom Preis ab.
Das NAS kann prinzipiell auch als Archive Storage betrieben werden oder ist das vom Hersteller abhängig?

Der VM-Host muss insbesondere ausreichend RAM haben. Geplant sind mehrere Windows-/Linux-VMs und ich muss auch Kubernetes einsetzen können.
Generell hatte ich da an Proxmox als Plattform gedacht.

Was den Server angeht, muss es nicht das neueste sein. Gebrauchtes wäre für mich auch völlig in Ordnung.
Vielleicht habt ihr ein Tipp, in welche Richtung ich da gehen und suchen kann.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ein virtualisierungs Server kann alles und nichts sein, zur not läuft Proxmox auch auf einem Rhaspberry 4. Ist dann halt stark limitiert vom Ram und hat nicht soo viel CPU Power.

Wenn man keine mörder CPU Power braucht, kann man mit so China All-in-One PCs eine Menge machen, insbesondere wenn man 4x - 6x LAN an Board hat:


Wenn Du richtig ins Netzwerk einsteigen möchtest, wäre das geeignete Setup:
Proxmox mit OPNsense und div. anderen VMs, dazu dann managed Switch Hardware wie z.B. Unifi und dann auch ein paar VLANs einrichten.

Ob nun mit der Hardware oder was potenteres musst Du wissen, das kann ich nicht eisnchätzen, aber da fängt es an.
 
Tatsächlich sollte es schon etwas potenter sein, als ein Raspberry. :fresse:

Eine VM kann durchaus schon 4 Cores und 16-32 GB RAM benötigen.
Eine VM soll mindestens eine Instanz MSSQL beherbergen, die benötigt dann aber eher I/O der Festplatten.

Auch wenn ich während der Entwicklung eine oder mehrere Kubernetes Nodes benötige, nehmen die auch einiges an Ressourcen.

Also der Server sollte schon mindestens 12 Kerne haben und über 100GB RAM.
Wobei ich auch nicht weiß, um wieviel Prozent ich die Kerne überbelegen kann. Aus der Vergangenheit weiß ich zumindest von VMware, das es da enge Grenzen gab.
 
Eine VM kann durchaus schon 4 Cores und 16-32 GB RAM benötigen.
Zen 3 Epyc ist gerade "billig", falls dus dick magst :d...
Klick dich durch.


Ist vielleicht besser als eine AM4 Plattform.
 
Wäre noch die Frage, wie das Budget bemessen ist.

Spoiler: "...ich will das beste vom besten, Geld spielt keine Rolle..." macht es uns deutlich leichter 8-)
 
Haha ja, aber wenn ich da so lese "mindestens 100gb RAM und mindestens 12 Cores", geh ich davon aus, dass mehr als 500€ budgetiert sind :d... bzw. vllt. braucht er ja überhaupt mal einen Budgetpreis.
 
Rome Epyc Bundles gibts gerade auf eBay wie Sand am Meer.
 
Die Frage nach dem Budget ist komplett berechtigt. Ähnlich wie beim Thema Netzwerk habe ich da nur überhaupt kein Gefühl wie die Preise liegen. Aus dem Bauch würde ich jetzt um die 1000€ sagen, aber ist das viel zu wenig oder auch nicht? Ich weiß es nicht.

Rein von dem was laufen wird kurz mal meine Einschätzung.

5 VMs mit den genannten 4 Kernen und 16-32 GB RAM.
Plus mindestens 2 Kubernetes Nodes, die ähnlich groß wären.
Ich muss in der Entwicklung bis zu 3 Versionen abdecken, daher so „viele“ VMs.
Dafür benötige ich aber sehr wenig Festplattenplatz, da komme ich sicher mit 1-2 TB hin, im NAS wäre das ähnlich.
Natürlich idlen die VMs auch viel, heißt unter Volllast sind die sehr selten. Wenn die OCR-Prozesse laufen, wird wahrscheinlich die meiste Last da sein.

Wenn ich euch noch mehr Infos liefern soll, sagt es gerne.

Danke schon einmal für all euren Input.
 
Die Frage nach dem Budget ist komplett berechtigt.
Jein.
Wenn du gewisse Anforderungen hast, hilft dir ein gesetztes Budget ja nicht. Weder hilft es, unnötig mit Geld zu werfen, noch hilft es, mitm Geld (so gar nicht) hinzukommen.

5 VMs mit den genannten 4 Kernen und 16-32 GB RAM.
Plus mindestens 2 Kubernetes Nodes, die ähnlich groß wären.
Auf AM4/AM5 bekommst fürs erste mal 16 Cores und 128gb RAM hin.

Allerdings hast du wenige PCIe Lanes am Mainboard, bist also was Speicherplatz (sowohl SSD als auch SATA) etwas begrenzt.
Weiter bist du begrenzt was Netzwerk-Interface angeht, weil die eben auch PCIe Steckplätze brauchen. 10 GbE gäbe es bei vielen Boards onboard.

Die Sache ist recht einfach.
Reicht dir ein 5950X + 128gb oder ein 7950X + 128gb mit einem 16er PCIe Slot, ein paar Sata Schnittstellen, ein paar wenigen M.2 (die wohl geshared sind mit SATA oder nem PCIe x4 Slot)?
Wenn ja, kann man machen, wisse aber, es ist einfach die Grenze der Plattform.

Wenn nein, Epyc. Da bekommst du Cores so viele du willst (16 Cores sind noch recht "günstig"), RAM bekommst im Hexa oder Octa-Channel (also deutlich mehr Speicherdurchsatz), zudem isser günstiger (RDIMM), von der Menge her bist du je nach Board wohl mit irgendwas zwischen 192-256 "günstig" dabei (32er Module), mit 64er Modulen (bissl teurer pro gb) kommst auf mehr, musst halt schauen, was das entsprechende Mainboard kann.
Zudem könnte man den Gebrauchtmarkt hier anschauen, DDR4 gibts ja schon länger, auch als RDIMM. Vielleicht lässt sich da was "abgreifen".
PCIe Lanes haben die Epyc entsprechend mehr (viel mehr), du kannst an PCIe Karten mehr oder weniger so viele du willst stecken (bekomm son Board mal voll).
Schnittstellen für Storage gibts meist auch einen Haufen Onboard.

Ich habs eh im anderen Thread geschrieben, warum ich ab einer gewissen Größe einen Epyc nehmen würde, weil er kaum teurer ist (neu).

Budget so 2000-3000 hätt ich geschätzt. 700 Board, 600 CPU, 500-600 RAM, 500 Gehäuse + Netzteil, 1000 für paar SSDs... fehlen halt noch die HDDs, kein Plan, wie viel da gespeichert werden muss.

Ich muss in der Entwicklung bis zu 3 Versionen abdecken, daher so „viele“ VMs.
Dafür benötige ich aber sehr wenig Festplattenplatz, da komme ich sicher mit 1-2 TB hin, im NAS wäre das ähnlich.
Natürlich idlen die VMs auch viel, heißt unter Volllast sind die sehr selten. Wenn die OCR-Prozesse laufen, wird wahrscheinlich die meiste Last da sein.
AsRock Rack Board B550/X570 nach Wahl mit 10GbE Onboard ~500€ - das Problem, die laufen wohl aus... MC12 riskieren mit der großen CPU?
Man könnte aufs IPMI verzichten, wenn das in Frage kommt, einfach ein Desktop B550 Board nehmen, Asrock Riptide, Asus Strix, sowas... hat dann nur 2,5 GbE onboard. Reicht eventuell auch? Hier hätte man 1 PCIe x4 Slot für ne NIC frei... in den x16 Slot die Hyper M.2 für 4 M.2 und gut.
Kostet keine 150€, kommt mitm 5950 gut klar... hat eben kein IPMI. Ob man das so dringend braucht, musst du wissen. Wenn du damit leben kannst, dass du irgend nen Bildschirm, Maus und Tastatur in der Nähe hast, wenn du doch was direkt am Server konfigurieren musst, kannst es auch so machen.
ECC läuft mit den B550 Asrock/Asus.

5950X 380€
4x 32 gb DDR4 UDIMM ECC ~350-400€
Asus Hyper M.2 fürn x16 Slot für 4 SSDs (WD Black oder sowas, PLP kannst dir wsl sparen...)
HDDs an SATA Onboard
Das wär die billige Lösung. Reicht wahrscheinlich auch. Wie gesagt, mehr als 128gb RAM bekommst nicht.

B550 150€
RAM 400€
CPU 280€
Gehäuse, Lüfter, Kühler, Netzteil 300€
Asus Hyper + SSDs 350-400€ (so 2x 2tb PCIe wd_black/990pro/kc3000/firecuda/whatever)
... ~1500€... billiger kommst wohl nicht weg.

AM5 könnte man schauen, allerdings ist der DDR5 UDIMM ECC so teuer, die Asrock Rack Boards nicht gut lieferbar... da kann man Epyc nehmen auch. Singlethread wärs schneller.
Board kostet halt über 600€ mit 10GbE (was anzuraten wäre, wegen der wenigen PCIe Slots, ne NIC bekommst da schwer rein... gibt wohl nen Slot der dafür ginge, aber ob man den opfern will? Ne NIC kostet ja auch Geld... da ist dann nicht ivel gespart).
RAM gibts mittlererweile EIN 48gb modul, womit 192gb möglich wären.
Kostet aber 230€, also 920€ für die RAM Bestückung.
Die 32er Module kosten aber auch 140€, also 560€ für 128gb...

=> Epyc Zen 3 ist mit AM5 vom Preis her ähnlich, bietet dafür aber deutlich mehr was Mainboard und RAM angeht.
Dafür braucht er wohl etwas mehr Strom und hat weniger Singlecore Leistung.



Die Frage ist, kaufst du den Kram privat für daheim?
Oder kauft den Kram (d)eine Firma und stellt ihn ins Büro?

Wenn du ihn privat kaufst, kauf AM4 mit einem B550 Consumer-Board, ich denke, man kann ohne IPMI leben (wenn man dafür 400€ spart, zudem gibts so IPMI-Upgrade-Boxen).
Lebe einfach mit der Limitierung auf 16 Cores und 128gb, wird schon gut gehn.

Wenns (d)eine Firma zahlt (auch den Strom), tät ich nen Epyc hinstellen, 8 Slot Board, 256gb RAM rein und CPU mäßig schauen was du so bekommst, ich denke, die 24 Core waren auch gar nicht so schlimm.
 
Da muss ich erstmal alle in Ruhe lesen und recherchieren. Nicht alles sagt mir direkt etwas. Auf jeden Fall habe ich jetzt eine preisliche Indikation.

Grundsätzlich kaufe ich die Komponenten für geschäftliche Zwecke. Ob dann kleinere private Container separiert laufen, kann sein muss aber nicht.
Es steht aber alles bei mir zu Hause und da noch keine PV auf dem Dach ist, ist der Verbrauch natürlich ein Thema.
 
So, hab mir soweit alles durchgelesen.

Für mich reicht definitiv die günstige Lösung.
Selbst gebrauchte Hardware wäre für mich völlig in Ordnung, aus der Ecke Dell oder HP. Wie gesagt, ich mache nichts wo ich die letzte Highend Hardware benötige.

Wenn man von der Maximum Belegung von vCPUs zu physischen Core mit 4:1 plant und beim RAM mit 2:1 (virtuell zu physisch), dann relativiert sich die Anforderung auch etwas.
Dann würden 8 Cores und 64GB RAM für den Start reichen.
Ich weiß natürlich, das sich das auf die Waittime auswirkt.

Eine separate NIC macht dann aus Redundanz Gründen Sinn oder um den VMs eigene IP-Adressen zuweisen zu können?

Für das NAS und die privaten Dinge (Nextcloud, NAS-Server, piHole, ipsec VPN und Buchhaltungssoftware) habe ich meinen alten Rechner wieder gefunden. Da ist noch ein AMD Phenom II X4 955 mit einem Asrock 880GMH und 6GB DDR3 Speicher drin.
Ich denke mit einem neuen Netzteil, einer neuen SSD, 2 NAS-Platten und ggf. etwas mehr RAM reicht der Rechner dafür völlig aus.

Edit: IPMI wäre sicher nice to have, aber kein Muss. Zur Not hab ich hier noch einen kleinen Bildschirm, Maus und Tastatur.
 
Zuletzt bearbeitet:
Schau dir das Gigabyte MC12 Board an, wird schon laufen.
Kein Plan, obs das noch billig (ca. 50€) gibt.

Da machst 2x 32gb ddr4 udimm ecc 3200 drauf (damit du noch 2x das gleiche auf 128gb nachrüsten kannst). Oder gleich 128... musst halt überlegen. Wenn das MC12 für dich okay ist (so von den Anschlüssen her), hättest da so viel gespart, dass das drin wäre. 0

CPU würd ich aber 5900x oder 5950x machen. Hab den 5750G im NAS und wenn man wirklich viel macht, geht da von der Auslastung schon was. Für mich reichts 3x aus, aber wenn du da 4 VMs zugleich willst, würd ich vllt die 200€ investieren.
Du solltest im MC12 Thread nachlesen, ob jemand das Board erfolgreich mit 5900x oder 5950x betreibt, das wäre wichtig (weil die CPUs ja mehr Strom brauchen).

tl,dr: Lies den MC12 Thread.
 
Kann man machen, empfehlen kann ich es aber nicht. Die Spannungswandler müssen aktiv gekühlt werden. Nur 4 Phasen für die ganze CPU.
Auch wenn der BMC max 55c anzeigt haben die locker 90c. Jedenfalls mit 5900X und 5950x. Von der Spannungsversorgung her ist es das kleinste was ich bis jetzt gesehen habe.
 
An dich hab ich eh gedacht.

1) An der Stelle hab ich ne ernst gemeinte Frage, gibt es eigentlich USB "Grafikkarten", um ein Consumer-Board ohne Grafikchip/IPMI und ohne iGPU verwenden zu können?
2) Kann Proxmox "headless", also ohne irgend eine Grafikeinheit laufen, wenns mal eingerichtet ist?

B550 Consumer/"Gaming" Board (so 100-150€) wäre halt schon interessant, bloß ginge dann wiederum nur der schwer zu beschaffende 5750G (Preis nach Glück), ein 5900x/5950x wäre vom P/L her besser.
Hab das oben glaub ich #12 falsch/blöd beschrieben.

ps: Hast du eigentlich PBO negativ mit CoreCycler getestet und ein Powerlimit mit dem 5900x probiert am MC12? Meiner Erfahrung nach können die Zen3 da ja gut Leistung einsparen ohne viel Rechenleistung zu verlieren.
 
Das MC12 scheint ja sehr zickig zu sein, wenn man den Thread liest.
Die 5900x und 5950x sind zumindest supportet laut QVL. Ich hätte aber die Möglichkeit „günstig“ an einen 3900x zu kommen für 150€, nehmen die sich viel von der Leistung?

Wenn ich das Board nehme, dann gibt es zumindest erstmal einiges zu tun bzgl. Updates. :fresse:

Habt ihr noch einen Tipp für ein „günstiges“ 19“ Rack Gehäuse?
Hatte eines gefunden, welches aber nur Mini-ITX aufnehmen kann. Die Lüfter würde ich gegen passende Noctua Wechseln (A6 oder A8).
Das sollte das MC12 dann ausreichend kühlen.
 
Ich hätte aber die Möglichkeit „günstig“ an einen 3900x zu kommen für 150€, nehmen die sich viel von der Leistung?
Singlethread schon, wegen IPC.
5700X um ähnliches Geld gewinnt bis 8 Cores Last, bei einer Vollausnutzung des 3900x gewinnt dieser.
Singlecore ist mehr wert, 2 Threads können nämlich abwechseld bearbeitet werden. Es können aber nicht 2 Prozessorkerne zugleiche 1 Thread bedienen und schneller machen, drum würde ich schnelleren Cores immer den Vorzug geben. Ist ja auch der Grund, warum die günstigen alten Dua-Xeons mit 2x 10-20 Cores so "abbeißen", weil da Singlethreadmäßig mal gar nix geht.
150€ für nen 3900x finde ich auch nicht günstig. Schön, dass er vor 5 Jahren mal 400€ gekostet haben, aber das ist Nunmal Zen2+, jetzt gibts Zen4 und Zen5 ist in Sichtweite.

Habt ihr noch einen Tipp für ein „günstiges“ 19“ Rack Gehäuse?
Geizhals? Nutze die Filter.
Nimm es halt hoch genug (>3HE, eher 4HE), dass du "normale" CPU Kühler rein bekommst. Zudem haben die größere Lüfter.
Günstig sind die alle nicht, die "irgendwie leistbaren" wohl von überschaubarer China-Qualität :d... aber irgend nen Kompromiss muss man wohl eingehen.

PS: Grakas sollen wohl auch mit 1 PCIe Lane funktionieren, hab ich nie probiert.
Asrock B550 PG Riptide hat z.B. nen mech. PCIe 3.0x16 Slot der PCIe 3.0x1 elektrisch kann, dort könnte man reinstecken was rumliegt, solang es wenig strom Braucht, um das APU / IPMI Problem zu umgehen für die Grafikausgabe. Ist halt nicht besonders sauber.


Ich tät wsl. mit MC12 + 5900X (oder 5950X oder 3900X wenn sich da noch was im Preis tut, so max. 100€) + 2x 32gb starten...
Einen größeren Top-Blow(!!) Kühler aufs MC12 (damit das Mainboard mit VRM etc. schön mitgekühlt wird im Luftzug, ist wichtiger als gute CPU Temps selbst bei dem Board) im 3/4 HE Gehäuse.
CPU am MC12 dann per PBO etwas "undervolten" und ein "Eco" Leistungslimit setzen, geht angeblich am MC12 genau so wie auf den "Gaming" Brettern.

Wenns MC12 wirklich nicht ordentlich laufen will mit der CPU, ist wenig Geld verloren.
Dann kannst ja überlegen, ob du ein B550 Board deiner Wahl kaufst (mit sinnvoller Slot-Aufteilung und Ausstattung und dicken VRMs) und ne Graka steckst (obs sowas per USB gibt?) und ggf. probierst, ob das irgendwie "headless" kann... Ne GF 710 sollte im idle auch kein Beinbruch sein im PCIe x1 Slot. 2.5GbE Onboard ist auch "praktisch" je nach Anforderungen, Hardware ist sparsam und billig (und immerhin 2,5x so schnell wie 1GbE).
...oder irgend ein teures AsRock Rack IPMI Board kaufst (bzw. vllt ein gutes Angebot findest).

Ich schätz die Chance so auf 75%, dass du mitm MC12 klar kommst.

edit:
Dann lernst wenigstens was. Du wolltest ja was lernen :d...
 
Also bei mir läuft gerade ein MC12 mit nem 5950X und 32GB RAM seit ca. 4 Tagen stabil durch. Nicht permanent unter Volllast aber auch mal.

Aber ist auch das 2. Board - das erste wollte partout nicht (dauerhaft) mit dem 5950X.
 
@pwnbert
Danke für den ganzen Input. Werde mich da jetzt durchwühlen und etwas zusammenstellen. Würde das hier dann auch kurz reinstellen, für Anmerkungen etc. :-)
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh