Ablösung verbastelter Homeserver

[helau_linux]

Hallo zusammen,

ich möchte mir gerne einen neuen Homeserver zusammenstellen und würde mich sehr über eine Rückmeldung von euch zu meinem Setup freuen.

Das System was ich ablösen möchte ist etwas in die Jahre gekommen und mittlerweile auch "verbastelt". Im Maschenraum des Gigabyte GA-H81M-S2PV werkelt ein Intel G3220 und benutzt (non ECC) DDR3-1333 RAM. Auf dem Rechner ist AlmaLinux 8.9 (migriert von CentOS, nie neu aufgesetzt) installiert, stellt mit 3 wild durcheinandergewürfelten HDDs LVM 3,7 TB Daten über SMB zur Verfügung. Dazu kommen ein (Air)Print Dienst, ein Backup auf USB Platte und was weiß Gott nicht alles für kleine Skriptchen die irgendwas machen. Zusätzlich werden ein paar VMs betrieben: FTP-Server, Postgres Server, Plex (nur Musik), Vaultwarden und ein paar Testumgebungen. Wie bei allen Homeservern langweilt sich das System meistens. Lediglich wenn ich bei den ganzen VMs Updates installiere wird es eng und mehr als 2-3 VMs sollten nicht gleichzeitig Updates installieren.

Beim Gedanken an den Ausfall des Systems gruselt es mir, das alles wieder herzustellen. Da das Ding jetzt ca. 8 Jahre läuft, möchte ich das Ganze auf bessere Füße stellen und auch eine Wiederherstellung vereinfachen indem z.B. auf dem Blech nur noch ein Hypervisor läuft und sonst nichts mehr.

Dazu würde ich auf dem Blech einen Proxmox Server installieren, darauf als erstes eine NAS VM (TrueNAS?), dazu 2x8 TB im PCI Passthru durchreichen. Das NAS soll die beiden Platten spiegeln. Einmal täglich sollen diese Daten auf eine externe USB Platte gesichert werden.

Den Rest möchte ich über VMs realisieren, wobei eine VM als Host für Docker dienen soll. Die einzelnen VMs sollen über NFS auf das NAS gesichert werden bzw. darüber Daten austauschen.

Aber wie habe ich mir das bisher auf der Hardwareseite vorgestellt (wishlist):

• Mainboard: AS Rock B550 Pro 4
• CPU: Ryzen Pro 4650G
• Lüfter: be quiet! Shadow rock LP
• RAM: DDR4-3200, DIMM, ECC, 64GB
• SSD: 1TB Samsung 990 Pro, M.2 2280, PCIe 4.0 (Für Hypervisor und alle VMs)
• HDD: 2x Seagate Iron Wolf 8TB (exklusiv für das VM NAS via PCI Passthru)
• separater SATA Controller, welcher?
• Case: be quiet! PURE BASE 500
• PSU: be quiet! Pure Power 11 400W

Budget ca. 1000,-- €

Wichtig ist mir der ECC RAM und die Möglichkeit das NAS zu virtualisieren. Der Stromverbrauch im Idle sollte sich in Grenzen halten. Linux Kenntnisse sind vorhanden, nur mit Hardware tu ich mich etwas schwer. Deshalb meine Fragen:

• Kann man das so machen?
• Habe ich was vergessen oder übersehen?
• Wie kann ich das besser machen (ohne die Kosten großartig zu steigern)?
• Funktioniert mit dem Board das PCI Passthru oder liegen wichtige Resourcen in der IOMMU die man nicht getrennt bekommt?
• Habt ihr eine Empfehlung für den externen SATA Control?

Ich freue mich auf eure Beiträge. Danke schon mal vorab.

 

[Supaman]

1) ich würde kein Desktop, sondern ein Server Board verwenden, idealerweise mit IPMI.
2) für Proxmox 2x 250GB als nur Boot Laufwerk @ btrfs Raid-1 (SATA reicht)
3) für VMs 2x 1TB m2 @ btrfs Raid-1

Proxmox von den VMs getrennt ist schöner, wenn Du mal was neu installieren musst,
oder Platten gegen größere tauschen möchtest.

Die VMs kannst Du prima mit Proxmox Backup Server sichern,
idealerweise einmal intern und einmal übers Netz oder nach USB.

 

[helau_linux]

@Supaman danke für deine Antwort. Habe nach einer Boardalternative gesucht und habe das MC12-LE0 Angebot hier im Forum entdeckt.

Das mit 2 und 3 muss ich mir mal durch den Kopf gehen lassen, die Idee finde ich gut. Würde gerne den schnellen M.2 Port nutzen, den gibt es jedoch nur einmal.

Den Promox Backup Server werde ich mir gleich mal ansehen.

​

 

[pwnbert]

1) ich würde kein Desktop, sondern ein Server Board verwenden, idealerweise mit IPMI.

Rückblickend ja.
Hab auch ein Desktop genommen weil ich sparsam war, 2.5 GbE (onboard) wollte und ich damit leben kann, 2x im Jahr Monitor und Tastatur anzustecken.
80tb Festplatten und 128gb ECC RAM später (realistisch wars aber ein "Habenwollen", 64gb werden dir mehr als genug sein) wären die 300€ Aufpreis für IPMI Board und die 30€ für eine 2,5 GbE Karte jetzt nicht so schlimm gewesen, und unter gewissen Gesichtspunkten recht vernünftig.
Läuft aber trotzdem gut, kann ned meckern.

SSD: 1TB Samsung 990 Pro, M.2 2280, PCIe 4.0 (Für Hypervisor und alle VMs)

Deine CPU kann nur PCIe 3.0 => eventuell bekommst hier was günstigeres/sparsameres.
Momentan sind die SSDs leider so teuer, sonst hätte ich gemeint 970 evo plus wäre sinnvoll.

CPU: Ryzen Pro 4650G

5er Reihe hätte mehr Singlethread Leistung, 5650G, 5750G. Wenn du ein Board mit IPMI nimmst, könntest auch einen 5600 nehmen, nachdem die 5650/5750 schwer zu beschaffen (= teuer, außer du hast Glück) sind, würdest mitm 5600 bissl was einsparen gegenüber, somit wär der Aufpreis fürs IPMI Board gar nimmer so schlimm. Außerdem hättest x4x4x4x4 im x16 Slot statt x8x4x4 mit der APU, könntest also einen 4-fach M.2 Adapter verbauen (kannst bei der APU auch, davon kannst dann aber nur 3 verwenden).
Wahrscheinlich braucht B550 IPMI + 5600 etwas mehr als B550 + Ryzen-Pro APU.
Praktisch bin ich mir aber nicht sicher, ich brauch so ca. 50W im idle (ich meine Spinning, muss das mal besser monitoren) mit 4x HDD, 3x SSD, Asrock B550 Riptide und 5750G. Von den feuchten 20W Träumen hier im Forum auch recht weit weg, aber okay.

edit: Der 5600 könnte dann auch wieder PCIe 4.0, sowohl für die CPU angebundene M.2 am B550, als auch am x16 Slot, für z.B. den 4-fach M.2 Adapter.

Was du noch aufpassen musst, ist die PCIe Lanes-Verteilung bzw. das mögliche Splitting.
Bei Boards, die keine 10 GbE Onboard haben (wo auch interessant wäre, ob die 2.5 GbE auch können, weil das recht nützlich sein kann im Heimnetz), brauchst erstmal ne Netzwerkkarte (ausgenommen eben die Consumer Boards mit 2.5 GbE), welche nen PCIe Slot braucht (Lanes je nach dem ob 2.5 GbE, 10 oder 25g oder so...).
SATA Controller braucht auch welche (diese x5 bzw. x6 Chips sind offenbar mit 2 angebunden, muss das Board halt auch so teilen können).

Das ist leider nicht ganz trivial.

 

[maxblank]

Würde gerne den schnellen M.2 Port nutzen, den gibt es jedoch nur einmal

Der ist nur mit PCIe 3.0 x1 angebunden, also viel mehr als 900 MB/s holst du da mit dem Mainboard Gigabyte MC12 nicht raus.

 

[pwnbert]

Jo das ist das Problem am MC12.

- Kein 10 GbE
- 1x PCIe x16 => Aufteilen für M.2 geht. Dann is aber nix mit zusätzlichen SATA. Es gibt diese Riser mit 2x M.2 drauf und x8, wäre interessant, wurde hier erst vorgestellt, mein bestellter ist noch unterwegs.
- 1x PCIe x4 => für LAN (die ganzen x8 sollen angeblich auch mit x4 laufen laut Forum hier, hab ich nie geteset... ich mein diese ganzen gebrauchten 2x 10g, die man günstig bekommt... )

Man sollte sich Zwecks Mainboardwahl gut überlegen, was man braucht.

PS:
Hab letztens gesehen, dass es die 7003er EPIC für 400€ gibt und Boards für 550€... ich "ärger" mich fast ein bissl, nicht sowas gekauft zu haben (ist aber wohl auch schlauer irgendwie), damit hätte ich zumindest "endlos" PCIe Lanes. Stromverbrauch ist halt die Frage, müsste man testen.
Dafür, dass mich der 5750G auch 250€ gekostet hat und ein IPMI Board mit Ausstattung auch 500€ kostet, halb so wild, RDIMM bekommt man wohl günstig.

 

[p4n0]

- 1x PCIe x4 => für LAN (die ganzen x8 sollen angeblich auch mit x4 laufen laut Forum hier, hab ich nie geteset... ich mein diese ganzen gebrauchten 2x 10g, die man günstig bekommt... )

Habe ein aehnliches Problem an meinem board.
Die Intel X550 hat 2x 10G RJ45 und einen PCI-E 3.0 x4 slot.

Damit laesst sich was reißen. Das Ding kann auch SR/IOV und die gaengigsten Standards die man so als gemeiner Luxxer braucht.

 

[BobbyD]

- 1x PCIe x16 => Aufteilen für M.2 geht. Dann is aber nix mit zusätzlichen SATA. Es gibt diese Riser mit 2x M.2 drauf und x8, wäre interessant, wurde hier erst vorgestellt, mein bestellter ist noch unterwegs.

Die klatschen da ja auch nen SATA-Controller auf nen m.2. Das Teil ist schon interessant, aber wohl nicht sonderlich stabil... Wobei gerade gibs das Teil für nen 10er inkl., bestellt. 😁

 

[johnsmiles]

@helau_linux

Schon mal daran gedacht, den Homeserver aufzusplitten? Ich hab das vor ein paar Jahren gemacht und finde es am bequemsten und sinnvollsten, zumindest für mich.

24/7 System -> Lenovo ThinkCentre M600 Tiny Thin mit N3000, 2TB SSD

Für alles, was immer laufen muss, Pihole, Syncthing, etc. Klein und lautlos, zudem sehr billig auf Ebay zu bekommen.

On demand System:

Hochfahren per WoL, hier muss man dann nicht auf die effizenteste Hardware gehen, da man sich die meiste Zeit ausgeschaltet lässt.

 

[pwnbert]

Die klatschen da ja auch nen SATA-Controller auf nen m.2. Das Teil ist schon interessant, aber wohl nicht sonderlich stabil... Wobei gerade gibs das Teil für nen 10er inkl., bestellt. 😁

Naja, warum soll das nicht gehn, wird schon.
Ist halt so ne Sache, kein Plan wie 5-6 Sata Ports mit 2 PCIe 3.0 Lanes performen. Theoretisch sollts für Festplatten ausreichend sein, ich hab aber keine Ahnung wie gut der "Wirkungsgrad" von dieser Aufteilung ist, ich hoff, es ist verständlich was ich damit meine.

Wie mans dreht und wendet, diese Adapter sind mir schon ein klein wenig Suspekt... mal sehn wann mein Riser kommt.. nach AT isses immer blöd seit sie den Einfuhr-Zoll geändert haben.

 

[BobbyD]

Ist halt so ne Sache, kein Plan wie 5-6 Sata Ports mit 2 PCIe 3.0 Lanes performen.

Warum zwei? Müssten doch vier sein.

 

[pwnbert]

Ne, google mal, diese Chips verwenden offenbar alle 2 Lanes.

edit:
ASM1166 - PCIe x4 (2 Lanes) ...6x SATA.... steht "überall" so.
Ist imho bei den anderen auch so:
JMB585 -PCIe 3.0 x2... 5x SATA .... https://www.jmicron.com/products/list/15

Macht dann 2gb/s für 6 Platten, also 333 mb/s pro Port. Nachdem das eine moderne 20 TB Ultrascale fast schafft (250 mb/s hatte ich auf eine einzlene Platte über SMB über lange Zeit), ist die Frage, was diese Schnittstellenchips so an IOPS hinbekommen und an realistischer Bandbreite. Wenn er nur die halbe Bandbreite schafft, würde das tatsächlich gut limitieren, angenommen du hast so ein Z1 4+1 / 4+2 / 5+1 dran hängen mit anständigen Heliumplatten.

Wennst das alles durchrechnest bist bald beim EPIC, die Bifurication Adapter kosten teilweise auch gut Geld, wenn man Sonderwünsche hat.

Oder halt gleich ein Board nehmen, das zumindest x8 SATA und IPMI hat, nen 5600/5700x/5900x dazu (je nach Leistungswunsch) und ne 4x M.2 Adapterkarte rein, dann kann man zumindest die spärlichen restlichen Lanes für ne Lan-Karte verwenden.

 

[BobbyD]

Ne, google mal, diese Chips verwenden offenbar alle 2 Lanes.

Ich hab mich nur auf diese "PCIe-Splitter"-Karte bezogen. Was irgendwelche SATA-Controller haben, das kann ich nicht beurteilen.

 

[pwnbert]

Ja schon, die haben natürlich 4 Lanes, aber wenn du die SATA-Adapter dafür verwenden willst, gibts da eigentlich nur ASM1166 und JMB585 zu kaufen...

Was du auf dem Link siehst, ist im Prinzip eine PCIe => SATA Schnittstellenkarte auf eine M.2 Platine gequetscht, und die verwenden alle genannte Chips.

 

[helau_linux]

@johnsmiles Ja, habe ich. Habe ich jedoch dagegen entschieden, möchte keine zwei Bleche.

 

[besterino]

Weil ich grad selber damit rumspiele: ich werfe mal die alte x399 Plattform mit den ersten oder zweiten Threadripper in den Raum. Lanes ohne Ende und inzwischen bei Ebay günstig zu haben. Nur IPMI wird schwierig (das AsrockRack Mainboad x399d8a gibts grad nirgends).

 

[helau_linux]

Vielen Dank für die zahlreichen Rückmeldungen, ganz besonders zu der M2 Geschichte, werde dann auf 970 gehen und dann aber die 2TB nehmen. Aktualisiertes Setup:

• Mainboard: Gigabyte MC12-LE0
• CPU: Ryzen Pro 4650G
• Lüfter: be quiet! Shadow rock LP
• RAM: DDR4-3200, DIMM, ECC, 64GB
• SSD: Samsung SSD 970 EVO Plus 2TB, M.2 2280/M-Key/PCIe 3.0 x4 (Für Hypervisor und alle VMs)
• HDD: 2x Seagate Iron Wolf 8TB (exklusiv für das VM NAS via PCI Passthru)
• separater SATA Controller, welcher?
• Case: be quiet! PURE BASE 500
• PSU: be quiet! Pure Power 11 400W

Leider konnte ich mir die letzten Rückmeldungen noch nicht in Ruhe ansehen, das hole ich aber noch nach.

Bleibt die Frage nach einem SATAIII Controller für den PCIe Slot zum Durchreichen, könnt ihr mir da eine Karte empfehlen? Eigentlich braucht diese nur 2 Festplatten aufnehmen, aber man weiß ja nie was kommt, vielleicht wären 4-6 gut, dann habe ich noch Reserve.

 

[pumuckel]

• Mainboard: Gigabyte MC12-LE0
• CPU: Ryzen Pro 4650g

nein.. keine APU bitte, such dir nen gebrauchten 3600/5600/5700

 

[Supaman]

Variante:

Amazon.de : m2 pcie

PCIe m2 Adapter verwenden und den Onboard durchreichen.

ASUS Hyper M.2 ab € 39,50 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASUS Hyper M.2 ✔ Bewertungen ✔ Produktinfo ⇒ Wandlung: PCIe -> M.2 PCIe • Host: 1x PCIe 5.0 x16 (male) • Ziel: 4x M.2/M-Key (PCIe 5.0 x4, 22110/2280/2… ✔ Adapter/Konverter ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Oder eine Asus Karte für 4x m2 verwenden.

 

[pwnbert]

• CPU: Ryzen Pro 4650G
• SSD: Samsung SSD 970 EVO Plus 2TB, M.2 2280/M-Key/PCIe 3.0 x4 (Für Hypervisor und alle VMs)
• separater SATA Controller, welcher?

Bleibt die Frage nach einem SATAIII Controller für den PCIe Slot zum Durchreichen, könnt ihr mir da eine Karte empfehlen? Eigentlich braucht diese nur 2 Festplatten aufnehmen, aber man weiß ja nie was kommt, vielleicht wären 4-6 gut, dann habe ich noch Reserve.

1. bei dem Board brauchst keine APU (weil Grafik Onboard). Ein R5 5600 ist schneller, billiger und hätte auch noch PCIe 4.0.
Du könntest auf bem Board die iGPU afaik auch nicht an die VM durchreichen, da er mit aktivierter iGPU nicht booten will, musst im Thread übers Mainboard nachlesen, ich glaub aber, es war so.
Die APU hat zwar gewisse "Vorteile", die sind aber nicht groß:
Monolithisches Design, theoretisch geringerer Verbrauch.
Kein PCIe 4.0, theoretisch geringerer Verbrauch. ("Vorteil".. haha)

Board ohne IPMI / Onboard Grafik: APU
Board mit IPMI / Onboard Grafik: CPU

2. Passt natürlich, wobei du mit dem R5 5600 PCIe 4.0 hättest, ich denke aber, dass die 970 evo plus schnell genug und schön sparsam ist. 980 pro würde auch gehn. 990 pro ist imho zu teuer, 990 evo ein Witz. 970 evo plus ist allemal schnell genug. SSD sollte halt halbwegs zuverlässig sein (beim Raid 1 Mirror aber eig egal) und halbwegs IOPS schaffen. Würde schon was mit DRAM kaufen.

Der Preis der 970 evo Plus ist halt eine Frechheit, die hat eben noch 99€ gekostet und ist jetzt bei 180€ über der 980 pro und gleichauf mit der 990 pro. Was Samsung da gerade abzieht ist ekelig, betrifft leider den ganzen Markt (meine 990 evo 4tb vom Black Friday wurde nie geliefert... jetzt 60€ teurer...).

Ich würd Richtung WD_Black schauen, die ist billiger und schneller. Kannst auch nach idle-Verbrauch WD_Black und 980 pro suchen, ich würde zwischen den 2 wählen (selbst mit APU, wenn der Preis der gleiche wie für die Evo ist..?).

3. Wozu ein extra Controller? Macht das Board Probleme beim Durchreichen der Schnittstellen in der VM? Der extra Controller bringt doch sonst keine Vorteile für die wenigen HDDs? Kannst du nicht die Onboard verwenden?
Die üblichen Controller wären ASM1166 und JMB585, braucht 2 PCIe 3.0 Lanes (nimmt dir also einen 4er Slot weg, verwendet davon aber nur 2) und macht daraus 6/5 SATAs. Gibts beide auf M.2, kannst dann im x16 Slot auf die Asus Hyper M.2 (ohne Kühler) machen ... oder in den PCIe 3.0 x1 M.2 Slot stecken, kein Plan ob diese Controller auch nur mit 1 Lane laufen, für 2 HDDs wäre das ja noch genug. Oder du kaufst sie als PCIe 3.0 x4 Karte, und steckst sie in den unteren Slot. Dann ist aber nix mehr mit Netzwerk > 1gbe.
=> Verwend die Onboard Schnittstellen, wenns nur irgendwie möglich ist.

 

[helau_linux]

nein.. keine APU bitte, such dir nen gebrauchten 3600/5600/5700

Die APU ist bereits vorhanden.

Beitrag automatisch zusammengeführt: 10.02.2024

@pwnbert:

1. Leider haben ich bereits die APU.

2. Was die Preise der Evos angeht hast du schon Recht. Sind wirklich happig, da ich aber für die 990 geplant hatte, kommt mir die 970 fast günstig vor.
Die Reds sind für 24/7 ausgelegt und werden sehr oft empfohlen, deswegen habe ich sie im Setup. Sind die Blacks auch CMR? Habe da auf die Schnelle keine Info zu gefunden.

3. Habe gelesen, dass die onboard Controller nicht durchgereicht werden können, deshlab die PCIe Karte

 

[sandreas]

Wenn du ne Consumer SSD für Proxmox nimmst, solltest du dir überlegen, das Logging zu reduzieren... siehe hier:

https://www.reddit.com/r/Proxmox/comments/12gftf7/reduce_wear_on_ssds/

Ich nutze eine WD SN850x 2TB mit diesen Optionen.

Ich hab auch noch eine Samsung SM983 Enterprise SSD hier, die war für mein Board leider zu lang. Falls die bei deinem Board passt, die ist neu und ich würde die günstig abgeben (siehe hier). Aber ich glaub bei dir passt die auch nicht.

 

[BobbyD]

Die APU ist vollkommen ok, kann das APU-Gebashe hier nicht nachvollziehen, energiesparender als die ganzen, normalen Ryzen und Du hast mit der Pro auch ECC.

 

[pwnbert]

1. Leider haben ich bereits die APU.

Naja, erstens kostet ein 5600 echt nimmer viel (und wird wohl in der nächsten Zeit nicht teurer, falls du doch noch upgraden willst), zweitens hat die APU ja keine echten "Nachteile"...
Nutzen kannst du die APU ja... du "verlierst" dadurch nicht viel.

Wenn du die APU schon hast, musst dir das mit IPMI halt überlegen, ob du das willst/brauchst.
Mitm normalen B550 Board, z.B. Asrock Riptide B550 oder Asus B550 Strix hast du zumindest 2.5 GbE onboard (bei den beiden sogar Intel), was für daheim ein guter Kompromiss ist, da die 2.5g Hardware recht sparsam läuft im Vergleich zu >10g Hardware (nicht nur NICs, gerade auch Switches etc.) und auf "normaler" Verkabelung laufen.
Was die Slotaufteilung angeht bzw. M.2 / SATA Ports hast hier auch etwas mehr Auswahl.

Je nach gewünschter Ausstattung bist irgendwo mit 100-150€ dabei, bei mir wurde es das Asrock B550 Riptide, das ASUS ROG Strix B550-A Gaming hat mir aber auch ganz gut gefallen.
Man muss immer im Manual nachsehen, welche PCIe/M.2 Slots/Ports wie geshared sind.

Ist halt die Frage, obs dich stört, kein IPMI zu haben, also fürs Bios und "Basisarbeiten" Monitor und Tastatur anstecken zu müssen. Für mich isses eigentlich okay, beim Einrichten hab ichs stecken lassen, seither hab ichs in 6 Monaten genau 1x gebraucht. Zwar bissi nervig, aber andererseits ist der eine Handgriff die gesparten 300-400€ wert (gab das MC12 hier nicht billig als Alternative, sonst hätte ich bestimmt dieses gekauft, auch wenns von den Schnittstellen her nicht unbedingt besser als gennante Riptide/Strix sind).

IPMI ist schon nett, und wenn mans "ordentlich" will, sollte man das eigentlich schon kaufen. Aber andererseits... wenns mal läuft... halb so wild. Ist halt auch die Frage, ob es einem der Spaß wert ist, und wo der Server stehen soll. Ich denke schon, dass mein nächster das haben wird (obwohl es mir nicht wirklich abgeht, wenn ich ehrlich bin... geht mir wohl erst ab, wenn irgendwas nicht läuft wies soll ).

da ich aber für die 990 geplant hatte, kommt mir die 970 fast günstig vor.

970 evo plus - 190€ https://geizhals.at/samsung-ssd-970-evo-plus-2tb-mz-v7s2t0bw-a1972736.html?hloc=at
980 pro - 170€: https://geizhals.at/samsung-ssd-980-pro-2tb-mz-v8p2t0bw-a2454607.html?hloc=at
990 pro - 190€: https://geizhals.at/samsung-ssd-990-pro-2tb-mz-v9p2t0bw-a2795958.html
wd_black - 170€: https://geizhals.at/western-digital-wd-black-sn850x-nvme-ssd-2tb-wds200t2x0e-00bca0-a2770177.html
Kein Plan ob du eine bessere Quelle dafür gefunden hast... ich hab meine 970 evo plus 1 tb für ~45€ auf amzn gekauft im Oktober, das kam mir fair vor. Der jetzige Preis ist ein Witz.

Die APU ist vollkommen ok, kann das APU-Gebashe hier nicht nachvollziehen, energiesparender als die ganzen, normalen Ryzen und Du hast auch ECC.

Nah, gar nicht bashen!
Aber wenn man am MC12 aufbauen würde, ist die APU halt recht nutzlos, und die CPU bietet viele Vorteile. Billiger, bessere Bifurication, PCIe 4.0, mehr Cache, und zumindest bei 5600 vs 4650g auch schneller.

Wäre interessant, was ein MC12 mit 5600 mehr braucht, als ein Desktop B550 mit 4650g/5650g/5750g...

 

[helau_linux]

Vielen Dank euch allen für die rege Teilnahme. Komme jetzt auch mal wieder dazu hier zu schreiben. Also aktuell sieht es so aus:

• Mainboard: Gigabyte MC12-LE0 (vorhanden)
• CPU: Ryzen Pro 4650G (vorhanden)
• Lüfter: be quiet! Shadow rock LP (vorhanden)
• RAM: DDR4-3200, DIMM, ECC, 64GB (bestellt, enorme Lieferzeit)
• SSD: Samsung SSD 970 EVO Plus 2TB, M.2 2280/M-Key/PCIe 3.0 x4 (Für Hypervisor und alle VMs)
• HDD: 2x Seagate Iron Wolf 4TB (exklusiv für das VM NAS via PCI Passthru)
• HDD: 1x 4TB WD red (vorhanden)
• separater SATA Controller, welcher?
• Case: be quiet! PURE BASE 500 (kann keine 3x3,5" HDD aufnehmen)
• PSU: be quiet! Pure Power 11 400W

Was mich etwas schockiert, ist die lange Lieferzeit vom RAM: 20.März bis 4.Mai 2024! Bestellt bei Amazon für 98,56 € (2x16 GB). Ist das aktuell normal?

Dann überlege ich, da ich noch eine gute 4TB Platte habe, einen Storgepool von 3x4TB (Z1) anzulegen und nicht die 2x8TB (mirror). Wäre wesentlich günstiger und mit 5,6 TiB (die 20% für ZFS sind schon abgezogen) auch gut 2,5 TiB mehr als ich aktuell brauche. Dann müsste ich mir aber ein anderes Gehäuse aussuchen, denn das oben genannte fasst nur 2x3,5. Oder ein externes Gehäuse für die Festplatten.

Was ich hier in der Diskussion nicht verstehe ist das Thema "x4x4x4x4" wofür steht das und was ist gut bzw. schlecht? Vielleicht hat da jemand einen erklärenden Link für mich.

SATA Controller habe ich das hier gefunden: MZHOU PCIe SATA X4 Karte 6 Port. Den würde ich dann mit 3x4TB an TrueNAS für Storage durchreichen.

 

[Dunkeltier]

Also, grundsätzlich: Ich würde einen "Homeserver" immer in einen NAS (rein für die Daten) und in einen Server (für JDownloader, Minecraft- und/oder TS3-Server & Co., VMs) aufsplitten. Hat den Hintergrund, das man sich beim basteln nicht auch noch seine Daten zerschießt. ECC-RAM und ZFS sind natürlich der Gold-Standard für den NAS, zudem sollte man auch weitere Sicherungen des NAS auf weiteren Gerätschaften beachten. Denn ein RAID 5 oder dergleichen stellt ja kein Backup da. Das lassen viele Menschen leider außer acht. Daneben würde ich auch auf eine 10 GbE Anbindung achten, unabhängig davon ob man diese jetzt braucht oder nicht. Es gibt da für kleines Geld schöne 10 GbE Misch-Switche, die eine High-Speed Anbindung zwischen dem Arbeits-/Spielerechner und dem NAS zu lassen, wie z.B. der QNAP QSW-2104-2T: https://geizhals.de/qnap-qsw-2100-desktop-2-5g-switch-qsw-2104-2t-a2538120.html Natürlich kann man auch daher gehen und sich eine unsauber 5 GbE USB-Lösung ans Mainboard klemmen, aber hey...wieso nicht gleich richtig machen?

 

[besterino]

Na guck', ich würde einen Homeserver im Zweifel lieber als "all-in-one" bauen. Wenn Du'n zusätzlichen Server hast, insbesondere der eh 24/7 läuft, verbrauchst Du mit 2 laufenden Kisten im Zweifel mehr Strom und brauchst für die 2 mehr Hardware (2x CPU, Mainboard, RAM, Netzteil, Gehäuse usw.). Dazu kommt weitere Hardware (und ggf. Strombedarf) für die Verbindung zwischen NAS und Server, d.h. also mindestens eine (zusätzliche) Netzwerkkarte plus Switch(port). Ich hab's im Ergebnis nie ausgerechnet, hängt natürlich auch von der konkret verwendeten Hardware ab.

Der All-in-one hat in der Tat einen gewissen Nachteil, dass die Wechselwirkungen zwischen Storage-VM, Rest-VMs und ggf. Hypervisor möglicherweise etwas höher sind. Soll heißen, wenn man grundlegende Änderungen am Hypervisor hat, liegt neben allen VM's auch die NAS-Funktion brach. Und natürlich muss man VMs runterfahren, wenn man grundlegende Spielereien an der Storage-VM vornimmt. Letzteres gilt aber auch im 2-Kisten-Szenario: wenn Du das NAS offline nimmst, musst Du ebenfalls die VM's, zumindest solche die das NAS brauchen, runterfahren.

Gibt also in jede Richtung Vorteile und Nachteile. Eine sauber isolierte Storage-VM (also vor allem Storage separiert durch einen exklusiv der VM per passthrough "überlassenen" HBA) ist aber schon sehr robust und ein Risiko des "Verbastelns" sehr gering, weil man eigentlich an dieser Storage-VM nie basteln muss. Das macht man dann nur mit anderen VM's, die einem - bei richtigem Setup - das Storage auch nicht zerschießen können (sollten).

Für meine eigene Entscheidung war aber am Ende vor allem ausschlaggebend, dass ich für meine Wünsche an das NAS eh eine Hardware-Plattform brauchte, die quasi diverse VMs auf der rechten A****backe mit abfrühstückt: Schon zwei PCIe-Karten, die mit 16 echten Lanes angebunden werden wollen (und im Hinblick auf Performance-Bottlenecks auch sollten), lässt einen de facto schnell zum Epyc greifen. Der kommt dann eben schon mit all den weiteren Vorteilen, die eine Server-Plattform mitbringt (ECC und gerne viel davon, Mainboards mit Fernwartung wie IPMI, gerne schon schnelles Netzwerk onboard usw.). Wenn ich sowas wie ECC, 10gbit, IPMI dann auch noch auf einer 2. Kiste wollte, wird das schnell schon bei der Anschaffung teuer(er), und auch im Betrieb.

Ich erhebe hier natürlich keinerlei Anspruch auf Allgemeingültigkeit, man kann natürlich auch mit viel "weniger" Hardware glücklich werden!

 

[helau_linux]

Das mit der Trennung von NAS und Hypervisor soll jeder so handhaben wie er meint. Denke, da gibt es kein richtig oder falsch. Bei mir wird es die All-in-One Lösung, mir sind die Nachteile bewusst, die Vorteile überwiegen für mich jedoch. Alleine dass das virtuelle NAS mit den anderen virtuellen Maschinen über ein virtuelles Netzwerk mit 100Gbit kommuniziert und ich kein 2,5Gbit oder gar 10 Gbit Netzwerk benötige über die ich die Kommunikation der beiden Bleche schleifen müsste. Aber klar wäre es schön so ein Netzwerk zu haben, gar keine Frage.

Meine Idee in der All-In-One Lösung ist es halt nicht mehr in das "Verbasteln" zu verfallen, sondern so lange in einer VM zu basteln bis ich das Ergebnis in einer "sauberen" VM oder einem Container nutzen kann oder es gänzlich verwerfe.

Und ja, bei Wartung kann es vorkommen, dass das NAS dann mal weg ist. Aber wir reden hier vom Homelab, ich muss keine SLAs einhalten. Und zur Not existieren alle Daten auf zwei (verschlüsselten) USB Backup Platten, eine hier eine woanders.

Jeder hat andere Vorstellungen und/ oder Anforderungen. Das finde ich gut, denn davon lebt ein Forum, vom Austausch, man sieht was, denkt drüber nach und lernt. Ich stelle hier mein "Projekt" vor und frage nach Dingen bei denen ich mir unsicher bin oder die mir unklar sind, z.B. was es mit den "4x4x4x4x" auf sich hat, konnte mir hier leider noch keiner erklären. Dabei hoffe ich zu lernen, vielleicht lernen andere, die in einer ähnlichen Situation sind, ja auch davon. Genauso wie ich es mag hier in anderen Beiträgen zu lesen.

 

[Luckysh0t]

z.B. was es mit den "4x4x4x4x" auf sich hat, konnte mir hier leider noch keiner erklären.

Damit ist Bifurcation gemeint. In dem Fall die Aufteilung eines elektrischen x16 in 4*x4. Damit kann man dann mittels Adapter Karten in so einem Slot 4 * m.2 pcie nvme SSDs nutzen. Diese Funktion kann aber auch nur bis 8x 8x oder 8x 4x 4x gehen, das kommt auf das jeweilige Board/cpu an.
Ohne dieses Feature benötigt man entsprechend teure Karten mit plx Chip.

Meine qnap Karte ist zb so eine, die ermöglicht mir 2* 2.5 Gbit und 2* m.2 pcie slots - das ganze in einem elektrischen x4 Slot.

Entsprechend begehrt ist diese Funktion ^^

 

[besterino]

…und entsprechend teuer ist die Lösung mit PLX-Chip. Die Adapterkarten für 4xNVME sind halt relativ dumm und müssen nix leisten. Die mit PLX-Chip hingegen schon.