[Kaufberatung] Heimserver mit Ryzen 5 5600X oder 7600?

[n3]

Hallo Zusammen,

ich hatte mir vor einiger Zeit eine Konfiguration für einen Server erstellt, aber leider musste ich das Projekt verschieben, weshalb ich es jetzt in Angriff nehme.

Ziel des Systems

• Virtualisierung von HomeAssistent, Frigate, unify, node-red, mosquito mqtt, Windows mit ETS, Sophos, WireGuard, Tails, NextCloud, ....
• Zentrales und einfaches Backup

Hinweise

• Zum Backup: Geplant ist, dass die Snapshots der VMs ins Netz gesichert werden inkl. des Datenvolumens der NextCloud
• Proxmox als Hypervisor welches von einer SSD bootet
• 2x M.2 SSD für die VMs
• 5x 4TB für ein Raid-Z2 für Storage (eigentlich nur für NextCloud und Videos von Frigate)

CPU	Ryzen 5 5600X	Sollte ECC können
Kühler	be quiet! Shadow Rock TF2 (Topblow)
Mainboard	ASRock X570D4U-2L2T
Arbeitsspeicher	2x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC
Storage - Boot Proxmox	SSD 500GB Crucial MX500 2.5"	ggf. einfach einen USB-Stick, oder SD Karte, falls kein SATA übrig sein sollte
Storage - VMs/Docker	2x 1TB Samsung 980 Pro M.2 (Mirror)	ggf. nur 1x
Storage - Data (Raid-Z1)	5x 4TB WD Red Plus WD40EFZX 128MB 3.5"	ggf. nur 3x mit einem Raid-Z1
Controller	Broadcom SAS 9300-8i	Notwendig?
TPU (M.2)	M.2 Accelerator with Dual Edge TPU	Für Frigate zur Analyse von Videoinhalten
Netzteil	400 Watt be quiet! Pure Power 11 CM Modular 80+ Gold	ggf. nur 3x mit einem Raid-Z1

Zwei Fragen:

1. Was sagt ihr zur Konfig? Sind die Komponenten noch up-to-date, oder sollte ich auf die neuen Ryzen 7xxx Modelle gehen mit dem AM5 Sockel gehen? Welche MB und Speicher passen dann dazu?
2. Das MB hat 2x M.2 was ich für die Container (VMs) nutzen will. Zusätzlich will ich aber noch die Coral TPU verbauen, die aber auch einen M.2 braucht. Alternativ könnte ich für die Container nur eine SSD verwenden und nicht zwei im Mirror. Würde passen, oder?
3. Könnte ich für das Storage (RAID-Z1) auch nur 3 HDDs verwenden, oder sollten es doch lieber 5 sein?

Danke schon einmal

 

[Potz]

Zwei Fragen:

1. Was sagt ihr zur Konfig? Sind die Komponenten noch up-to-date, oder sollte ich auf die neuen Ryzen 7xxx Modelle gehen mit dem AM5 Sockel gehen? Welche MB und Speicher passen dann dazu?
2. Das MB hat 2x M.2 was ich für die Container (VMs) nutzen will. Zusätzlich will ich aber noch die Coral TPU verbauen, die aber auch einen M.2 braucht. Alternativ könnte ich für die Container nur eine SSD verwenden und nicht zwei im Mirror. Würde passen, oder?
3. Könnte ich für das Storage (RAID-Z1) auch nur 3 HDDs verwenden, oder sollten es doch lieber 5 sein?

Zwei? ;D Dass du fünf Fragezeichen genutzt hast, ignoriere ich mal.

Zu 1: Ich habe keine Ahnung, wie viel CPU-Leistung du für den Spaß brauchst. Insbesondere Frigate kann ich nicht einschätzen. Der Rest klingt erst einmal nach ziemlich wenig. Wie viele Nutzer hängen an dem Gerät? Ich wüsste nicht welchen Vorteil AM5 haben sollte.

Zu 2: Das MB hat doch genug Slots so dass du mit Adaptern auch mehr m.2 einbauen kannst. Ich würde nur bei einem sehr minimalistischen System (Mobil-CPU etc.) aus Stromspargründen auf einen Mirror für die VMs/Container verzichten.

Zu 3: Die Frage ist, wie viel Performance du haben möchtest. Grundsätzlich ist ein Mirror aus nur zwei Platten durchaus nicht verkehrt, solange die Performance reicht. Wie viel nutzbaren Platz benötigst du eigentlich?

Sonstiges:
- Ich persönlich würde insbesondere für die SSDs nur welche mit PLP verwenden und die Teile des ZFS die die VMs etc. nutzen auf sync=always stellen (ja, machen auch viele Leute anders)
- Boot-SSD kann man super billig irgendwas ganz kleines aber professionelles bei Ebay kaufen. Gibt bergeweise Intel S3500 und neuer. Ein Mirror hat hier auch Vorteile. Verzichtbar, wenn du das System z.B. komplett mit Ansible konfigurierst oder auch das System perfekt backupst.
- Ich wurde letztens darauf hingewiesen, dass die SATA-Controller von AMD nicht ganz zuverlässig seien. Leider hat man mir nicht erklärt, was das Problem ist und weil an meinem EPYC keine SATA-Geräte hängen, habe ich nicht weiter recherchiert.
- Ich persönlich sehe bei Heimservern erst dann einen Vorteil für AMD, wenn man wirklich viel CPU-Leistung benötigt. Die Geräte befinden sich meiner Erfahrung nach für gewöhnlich mehr oder weniger den ganzen Tag im idle (bei Intel sparsamer) und brauchen im wesentlichen in ganz kurzen Peaks auf 1-2 Kernen möglichst viel Performance (wenn man z.B. 10GbE oder mehr wirklich nutzen will). Ein X11SCL-F mit einem i3-9100 ist meiner Meinung nach unschlagbar, solange man ohne PCIe gen4 auskommt. Du bekommst 3x NVMe + 6x SATA unter und hast noch einen x8 Slot für einen schnellen NIC frei. Es hängt auch möglichst viel direkt an der CPU. Ansonsten scheint mir das Gigabyte MW34-SP0 mit einem i5-12500 sehr spannend zu sein. Das Board ist ziemlich gut ausgestattet und du kommst mit günstigem DDR4 aus. Klar hat AMD extrem tolle CPUs (ich habe selbst einen EPYC und einen 5800X3D), aber in dem Segment finde ich die Plattformen von Intel schwer zu schlagen (und habe darum auch Intel-Rechner). Ich persönlich finde auch diesen Punkt mit "ECC müsste unterstützt werden" äußerst unbefriedigend bei AM4/5. Bei Intel ist es sauber dokumentiert und wird dann auch garantiert.

 

[Trambahner]

Achtung beim X570D4U-2L2T ; das gibt es als Variante mit 2xX550 NICs nicht mehr ; es gibt da eine neue Revision mit 2x10G Broadcom NICs,
Ansonsten: ich mag das Board (hab ja die 2L2T-Variante mit 2xX550) , nur die IPMI ist etwas lahm (besonders die virtuellen Datenträger da drüber); meine beiden älteren Supermicro sind da massiv schneller .

Solang Du beim Ram 1,2V - Module nutzt, kein Problem. Denn das Board kann keine Ram-Spannung erhöhen (auch wenns im Bios auswählbar ist); es können also keine 1,35V z.B. eingestellt werden für Ram-OC/XMP.

Und ja, das Board unterstützt ECC-Ram.
AM4/5 hat den Vorteil, dass es die x16 GPU-Lanes auf x4x4x4x4 (nicht die APUs) oder auch x8x4x4 aufteilen kann und damit die I/O-Bandbreite besser nutzbar ist z.B. für SSDs oder andere PCIe-Karten. x4x4x4x4 oder x8x4x4 Bifurcation kann/erlaubt Intel nicht bei den aktuellen gen12+13 Desktop-CPUs. Damit ist AM4/5 auch sinnvoll, wenn viele SSD mit hohem Durchsatz benötigt/gewünscht werden.

Btw, Asrock Rack arbeitet derzeit an AM5 Serverboards : B650D4U (Chipsatz dabei ist ein B650E, nicht der non-E). Mich würde auch nicht wundern, wenn dann noch X670D4U kämen.

 

[Potz]

es gibt da eine neue Revision mit 2x10G Broadcom NICs

Nur am Rande: Vmtl. der gleiche Chip ist auch auf dem Supermicro H12SSL-NT verbaut und läuft bei mir auf der Arbeit wunderbar unter Ubuntu 20.04.

 

[n3]

Zwei? ;D Dass du fünf Fragezeichen genutzt hast, ignoriere ich mal.

Danke

Zu 1: Ich habe keine Ahnung, wie viel CPU-Leistung du für den Spaß brauchst. Insbesondere Frigate kann ich nicht einschätzen. Der Rest klingt erst einmal nach ziemlich wenig. Wie viele Nutzer hängen an dem Gerät? Ich wüsste nicht welchen Vorteil AM5 haben sollte.

Ich kann es auch nicht so sehr einschätzen, denke aber, es wird nicht so viel sein. Aktuell will ich mit zwei Benutzern drauf und am meisten werden wohl die Fotos ausmachen. Frigate könnte interessant werden. Frigate wird den Videostream von 6 Kameras verarbeiten (Substream 480p 20pfs). Das müssten ca. 6MBps sein. Zur Objekterkennung wird aber eine TPU (Coral AI von Google für den M.2 Slot) eingesetzt. Stand jetzt will ich nur ein Video mit 12MP@20pfs oder 8MP@25fps bei Erkennung speichern. Alternativ überlege ich aber auch eine Schleife sodass z,B, die letzten x Tage immer vorgehalten werden und bei Erkennung wird das Video zusätzlich gemspeichert. Das würde dann mehr Durchsatz erfordern.

Des Weiteren liefert die Kamera ein h.265 Video und ich würde die kurzen Videos bei Erkennung ggf. auch in h.264 umcodieren. Hierzu würde ich beim AM5 davon profitieren, dass die GPU nicht die Bandbreite der CPU nutzt. Eventuell wird es in Zukunft auch mehr Fälle geben, wo die GPU unterstützen kann. Ich könnte auf die GPU vielleicht verzichten und dann würde AM4 vermutlich ausreichen. Wäre aber ärgerlich, wenn ich AM5 jetzt aber nicht betrachte und mich dann später ggf. ärgere.

Zu 2: Das MB hat doch genug Slots so dass du mit Adaptern auch mehr m.2 einbauen kannst. Ich würde nur bei einem sehr minimalistischen System (Mobil-CPU etc.) aus Stromspargründen auf einen Mirror für die VMs/Container verzichten.

Klar, mit einem PCIe Adpater krieg ich noch mehr m.2 hin, aber wären wieder zusätzliche Kosten. Bisher plane ich die Container/VMs regelmäßig zu sichern. Ich muss aber gesehen, dass ich mich dem Thema erst noch widmen werde. Soweit ich weiß, müsste ich das aber mit Proxmox irgendwie hinkriegen, dass ich mir das in die Cloud, oder lokal auf den Server wegsichere und dann von dort in die Cloud schiebe. Wäre es dann vertretbar auf einen Mirror zu verzichten?

Zu 3: Die Frage ist, wie viel Performance du haben möchtest. Grundsätzlich ist ein Mirror aus nur zwei Platten durchaus nicht verkehrt, solange die Performance reicht. Wie viel nutzbaren Platz benötigst du eigentlich?

Aktuell brauche ich 6 TB. Mit 4TB Platten wird es dann etwas knapp, oder ich nehme direkt ein Z-1 mit 5 Platten. Kann ich ZFS Raid 1 einfach immer 2 Platten dranhängen?

Sonstiges:
- Ich persönlich würde insbesondere für die SSDs nur welche mit PLP verwenden und die Teile des ZFS die die VMs etc. nutzen auf sync=always stellen (ja, machen auch viele Leute anders)
- Boot-SSD kann man super billig irgendwas ganz kleines aber professionelles bei Ebay kaufen. Gibt bergeweise Intel S3500 und neuer. Ein Mirror hat hier auch Vorteile. Verzichtbar, wenn du das System z.B. komplett mit Ansible konfigurierst oder auch das System perfekt backupst.

Danke für den Hinweis! Wieso nutzt du sync=always und was wäre die Alternative?

Sonstiges:
- Ich wurde letztens darauf hingewiesen, dass die SATA-Controller von AMD nicht ganz zuverlässig seien. Leider hat man mir nicht erklärt, was das Problem ist und weil an meinem EPYC keine SATA-Geräte hängen, habe ich nicht weiter recherchiert.
- Ich persönlich sehe bei Heimservern erst dann einen Vorteil für AMD, wenn man wirklich viel CPU-Leistung benötigt. Die Geräte befinden sich meiner Erfahrung nach für gewöhnlich mehr oder weniger den ganzen Tag im idle (bei Intel sparsamer) und brauchen im wesentlichen in ganz kurzen Peaks auf 1-2 Kernen möglichst viel Performance (wenn man z.B. 10GbE oder mehr wirklich nutzen will). Ein X11SCL-F mit einem i3-9100 ist meiner Meinung nach unschlagbar, solange man ohne PCIe gen4 auskommt. Du bekommst 3x NVMe + 6x SATA unter und hast noch einen x8 Slot für einen schnellen NIC frei. Es hängt auch möglichst viel direkt an der CPU. Ansonsten scheint mir das Gigabyte MW34-SP0 mit einem i5-12500 sehr spannend zu sein. Das Board ist ziemlich gut ausgestattet und du kommst mit günstigem DDR4 aus. Klar hat AMD extrem tolle CPUs (ich habe selbst einen EPYC und einen 5800X3D), aber in dem Segment finde ich die Plattformen von Intel schwer zu schlagen (und habe darum auch Intel-Rechner). Ich persönlich finde auch diesen Punkt mit "ECC müsste unterstützt werden" äußerst unbefriedigend bei AM4/5. Bei Intel ist es sauber dokumentiert und wird dann auch garantiert.

Hm, bisher waren die Empfehlungen immer Richtung AMD. Ob ich den Durchsatz benötige, den AM4/5 bieten, Trambahner schreibt, oder eher auf Energieeffizienz gehe ist eine gute Frage. Ich kann es aktuell noch nicht einschätzen.

Solang Du beim Ram 1,2V - Module nutzt, kein Problem. Denn das Board kann keine Ram-Spannung erhöhen (auch wenns im Bios auswählbar ist); es können also keine 1,35V z.B. eingestellt werden für Ram-OC/XMP.

Sollte passen: https://geizhals.de/kingston-server-premier-dimm-32gb-ksm32ed8-32me-a2351239.html

Und ja, das Board unterstützt ECC-Ram.
AM4/5 hat den Vorteil, dass es die x16 GPU-Lanes auf x4x4x4x4 (nicht die APUs) oder auch x8x4x4 aufteilen kann und damit die I/O-Bandbreite besser nutzbar ist z.B. für SSDs oder andere PCIe-Karten. x4x4x4x4 oder x8x4x4 Bifurcation kann/erlaubt Intel nicht bei den aktuellen gen12+13 Desktop-CPUs. Damit ist AM4/5 auch sinnvoll, wenn viele SSD mit hohem Durchsatz benötigt/gewünscht werden.

Btw, Asrock Rack arbeitet derzeit an AM5 Serverboards : B650D4U (Chipsatz dabei ist ein B650E, nicht der non-E). Mich würde auch nicht wundern, wenn dann noch X670D4U kämen.

Die Frage ist auch, wann die neuen AM5 Serverboards von Asrock Rack kommen. AM4 ist verfügbar und oben wurde ja noch Intel ins Rennen geworfen.

 

[n3]

Ich hab jetzt noch einmal etwas geschaut und...

1. Intel wäre knapp 300-400€ günstiger. Dies liegt aber hauptsächlich am Mainboard, den das Supermicro ist deutlich günstiger, dafür fehlt aber der 10GbE Anschluss. Dafür hat der i3 auch direkt eine GPU. TDP ist gleich, wobei der Intel scheinbar im Idle weniger verbraucht. AMD hat dafür 2 Kerne mehr. AM5 ist eigentlich raus, weil ich werde den Mehrwert nicht brauchen und ich muss mal in mich gehen und schauen, ob ich wirklich 10GbE brauche. Das Supermicro X11SCL-LN4F hätte 4x 1GbE und ich könnte über einen Anschluss die Kameras laufen lassen, einen Anschluss für mich und die anderen zwei Anschlüsse koppeln und für das Haus. BCM auch sehr cool, aber auch hier. Ich richtige die Kiste einmal ein, installier Proxmox und wenn mal etwas hängt, dann muss ich mal kurz frimmeln. So häufig kommt es ja nicht vor.

2. Ich habe mal die Intel SSDs wegen der Bootplatte geschaut und Crucial MX500 scheint ja ein Geheimtipp zu sein, weil sie auch Power Loss Immunity bietet. Gebrauchte Intel bin ich mir nicht sicher. Die Dinger wurden sicherlich im Enterprise Bereich verwendet und haben bestimmt 2/3 Ihrer Lebenserwartung durch und für den Preis einer gebrauchten Intel kriege ich eine neue MX500 auch mit Power Loss Immunity, oder sprechen noch mehr Gründe für die Intel?

3. PLP für die Virtualisierung ist schon deutlich schwieriger. Kann ich das Problem aber nicht mit ZFS Barriers lösen? Bezahlbare PLP Lösungen habe ich jetzt nicht gefunden.

 

[Potz]

2. Ich habe mal die Intel SSDs wegen der Bootplatte geschaut und Crucial MX500 scheint ja ein Geheimtipp zu sein, weil sie auch Power Loss Immunity bietet. Gebrauchte Intel bin ich mir nicht sicher. Die Dinger wurden sicherlich im Enterprise Bereich verwendet und haben bestimmt 2/3 Ihrer Lebenserwartung durch und für den Preis einer gebrauchten Intel kriege ich eine neue MX500 auch mit Power Loss Immunity, oder sprechen noch mehr Gründe für die Intel?

Ich habe gerade keine Zeit auf alles zu antworten, kann es mir aber nicht verkneifen hier direkt zu reagieren.
- Du sitzt da einem leeren Marketingversprechen auf! Was auch immer die MX500 da genau tut, es ist in keiner Weise mit dem vergleichbar, was PLP bei Server-SSDs tut und auch kein Ersatz dafür.
- Bezüglich der ollen Intel SSDs: In der Regel sind die nicht durch und wenn du sie als Boot-SSD verwendest, ist die Belastung für die Dinger ein Witz. Klar geben die irgendwann den Geist auf, aber nicht, weil du zu viel drauf geschrieben hast, sondern weil sie auch vom Nichtstun irgendwann altern.
- Was die Preise angeht, sehe ich die MX500 in 250GB ab 31€. Für eine S3500 mit nur 120GB habe ich 15-20€ bezahlt. Klar ist das pro GB teurer, aber es würde eben auch eine noch viel kleinere SSD ohne Einschränkungen reichen.

 

[n3]

Ich habe euren Input genommen und noch einmal geschaut und recherchiert. Ich glaube meine initiale Konfiguration wäre Overkill. Allein das 10GBs Netzwerk würde mich knapp 600€ Kosten (Aufpreis MB und Aufpreis Switch) und der Mehrwert fraglich.

Ich tendiere Aufgrund der Abwärme und des Mainboards nun zu Intel. Folgende Konfiguration favorisiere ich derzeit:

CPU	Intel i3-9100	Sollte die Leistung nicht reichen, kann immer noch ein i5, i7, i9 nachgerüstet werden. Zumal die i7 auch eine deutlich geringer TDW haben. Der Aufpreis lohnt sich aber nicht.
Kühler	be quiet! Shadow Rock TF2 (Topblow)	Frage ist, ob ein Topblow die richtige Wahl ist.
Mainboard	Supermicro X11SCL-LN4F retail	4x GB Lan ist hier eine Alternative: 1 GB für die Überwachungskameras, 1 GB für meinen Rechner (Power User) und 2GB als Link für das restliche Haus. Wenn es eng wird, kann ich immer noch eine 10GB Karte nachrüsten.
Arbeitsspeicher	2x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC	Würde der Speicher passen? Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32HC) ab € 110,77 (2024) | Preisvergleich Geizhals Deutschland ✔ Preisvergleich für Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32HC) ✔ Bewertungen ✔ Produktinfo ⇒ Typ: DDR4 DIMM 288-Pin, ECC • Übertragung: 3200MT/s (3200MHz effektiv - abgeleitet von 1600MHz I/O-Takt m… ✔ Speicher ✔ Testberichte ✔ Günstig kaufen geizhals.de
Storage - Boot Proxmox	2x Intel S3500	Gebraucht im RAID 1
Storage - VMs/Docker	2x Samsung OEM Datacenter SSD PM9A3 960GB, M.2	RAID 1 (ggf. nur eine)
Storage - Data (Raid-Z1)	5x 4TB WD Red Plus WD40EFZX 128MB 3.5"	Raid-Z1 (ggf. nur 3, oder Z2)
TPU (M.2)	M.2 Accelerator with Dual Edge TPU	Für Frigate zur Analyse von Videoinhalten
Netzteil	400 Watt be quiet! Pure Power 11 CM Modular 80+ Gold

Das Gigabyte MW34-SP0 mit einem i5-12500 klingt auch spannend, aber das Board bringt mir beim Netzwerk keinen Vorteil. Mein Switch hat nur 4x 1GB SFP. Das wären 260€ mehr und Bereich des möglichen. Den 2,5GB Port würde ich nur als 1GB nutzen und könnte ich den anderen Port normal für die Kameras nutzen?

Über ein Feedback würde ich mich freuen

 

[mrpasc]

Um den RAM einschätzen zu können wäre eine genaue Modellnummer hilfreich. Du benötigst unbuffered DIMM, wenn ich deinen RAM Google findet er RDIMM und UDIMM.
Bootpool in RAID 0 verstehe ich gar nicht, macht da ein RAID 1 nicht mehr Sinn? Gleiches für den VM Pool, eine SSD steigt aus (da reicht auch ein „Schluckauf“, muss nicht gleich ganz kaputt sein) und alles ist Geschichte…

 

[n3]

Klar, Raid0 macht keinen Sinn. Meinte natürlich RAID1. Also Mirror. Hab auch den Link zum RAM angefügt:

Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32HC) ab € 110,77 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32HC) ✔ Bewertungen ✔ Produktinfo ⇒ Typ: DDR4 DIMM 288-Pin, ECC • Übertragung: 3200MT/s (3200MHz effektiv - abgeleitet von 1600MHz I/O-Takt m… ✔ Speicher ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[mrpasc]

Unbuffered, d.h. passt.
Bei den HDD würde ich überlegen, statt 5x4TB 3x12 oder 16 zu nehmen. Preis pro TB sollte da besser sein und du hast weniger Stromverbrauch.

 

[n3]

Hm,
5x 4TB als Z1 kostet 425€ für 16TB
3x 4TB als Z1 kostet 252€ für 8TB
3x 12TB als Z1 kostet 834€ für 24TB

Die Kapazität werde ich nicht brauchen und es auch deutlich teuer. Die 4TB Version scheint die besten Preis-/Leistung zu haben. Wieso würdest du zu 3x12 bzw. 16 tendieren? Die WD RED gibt es auch gar nicht als 16TB.

 

[mrpasc]

Denk- bzw. Rechenfehler meinerseits. Hatte das „Evtl. auch nur 3“ bei den 4TB überlesen und dachte du willst um die 16TB brutto erreichen.
Ich würde trotzdem auch auf den Preis pro GB schauen, evtl 3x8TB?

Beitrag automatisch zusammengeführt: 25.02.2023

Und wo bekommst du eine WD RED Pro 4TB für 75€ gekauft? Hoffentlich keine „Plus“ (=SMR) im Auge?

 

[n3]

Ja, hatte die WD Red Plus ins Auge gefasst. Die hat auch kein SMR. SMR bei den Red sind die WDx0EFAX. Die Plus sind WDx0EFZX. Eventuell nehme ich doch die 6TB Version. Kann ich das RAIDZ später einfach im zwei Platten erweitern?

Habe auch festgestellt, dass ich den Storage für VMs nicht im RAID1 betreiben kann. Beide Boards haben nur einen M.2 22110 und da ich von der 980Pro auf die PM9A3 gewechselt bin, geht nur eine. Fände ich jetzt aber nicht so tragisch.

Das Gigabyte scheint echt ein gutes Board zu sein, hat aber ein größeres Problem. Wenn man den Netzstecker zieht, ohne X Minuten zu warten nachdem es gelaufen ist, bleibt es schwarz. Gibt auch schon eine Rev1.1, aber in DE noch nicht verfügbar. Hm...

Noch eine Frage zum M.2... Meine TPU braucht Interface: M.2 E-key (mit zwei PCIe Gen2 x1 lanes)
Es wird darauf hingewiesen, dass häufig nur ein PCIe lane zur Verfügung steht. Auch braucht die TPU bis zu 6A. Wenn ich es in den normalen M.2 M-Key stecke, dann sollte ich ja 4 Lanes haben, richtig?

 

[Potz]

Bin leider immernoch nicht dazu gekommen auf deinen langen Post oben zu antworten, daher jetzt nur in aller schnelle:
- Ein RaidZ kannst du nicht einfach erweitern. Du kannst nur etwas daneben stellen und die zwei dann per Striping verbinden. Am sinnvollsten ist das, wenn du genau das gleiche RaidZ nocheinmal daneben stellst.
- Du bist mit dem X11SCL-F besser beraten. Erstens kannst du Möglichkeiten die zweite M.2 einzubauen und zweitens kannst du auch einen zweiten NIC einsetzen. Ich wüsste nicht, warum du die 4 Ports nutzen solltest. Ich sehe zwei(drei) Alternativen:
1. Du verbindest beide Ports und lässt alles zusammen daran arbeiten (Bei den wenigen Clients ist es egal, dass du für dich keine eigene Leitung hast).
2. Du verwendest einen Port allgemein und den zweiten für einen Sonderfall:
a) zweiter Port für die Cam, weil du mir nicht bekannte gute Gründe hast sie nicht ins normale Netz zu hängen
b) zweiter Port für deinen Rechner, weil du mir nicht glaubst, dass du keinen eigenen Port brauchst.
Eine schöne Perspektive bei dem Board ist meiner Meinung nach, dass du es bis hin zu 3x NVMe plus einem 25GbE (oder gar 50GbE) NIC aufrüsten kannst.

 

[Potz]

Bisher plane ich die Container/VMs regelmäßig zu sichern. Ich muss aber gesehen, dass ich mich dem Thema erst noch widmen werde. Soweit ich weiß, müsste ich das aber mit Proxmox irgendwie hinkriegen, dass ich mir das in die Cloud, oder lokal auf den Server wegsichere und dann von dort in die Cloud schiebe. Wäre es dann vertretbar auf einen Mirror zu verzichten?

Das kannst nur du entscheiden. Von deiner Backupstrategie hängt ab, wie viel du verlierst und wie schlimm das ist, weißt nur du. Im laufenden Betrieb sichere Backups zu machen ist schwierig. Es kann immer sein, dass du einen korrupten Zustand bekommst. Die Systeme fürs Backup herunter zu fahren, wäre schon sinnvoll. Davon ab schützt ein Mirror selbstverständlich nicht vor allen Problemen. Das Backup ist unverzichtbar. Der Mirror senkt nur die Wahrscheinlichkeit, dass du das Backup brauchst. Nebenbei bekommst du bei einem Mirror eine Lesegeschwindigkeit die in etwa der Summe der verbauten Platten entspricht.

Danke für den Hinweis! Wieso nutzt du sync=always und was wäre die Alternative?

Eine Alternative gibt es nicht. Lies dich ein bisschen ein, was synchrone Schreibzugriffe sind. Ein Problem mit dicken Software Stacks wie VMs ist, dass irgendwo unterwegs etwas nicht ganz korrekt synchronisiert wird an Stellen an denen es wichtig ist. Wenn du immerhin das ganz unten liegende Dateisystem (ZFS) so einstellst, dass es alle Schreibzugriffe synchron behandelt, wird es zumindest dort nicht korrupt. Man verhindert damit nicht alle Probleme, aber man senkt das Risiko. Für deine Fotosammlung z.B. wird sich das nicht lohnen. Genauso für die Videos. Bei den VMs sehe ich es schon als etwas wichtiger an. Aber hier gilt wie bei den Backups und dem mirror auch: du musst wissen, welche Risiken du eingehen willst. Bei deinen privaten Daten gibt es nahezu kein "muss".

 

[n3]

Danke für die Antwort! Es hilft auch die kurze Antwort ;-)

OK, ich werde dann entweder direkt ein RAIDZ1 mit 5 Platten machen, oder ein RAIDZ1 mit 3 Platten, aber dafür größer. Muss noch schauen, was Sinnvoller wäre. Bisher habe ich zumindest die Tendenz zu 5 Platten gelesen.

Ich hätte mal vorher richtig rechnen sollen. Eine Kamera verursacht 1MB/s, bei 5 wären das 5MB/s und bei dem 1GBs wären das ~5%. Somit sollte eigentlich noch genug für den Rest sein. Werde daher erst einmal mit 1GBs anfangen und wenn es nicht reicht, dann kann ich immer noch nachrüsten.

Das Problem bei den ganzen Boards ist, dass ich nur eine M.2 22110 verbauen kann, oder aber auch nur eine M.2 2280. Da ist ein Mirror schon schwer und ich brauche einen M.2 für die TPU. Mein aktueller Favorit ist das GIGABYTE MW34-SP0. Der M.2 22110 hängt direkt an der CPU und ich könnte somit die Samsung PM9A3 als Enterprise SSD verwenden. Ich hätte dann noch drei weitere M.2 Slots für mehrere TPUs, oder andere Spielerein. Alternativ eine TPU in den 22110 Slot und somit direkt an die CPU und dann zwei Enterprise SSDs an die 2280er. Hier müsste ich aber noch schauen, welche SSD in Frage kommen würde. Tendenziell spiele ich aber mit dem Gedanken die PM9A3 direkt an die CPU zu hängen und zwei TPUs zu verbauen, oder brauche ich die Lesegeschwindigkeit von einem SSD Mirror?

 

[Potz]

Das MW34-SP0 ist sicher auch äußerst interessant für dich, aber was ich nicht verstehe ist, warum du meinst, dass dir die Adapter um zwei zusätzliche M.2 auf das X11SCL-F zu montieren zu teuer sind (~15€ pro Stück) aber du jetzt über das viel teurere Board mit ebenso teureren CPUs nachdenkst. Ich will dir wirklich nicht das MW34-SP0 ausreden, da ich es selbst sehr
interessant finde, aber deine Logik verstehe ich nicht. Nebenbei finde ich die PCIe Slots auf dem X11SCL-F flexibler als die M.2. Man kann so auch auf U.2 gehen, was mehr Leistung bei gleichen Kosten und tendenziell etwas besserer Kühlbarkeit bietet. Bei Ebay gibt es gebrauchte PM983 mit 3.84TB für sehr attraktive 200€.

Alternativ eine TPU in den 22110 Slot und somit direkt an die CPU und dann zwei Enterprise SSDs an die 2280er. Hier müsste ich aber noch schauen, welche SSD in Frage kommen würde.

Gibt da leider nicht viel außer den Micron 7400/7450 in 960GB. Größer gibt es nix als NVMe mit PLP in 2280.

oder brauche ich die Lesegeschwindigkeit von einem SSD Mirror?

Bei dem was du bisher geplant hast ganz bestimmt nicht.

 

[gea]

ZFS sorgt eigentlich mit Copy on Write dafür das ein ZFS Dateisystem per Design nicht kaputtgehen kann. Das gilt aber nicht für VMs auf ZFS mit darin enthaltenen Gast Dateisystemen. Bei einem Absturz kann es passieren dass dort unvollständige aber bestätigte Schreibvorgänge vorhanden sind z.B. Daten wurden geschrieben aber Metadaten konnten nicht mehr aktualisiert werden -> Dateisystem und VM korrupt.

Sync Write sorgt nun dafür dass bestätigte Schreibvorgänge auf ZFS Ebene bei einem Serverabsturz beim nächsten Reboot nachgeholt werden. Das allein hilft aber noch nicht um zu garantieren dass eine VM unbeschädigt bleibt. Ein ZFS Snapshot oder ein VM Absturz kann ebenfalls zu einer inkonsistenten VM führen. Auch das Sichern einer laufenden VM in einem Zustand der eine sichere Wiederherstellung erlaubt, ist nicht trivial. Unter ESXi z.B. gibt es dazu extra Mechanismen um entweder das Gastdateisystem für einen Snap oder Backup kurz anzuhalten (coalesce) oder den RAM der VM mitzusichern. Ohne sowas sollte man VMs zum Sichern immer herunterfahren.

Vgl Diskussion zum Thema Sichern einer laufenden VM unter ESXi in der Thomas das perfekt und komfortabel für ESXi gelöst hat.

ESX / ESXi - Hilfethread

Gibt es zufällig ein fertige ISO von ESXI 7 mit Treiber für Realtek NIC ? Ich bekomme es nicht hin . Hardware: I3 7100 Gigabyte GA-H110-S2V . Jetzt habe ich eine ISO mit ESXI 6.7 und wollte ein Upgrade/Update auf 7 machen dort sagt er siehe Bild . Was kann ich machen das ich das beheben kann?

www.hardwareluxx.de

 

[n3]

aber was ich nicht verstehe ist, warum du meinst, dass dir die Adapter um zwei zusätzliche M.2 auf das X11SCL-F zu montieren zu teuer sind (~15€ pro Stück) aber du jetzt über das viel teurere Board mit ebenso teureren CPUs nachdenkst.

Das ist ganz einfach erklärt... Ich hatte es nie als Option gesehen 😅Mit der Option ergeben sich wieder andere Möglichkeiten.

Nebenbei finde ich die PCIe Slots auf dem X11SCL-F flexibler als die M.2.

Weil die drei Slots direkt an der CPU hängen und beim Gigabyte nur zwei Slots an der CPU hängen?

Ich will dir wirklich nicht das MW34-SP0 ausreden, da ich es selbst sehr
interessant finde

Zur Info: https://forum.level1techs.com/t/gigabyte-mw34sp0-motherboard/189112/99
So wie es scheint, hängt sich das Board auf, wenn man die Hardware wechselt. Hängt scheinbar mit dem BMC zusammen und es gibt auch schon eine Rev1.1, aber man weiß nicht, ob es nur ein neues BIOS mit weiterer CPU Unterstützung ist, oder es auch Hardwareänderungen gegeben hat, die das Problem lösen. Da ich den Rechner nicht ständig Umkonfigurieren will, kann ich damit leben.
Ich tendiere weiterhin zum Gigabyte, weil die CPU auch Vorteile bietet. Ich hätte eine GPU für den Fall der Fälle und mehr Kerne.

Ich werde auch eher bei einer SSD PM9A3 mit 960GB für Proxmox. Bezogen auf das Budget sehe ich eher den Vorteil bei dem i5 anstatt bei einem SSD Mirror für Proxmox. Das fehlende Mirror kann ich durch ein Backup kompensieren, oder übersehe ich etwas?

ZFS sorgt eigentlich mit Copy on Write dafür das ein ZFS Dateisystem per Design nicht kaputtgehen kann. Das gilt aber nicht für VMs auf ZFS mit darin enthaltenen Gast Dateisystemen. Bei einem Absturz kann es passieren dass dort unvollständige aber bestätigte Schreibvorgänge vorhanden sind z.B. Daten wurden geschrieben aber Metadaten konnten nicht mehr aktualisiert werden -> Dateisystem und VM korrupt.

Das eine VM korrupt wird, ist aber unabhängig von ZFS, oder? ZFS minimiert nur auch hier das Risiko, richtig? Aber Danke für die Erklärung
Bisher ist nur eine VM geplant und die muss auch nicht immer laufen. der Rest werden Container sein. Somit kann ich die VM einmal sichern und leicht wieder einspielen, sollte mal etwas kaputt gehen.

Bzgl. ZFS1 habe ich mir auch überlegt, da ich das nicht erweitern, sondern nur das gleich zusätzlich dazuschalten kann, drei Platten mehr sinn machen. Weil dann brauche ich beim erweitern nur drei neue Platten und nicht gleich wieder 5. Gibt es bei ZFS1 einen technischen Vorteil, entweder drei oder fünf Platten zu verwenden?

 

[gea]

Das eine VM korrupt wird, ist aber unabhängig von ZFS, oder? ZFS minimiert nur auch hier das Risiko, richtig? Aber Danke für die Erklärung
Bisher ist nur eine VM geplant und die muss auch nicht immer laufen. der Rest werden Container sein. Somit kann ich die VM einmal sichern und leicht wieder einspielen, sollte mal etwas kaputt gehen.

Bzgl. ZFS1 habe ich mir auch überlegt, da ich das nicht erweitern, sondern nur das gleich zusätzlich dazuschalten kann, drei Platten mehr sinn machen. Weil dann brauche ich beim erweitern nur drei neue Platten und nicht gleich wieder 5. Gibt es bei ZFS1 einen technischen Vorteil, entweder drei oder fünf Platten zu verwenden?

Kritisch ist immer ein Absturz beim Schreiben. Da muss garantiert werden dass abhängige oder bestätigte "atomare Schreibvorgänge" auf Platte sind, z.B. durch eine BBU oder ZFS sync write.

Kritisch ist auch das Backup einer laufenden VM. Da brauchts sowas wie hot memory snaps oder coalesce wie bei ESXi.

Bei einem Z1 braucht man minimal 2 Platten, ist dann aber von der Kapazität wie Mirror aber ohne echte Spiegelung, macht wenig Sinnn Zwischen 3 und 5 Platten macht Z1 Sinn, bei mehr sollte man Z2 nehmen.

Ohne Compress gibt es eine ideale Anzahl von Platten. Seit man fast immer LZ4 aktiviert, kann man das ignorieren.

 

[Potz]

Ich tendiere weiterhin zum Gigabyte, weil die CPU auch Vorteile bietet. Ich hätte eine GPU für den Fall der Fälle und mehr Kerne.

Eine in die CPU integrierte GPU kannst du auf beiden Plattformen nutzen. Einzige Einschränkung bei dem X11STL-F ist, dass die Displayausgänge nicht herausgeführt sind. Die Rechenleistung der GPU steht dir aber zur Verfügung. Du kannst nur keinen Monitor anschließen (abgesehen vom BMC). Ansonsten geht alles.

Das fehlende Mirror kann ich durch ein Backup kompensieren, oder übersehe ich etwas?

Der Mirror bei ZFS hat noch den Vorteil, dass man Fehler potenziell deutlich früher bemerkt. Es gibt Fehler, die ZFS bei nur einer Platte nicht entdecken kann und wenn diese Fehler monatelang keine für dich ersichtlichen Auswirkungen haben, müsstest du evtl. ein sehr altes Backup reaktivieren und hättest dadurch Datenverlust. Auch das ist natürlich wieder ein Szenario bei dem du entscheiden musst, wie wichtig dir deine Daten sind und wo du dein Geld lieber investierst.

 

[n3]

Ja, bei AMD kann ich auch eine CPU mit integrierter GPU kaufen, aber dann wird es noch teurer. Habe aktuell folgende Konfigurationen (Intel SSD wird über ebay gebraucht gekauft):

Intel

Heimserver Intel Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Heimserver Intel

geizhals.de

AMD

Heimserver Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Heimserver

geizhals.de

Bei AMD ist das Board sehr teuer und die CPU hat keine GPU. Die Preise bei AMD sind aber aktuell sehr gefallen und ich habe mal den Ryzen 5 5600X gegen den Ryzen 7 Pro 3700 getauscht. Die Pro soll im Idle ja auch weniger Strom ziehen, aber wie gesagt, Preislich ist Intel da besser und ich sehe keinen Vorteil zum AMD System, oder?

 

[Potz]

Ich persönlich sehe bei solchen Systemen auch keinen Vorteil für AMD.

 

[Kavendish]

Ich hätte einen kleinen Wunsch, wenn du das AMD-System mit iGPU baust, würdest du dokumentieren, wie du die iGPU an die VM oder den LXC durchreichst, falls du das vorhast?
Am Wochenende hab ich es mit meinem 2400G, Proxmox 7.3 und einem LXC mit diversen Anleitungen/Threads aus dem Netz versucht, um in meinem Ubuntu-Emby-LXC das Hardwaretranscoding hinzubekommen - und scheiterte.

 

[n3]

Da ich derzeit zu Intel tendiere, kann ich dir da vermutlich nicht helfen. Suche gerade die S3500 raus und kriege zwei 80GB INTEL SSDSC2BB080G4 S3500 für knapp 36€ aus GB. Das Gehäuse ist auch erst ab 17.03 lieferbar und ich schau noch, ob ich etwas günstigeres bis dahin finde....

SilverStone RM41-H08 Rackmount Storage ab € 319,90 (2023) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für SilverStone RM41-H08 Rackmount Storage ✔ Produktinfo ⇒ Extern: 5x 3.5" SAS/SATA 12Gb/s Hot-Swap • Intern: 4x 3.5" • I/O: 2x USB 3.0 • PCI-Steckplätze: 7… ✔ 19"-Gehäuse ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[n3]

@Potz hab meinen Server zusammengebaut und installiere und konfiguriere aktuell proxmox und opensense. Dabei ist mir aufgefallen, dass die gebrauchten SSDs schon sehr runter sind...

Ich hab sie zwar im RAID1 hängen, aber 87% und 52% Abnutzung sind jetzt nicht so prickelnd, oder?

Ansonsten schlage ich mich gerade mit dem ZFS Padding bei RAIDZ auseinander 😅

 

[Potz]

Ich hab sie zwar im RAID1 hängen, aber 87% und 52% Abnutzung sind jetzt nicht so prickelnd, oder?

Ich halte das bei der Verwendung als Boot-SSD für egal. Da passiert quasi nix drauf. Es gibt bei Proxmox aber bestimmt auch zusätzlich eine gute Möglichkeit Backups der Konfiguration abzuspeichern. Ich kenne das von TrueNAS und finde es da sehr praktisch, plane aber selbst bei einem Proxmox-Server stattdessen die gesamte Konfiguration mit Ansible zu erledigen, so dass ich nach einem Crash einfach den Installer von Proxmox auf neuen SSDs laufen lassen kann und anschließend die Playbooks einmal ausführe, so dass alles wieder konfiguriert ist.

 

[n3]

Ja, ich denke/hoffe es auch. 87% ist halt schon sehr durch, aber die zweite ist ja soweit gut.

Mit dem Backup muss ich mich noch beschäftigen. Bin noch nicht so weit. Ist aktuell einiges neu für mich und da muss ich mich erstmal einarbeiten.