[Kaufberatung] [Homelab] Proxmox Build mit Consumer Hardware

[proxi532]

Guten Tag,

wie bereits in diversen Threads habe ich verschiedene Fragen zu Teilkomponenten gestellt gehabt und super Feedback und Tipps von euch erhalten, danke schonmal dafür
Das System soll 24/7 laufen, VMs die nicht gebraucht werden, werden dann heruntergefahren, auch um Stromsparen zu können, das ist auch eine wichtige Anforderung.
Kurz zu Proxmox, was soll darauf alles laufen?

Ich als Entwickler habe grob paar Ideen, einmal bestimmte Workloads lokal laufen zu lassen wie GitLab für Source Code Management mit CI/CD Pipelines (Docker Images bauen, deployen), passend dazu lokales Hosting der Dienste (Apache, Nginx). Entsprechend würden auch dann Datenbanken je nach Zweck/Situation laufen.
Im Themenbereich Reporting/Monitoring würden dann noch paar Dienste laufen wie Grafana, Prometheus, etc. Im Bereich Security könnte ich mir auch mal ein zentrale Userverwaltung/LDAP vorstellen, so dass die selbst gehosteten Services im Homelab per SSO sich einmalig authentifizieren, dass ist aber Zukunftsmusik. Im Bereich Infrastruktur nutze ich auf meinem RaspberryPi bereits den DNS/Werbeblocker PiHole, diesen würde ich erstmal dort weiterlaufen lassen, nur sollte dieser Ausfallen weil die SD-Karte schrott ist, müsste schnell Ersatz her.
Streaming würde entfallen, da ich im bestehenden TrueNAS Server näher an den Mediadaten Jellyfin bereits nutze.
Evtl. würde ich eine Windows VM für spezifische Software aufsetzen evtl. auch Videoschnitt (Da Vinci Resolve) und die bei Bedarf hochfahren und per RDP draufschalten.

Es sind hauptsächlich Linux Systeme für Sowareentwicklung, Datenbanken auch könnte ich mir gerne self-hosted KI Modelle auf einer VM ausprobieren.

Potentielle Hardware Komponenten:

CPU: ~260€

Intel Core i5-13500, 6C+8c/20T, 2.50-4.80GHz, boxed ab € 228,99 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Intel Core i5-13500, 6C+8c/20T, 2.50-4.80GHz, boxed ✔ Bewertungen ✔ Produktinfo ⇒ Kerne: 14 (6C+8c) • Threads: 20 (12+8) • Turbotakt: 4.80GHz (Turbo Boost 2.0), 4.80GHz (P-Core), 3.50GHz … ✔ Intel ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Mainboard: ~120€

ASRock B760M PG Lightning ab € 104,90 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASRock B760M PG Lightning ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: µATX • Sockel: Intel 1700 • Chipsatz: Intel B760 • CPU-Kompatibilität: Core i-14000 , Core i-… ✔ Intel Sockel 1700 ✔ Testberichte ✔ Günstig kaufen

geizhals.de

RAM (Zertifiziert laut Mainboard Hersteller) ~370€
4x 32GB: https://geizhals.de/kingston-valueram-dimm-32gb-kvr48u40bd8-32-a2686427.html

Boot Drive (Redundant als RaidZ-Mirror) ~124€
2x1TB https://geizhals.de/samsung-ssd-870-evo-1tb-mz-77e1t0b-a2458826.html

NVMe VM Drives: (Redundant als RaidZ-Mirror) ~200€
2x2TB: https://geizhals.de/kingston-kc3000-pcie-4-0-nvme-ssd-2tb-skc3000s-2048g-a2621457.html

Netzteil: (80 Plus GOLD) ~55€

be quiet! Pure Power 11 400W ATX 2.4 ab € 54,63 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für be quiet! Pure Power 11 400W ATX 2.4 ✔ Bewertungen ✔ Produktinfo ⇒ Lüfter: 120mm, 1000rpm • Lautstärke: 10.50-14.90dB(A) (laut Hersteller) • Kabelmanagement: fest • Anschlü… ✔ Netzteile ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Das Mainboard hat ein B-Chipsatz somit auch eine geringeren Stromverbrauch, RAM will ich mit 128GB ausstatten, leider kein ECC, da ich sonst auf die teuren Boards mit W680 Chipsätze nehmen müsste.
Eigentlich wollte ich 3 der NVMes als RAID-Z1 Pool aufsetzen, aber preislich komme ich da an meine Grenzen, nehme erstmal 2 davon und spiegel diese, evtl. kann ich ein dritten nachkaufen.

-Eine Frage an euch, kann ich eine weitere Netzwerkkarte mit erstmal 2x 1GB einbauen, das Board hat eine limitierte Anzahl an PCI Slots, wäre so eine Intel Karte einbaufähig?

Intel I350-T2 V2 LAN-Adapter, 2x RJ-45, PCIe 2.1 x4, bulk ab € 84,90 (2023) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Intel I350-T2 V2 LAN-Adapter, 2x RJ-45, PCIe 2.1 x4, bulk ✔ Produktinfo ⇒ Typ: LAN-Adapter • Bauform: 1x PCIe-Karte (wechselbare Blende: full height und low profile Blende im Lief… ✔ Adapter & Hubs ✔ Testberichte ✔ Günstig kaufen

geizhals.de

- Wäre ein Einbau mit maximaler Austattung der Netzwerkkarte und einer dedizierte Midsize Grafikkarte möglich?

- Das Netzteil, reicht es aus, oder würdet ihr was anderes raten?

 

[pumuckel]

"Das System soll 24/7 laufen"

..... das ist halt der Knackpunkt bei Consumer Level Hardware keiner garantiert dir das, also sei dir eventueller Ausfälle bewußt

ansonsten, warum 1TB "Boot drives" und nicht gleich 2*4TB NVME als Boot und Store (z.B. die Lexar)

Vorschlag:

Intel Core i5-13500​

ASRock Z690 Extreme (H670/770 und Z690/790 Chipsätze haben eine 8*PCIe 4 Anbindung des Chipsatz, B670/770 nur 4*PCIe 4x)​

hat 2 Nics und 8 Sata und ne ordentliche Stromversorgung mit Kühlung (+ Bios Flashback zum Upgraden)

ASRock Z690 Extreme ab € 184,06 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASRock Z690 Extreme ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: Intel 1700 • Chipsatz: Intel Z690 • CPU-Kompatibilität: Core i-14000 , Core i-1… ✔ Intel Sockel 1700 ✔ Testberichte ✔ Günstig kaufen

geizhals.de

2* Corsair Vengeance LPX schwarz DIMM Kit 64GB, DDR4-3200, CL16-20-20-38 (sollten funktionieren)

Corsair Vengeance LPX schwarz DIMM Kit 64GB, DDR4-3200, CL16-20-20-38 (CMK64GX4M2E3200C16) ab € 121,92 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Corsair Vengeance LPX schwarz DIMM Kit 64GB, DDR4-3200, CL16-20-20-38 (CMK64GX4M2E3200C16) ✔ Bewertungen ✔ Produktinfo ⇒ Typ: DDR4 DIMM 288-Pin • Übertragung: 3200MT/s (3200MHz effektiv - abgeleitet von 1600MHz I/O-Takt mit Do… ✔ Speicher ✔ Testberichte ✔ Günstig kaufen

geizhals.de

2* Lexar NM790 4TB, M.2 (RaidZ-Mirror)

Lexar NM790 4TB, M.2 2280 / M-Key / PCIe 4.0 x4 (LNM790X004T-RNNNG) ab € 229,60 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Lexar NM790 4TB, M.2 2280 / M-Key / PCIe 4.0 x4 (LNM790X004T-RNNNG) ✔ Bewertungen ✔ Produktinfo ⇒ Kapazität: 4TB (entspricht ca. 3725.29GiB bzw. 3.64TiB, weiterführende Informationen hierzu ) • Bauform: … ✔ Solid State Drives (SSD) ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Netzteil sollte alles ab 350W reichen (natürlich nur ohne dez. Grafikkarte


zum Thema "Sparsam" .... B und H/Z Chipsätze nehmen sich wenig am Verbrauch . Wenn du den Boot vom Storage/Work trennen willst nimm dir 1 kleine Sata SSDs ( oder 1 kleine nvme im CPU Anbindungsslot ) als Boot.
Imho muss man bei Trennung keinen Z-Raid auf dem Boot drive haben (führt eher zu mehr Verbrauch)
wichtiger ist das man alle Stromsparmechanismen nutzt und die HW es auch unterstützt (alle Geräte auf dem PCI(e) bus
teste das selbst mal gern

man sollte aber immer mal mit ca 30W kalkulieren und sich freuen wenns weniger wird bei produktiver HW (der Unterschied von z.B. 10 zu 30W wären ca 60€ PRO JAHR - also keine Mehrausgaben wert die die Useability einschränken) außerdem wird ein "server" nie Idle sein

 

[proxi532]

Nabend,

evtl. läuft der Hypervisor auch nicht 24/7, ähnlich hab ich mein NAS so konfiguriert, dass es ab 00:00h bis 08:00h heruntergefahren und per WakeOnLan automatisiert hochgefahren wird, dass könnte ich mir hier auch so ähnlich vorstellen.

Das vorgeschlagene Z-Board ist eher für Gamer, allein schon die RGB LEDs schrecken mich ab, habe als erstes bei Geizhals immer als Ausschlussverfahren kein WLAN, keine Beleuchtung ausgewählt, um solche Boards auszufiltern.

Mein ursprünglicher Traum wäre es so eine Adapterkarte mit 4x M.2 Slots zu haben, aber leider fehlender Bitfurcation Unterstützung (4x4x4x4) auf dem 1700 Sockel nicht möglich.

Es scheint das mein Setup hier keine negativ Bewertung hat, evtl. hat ja noch @Trambahner paar Anmerkungen

 

[Freddy Mercury]

Ich habe einen ähnlichen Proxmox-Server gebaut mit i5 13500 und dem Gigabyte B760M DS3H Board mit 4x32 GB DDR-4 und 2 TB SSD.
Ich arbeite seit >10 Jahren mit Linux. Auf meiner Workstation läuft Manjaro und die meisten VMs sind Debians.
Meine Probleme beim Installieren des Servers waren:
1. Er hat einfach nicht von USB gestartet. Ich habe die Proxmox-ISO mehrfach neu auf den Stick gezogen und alle Optionen im BIOS durchprobiert. Da gibt es so viele "Legacy" und "UEFI" Kombinationen, und nur genau eine davon hat am Ende funktioniert. Totales Ratespiel.
2. Proxmox 8 hat nach dem Bootmenu jedes mal einen Blackscreen produziert. Im Debug-Modus wurde dann klar, dass die Bildausgabe das Problem ist. Die erste Proxmox-8 Version kann schlicht kein 4k Bild ausgeben (laut zahlreichen Leidensberichten online). Oder zumindest nicht per HDMI auf diesem Board. Tja, ich habe hier zuhause zwar mehrere Monitore und Fernseher, aber nix unter 4k. Pech gehabt. Vielleicht ist das mittlerweile gefixed, keine Ahnung.
3. Proxmox 7.4 zeigte während der Installation einwandfrei ein Bild. Allerdings bringt es keinen Treiber für den LAN-Adapter genau dieses Boards mit (2.5 Gbit). Ich habe es nicht geschafft, das reinzupatchen.

Am Ende habe ich Debian installiert (ohne Probleme) und darauf Proxmox als Oberfläche. Das geht. Seither nerven mich aber zahlreiche Kleinigkeiten, z.B. kann ich über die Proxmox GUI viele Dinge nicht einstellen sondern muss per SSH in das darunter liegende Debian. Das gilt z.B. für Swap und allgemein alles, das mit Partitionen zu tun hat. Extrem nervig.

Tip: Nimm ein Board mit 1 Gbit LAN und/oder habe einen alten Monitor. Das BIOS-UEFI Ding kann gutgehen, oder auch nicht. Da hilft sonst nur alle Optionen durchtesten.

 

[pumuckel]

Das vorgeschlagene Z-Board ist eher für Gamer, allein schon die RGB LEDs schrecken mich ab, habe als erstes bei Geizhals immer als Ausschlussverfahren kein WLAN, keine Beleuchtung ausgewählt, um solche Boards auszufiltern.

du weißt aber schon das man RGB deaktivieren kann und das das Board beim Vorschlag unter 170€ kostete
es bing eher dabei um die nutzbaren I/O (8 Sata, 3 PCIe, M2) und die ordentliche Spannungsversorgung und Kühlung

---- aber ja, you do you

 

[Freddy Mercury]

Das vorgeschlagene Board hat ebenfalls 2.5G von Realtek und bei mir lief das nicht "ab Werk" mit der Proxmox-ISO. Kann sich wie gesagt seitdem geändert haben, ist aber ein Risiko.

 

[Trambahner]

Bei dem RTL8125 des B550M Tuf Gaming (oder auch RTL8110 des Deskmini) hab ich keine Probleme mit Proxmox 7, wurde alles out-of-the-box erkannt.
Nervig nur die umbenennerei des Interfacenamens, wenn man PCIe-Geräte dazunimmt oder rauszieht. (Hab einfach die bei mir meistens möglichen Interfacenamen in eine Bridge gepackt und als failover konfiguriert)

# Intel und Intelboards hab ich keine Erfahrung mit Proxmox.
# die i350-T2/T4 ist eine sehr solide Server-NIC für 1Gbit; Achtung aber, die Karte gibt es als Plagiate.
# BQ Pure Power 400 ist ne solide Wahl, auch ausreichend effizient bei niedrigen Lasten
# Die NM790 käme mir nicht in mein System (hat keinen Dram-Cache), wenn die von den VMs was zu tun bekommt (mein "großer" hat dafür derzeit 2xPM9A3 7.68 TB (Mirror), der Zwerg 2xSN850X 4TB (Mirror) sowie 3x870 Evo 4TB (Raidz1). Gerade für VMs lege ich Wert drauf, dass die SSD Dram hat, damit der SSD-Controller nicht dauern Mappingtabellen nachladen muss.

 

[pumuckel]

# Die NM790 käme mir nicht in mein System (hat keinen Dram-Cache), wenn die von den VMs was zu tun bekommt (mein "großer" hat dafür derzeit 2xPM9A3 7.68 TB (Mirror), der Zwerg 2xSN850X 4TB (Mirror) sowie 3x870 Evo 4TB (Raidz1). Gerade für VMs lege ich Wert drauf, dass die SSD Dram hat, damit der SSD-Controller nicht dauern Mappingtabellen nachladen muss.

aber bei Storage sonst Cache verteufeln bei Controllern

ne die NM790 ist schon gut und auch ohne "Cache" teils fixer als andere

Lexar NM790 4 TB Review - Tons of Fast Storage at a Great Price

The Lexar NM790 is one of the fastest SSDs we've ever tested, being able to match the Samsung 990 Pro. It is still priced very competitively, at just $210 for the 4 TB version. Not long ago that only got you 2 TB. Thanks to a highly optimized controller design, the NM790 runs very efficiently...

www.techpowerup.com

Lexar NM790 4 TB Review - Tons of Fast Storage at a Great Price

The Lexar NM790 is one of the fastest SSDs we've ever tested, being able to match the Samsung 990 Pro. It is still priced very competitively, at just $210 for the 4 TB version. Not long ago that only got you 2 TB. Thanks to a highly optimized controller design, the NM790 runs very efficiently...

www.techpowerup.com

 

[pwnbert]

... eine Frage wäre dann auch noch, ob man Intels Little-Big auf Unixoiden Systemen haben will.

Paar Gedanken, vielleicht ist davon was nützliches für dich dabei:

Ich hab was ähnliches mit AMD gebaut:
- 5750G (weil sparsam, Grafik und ECC), headless oder mit Grafikkarte ginge ein 5700X (5600X/5900X ?) auch, der 5700G kann kein ECC.
- 3200er ECC RAM 2x32gb (läuft auch auf 3600 cl22), was das Mainboard mit 4x32gb schafft kann ich nicht sagen...
- B550 Board: Asrock B550 PG Riptide (Asus B550-A Stix käme auch in Frage!) - haben beide Intel 2.5G Lan Onboard (das "Killer"=Intel vom Asrock läuft mit TrueNAS out of the Box unauffällig).

PCIe Lanes, M2 und SATA Schnittstellen sind Consumer-Typisch eher "naja" vorhanden.
- Wenn du ne Grafikkarte in den x16 Slot steckst (4090 für Tensorflow?), bleibt halt wenig über. Dann hast eigentlich nur noch x4 oder x1/x2/x1 für ne Schnittstellenkarte oder ne 10G Karte.
- 1G Karten und so Späße müsste man eher als externe USB-Devices kaufen, spart wertvollen Platz.
- Wenn du die 2. M2 verwendest verlierst 2x SATA... also kommst um ne SATA Karte im PCIe x4 fast nicht rum, wenn mehr dran soll.
- 3x 870 evo 4tb in ZFS Raid ist ein heißer Tip, der Preis ist heiß. Wenns M2 sein soll... naja du hast dann halt 1 Slot mit PCIe 4.0 und 1 mit PCIe 3.0, wenn das reicht...
- Auf Mirror-Raid würde ich verzichten. Wäre mir "at home" den Platz nicht wert, zudem das Raid-1 ja nicht vor Blödheit und Softwaremist schützt, nur vor Hardwareausfall. Ich hatte noch keinen einzigen SSD-Ausfall. Die Chance, dass ein Fehler durch Software-Mist oder eigene Blödheit entsteht ist IMHO um ein vielfaches höher, daher schützt das Raid-1 eigentlich nur vor der minimalen Chance des Hardwareausfalls. => Ich würde einfach brav (automatisiert) backuppen und gut ists.... außer Downtime wäre für dich wirklich schlimm (kann ich mir ehrlich gesagt nicht vorstellen). Die Chance, dass Mainboard/CPU/RAM/Netzteil(!) verrecken ist auch nicht geringer als die Chance, dass die SSD verreckt.
- Micron 7400 mit PLP heizt tatsächlich ziemlich auch im Idle. Ob einem das die PLP wert ist? Jetzt hab ich sie schon also... ja.

 

[gea]

Insbesondere mit ZFS bietet der Mirror noch den Vorteil dass nicht nur ein kompletter SSD Ausfall abgesichert ist sondern auch ein Datenfehler in einer Datei. Sowas wird beim Lesen automatisch repariert. ZFS schützt auch davor dass in einem Mirror gute Daten auf einer Hälfte durch schlechte Daten vom anderen Mirror überschrieben werden (wg eigenen Prüfsummen auf jedem Mirror). Insbesondere wenn SSD keine Powerloss Protection haben kann das manchmal was retten.

SSD mit Powerloss Protection sind bei VM Storage auf ZFS von Vorteil. ZFS selber bleibt zwar bei einem Absturz beim Schreiben wegen Copy on Write konsistent, nicht jedoch Gast-Dateisysteme. Die gehen gerne über den Jordan. Vermeiden kann man das mit zfs sync write. Das ist aber ziemlich sinnfrei wenn die SSD beim Absturz oder beim Reorganisieren/garbage collection Daten wegen fehlendem plp verliert.

Das Unschöne daran. Eine defekte SSD fällt sofort auf, eine halbgare VM meist erst dann wenn es zu spät ist.

 

[Trambahner]

Mirrors haben mir bei ZFS schon mehrfach die Daten gerettet. Die SSDs selber hatten da kein Problem, aber schon einzelne Kabel und Backplaneverbindungen.
ZFS hatte die SSDs da aus dem Vdev (war ein stripe aus 3 Mirrorpärchen) gekickt. Zum Glück waren es nie beide SSD aus einem Paar…daher kann ich den Ratschlag „3fach Mirror bei kritischen Daten“ schon verstehen.

Ist mir auch schon bei Raidz2 passiert mit 2 Disks in einem 6er Raidz2 vdev.

Verbindung gerichtet bzw Backplane getauscht, SSDs wurden wieder erkannt und ZFS hat sofort resilvert. Danach als wäre nix gewesen .


Bei ZFS hat Cache bei Storagecontrollern nix zu tun mit dem Cache in den Chips der SSD; letzterer ist mehr der Arbeitsspeicher des Controllers auf der SSD z.B. für Mappingtabellen, weniger als Nutzerdaten-Cache.

 

[pwnbert]

Insbesondere mit ZFS bietet der Mirror noch den Vorteil dass nicht nur ein kompletter SSD Ausfall abgesichert ist sondern auch ein Datenfehler in einer Datei. Sowas wird beim Lesen automatisch repariert. ZFS schützt auch davor dass in einem Mirror gute Daten auf einer Hälfte durch schlechte Daten vom anderen Mirror überschrieben werden (wg eigenen Prüfsummen auf jedem Mirror). Insbesondere wenn SSD keine Powerloss Protection haben kann das manchmal was retten.

Didn't know that. Danke. Geht das auch am Boot-Drive?
Also im TrueNAS oder FreeBSD bzw. GhostBSD (zuletzt verwendet) Installer, wie mach ich das dort? Da werd ich das ja nicht gefragt, und dieses Onboard-Raid Feature vom MB selbst wird ja ein normales 1er sein?

Mirrors haben mir bei ZFS schon mehrfach die Daten gerettet.

Darf ich Fragen, in welchem Umfang du mit dem Zeug zu tun hast? "mehrfach" klingt recht abenteuerlich, wenn man so seine 3 Disks daheim hat, wenn du davon in der Arbeit tausende in den Fingern hast, ist das wieder so eine Sache.

aber schon einzelne Kabel und Backplaneverbindungen.

Gibts da eigentlich ne einfache Testmethode, sowas wie Memtest fürn RAM?



Je nach Verwendungszweck und Budget, dachte ich eben, dass ein "normales" Backup eventuell ausreichen sollte.... wenn ich so eine "Risikobewertung" mach, welche "Sicherheiten" ich um welches Budget bekomme.
Gut, mein Point of View ist ein anderer, die größeren weniger wichtigen Daten brauch ich nicht tagaktuell, wenn ich da 1x pro Woche ein Backup mach, kann ich damit leben, eine 5 Tage alte Version zu bekommen.
Wisst ihr, wie ich meine?

 

[gea]

Didn't know that. Danke. Geht das auch am Boot-Drive?
Also im TrueNAS oder FreeBSD bzw. GhostBSD (zuletzt verwendet) Installer, wie mach ich das dort? Da werd ich das ja nicht gefragt, und dieses Onboard-Raid Feature vom MB selbst wird ja ein normales 1er sein?

Zu den BSD Installern kann ich nichts sagen. Könnte aber ähnlich funktionieren wie unter OmniOS. Da installiere ich auf eine Platte und mache dann nach der Installation den ZFS Mirror per zpool attach.

Das Mainboard Raid-1 kann nicht funktionieren weil man da andere Treiber bräuchte. ZFS nutzt den normalen AHCI Sata Treiber. Wenn es einen Raid Treiber gäbe, wäre es dennoch Unfug weil ZFS beide Platten direkt sehen muss um aus unabhängigen Prüfsummen auf beiden Platten Reparaturen durchführen zu können.

 

[pwnbert]

Da installiere ich auf eine Platte und mache dann nach der Installation den ZFS Mirror per zpool attach.

Klingt sinnvoll, wird wsl. so laufen.

Ja, das war mir eh klar, dass das so nicht laufen kann, drum die Frage... dass man ja immer nachträglich spiegeln/erweitern kann... eigentlich auch logisch, da sieht man, ich hab zu wenig Übung in dem Zeug.

 

[asche77]

BSD / TrueNAS ist beim Boot drive glaube ich etwas anders als OmniOS, da es m.W. erst mehrere Partitionen anlegt und dann (auf einer davon) ZFS. Ein einfaches zpool attach dürfte also nicht reichen. Musst halt mal googeln. ZB https://forums.freebsd.org/threads/how-to-create-a-zfs-mirror-after-installing-on-single-disk.58033/

 

[Trambahner]

Bei FreeBSD als auch Proxmox kann man bei den Installern als Bootmedium/Medien direkt Stripe, Mirror oder Raidz1/2 auswählen.

@pwnbert : alles nur privat bei mir. Aber die Backplane und Kabel waren halt nicht ok. so dass ich das mehrfach am gleichen System hatte. Erst hab ich nur Kontakte gereinigt, Mittlerweile aber auch Dinge getauscht, seitdem war Ruhe im Karton.

 

[deckardstp]

Hi,

ich habe seit ungefähr 5 Jahren unterschiedliche Proxmox Konfigurationen laufen. Zuletzt auch einiges mit GPU Passthrough und ähnlichem gemacht. Wäre ja unter Umständen für die KI Modelle interessant.
Als Gedankenstütze und um das erworbene Wissen etwas zu teilen, habe ich ein Repo in meinem Gitlab verfasst. Läuft übrigens auch auf dem Proxmox Server.

https://git.n3xus.one/homelab/homelab

Gruß deckardstp

 

[proxi532]

Hi @deckardstp, danke für dein GitLab Link, ich selber will mir auch ein GitLab Server dann auf dem Proxmox Server installieren, auch die Awesome SelfHosted Anwendungen inspirieren mich da mehr zu machen: https://github.com/awesome-selfhosted/awesome-selfhosted/

Kurz zurück zum Thema, habt ihr von den neuen AMD Epycs "Siena" für eher den mittleren/Edge Server Markt für die neue SP6 Plattform gehört, es gibt schon erste Angebote:

Prozessoren (CPUs) AMD mit Codename: Siena Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Prozessoren (CPUs) AMD mit Codename: Siena

geizhals.de

Wie schlägt sich konkret so ein Epyc 8 Kerner gegenüber i5-13500 mit 6C+8c Cores?

AMD Epyc 8024P ab € 421,56 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für AMD Epyc 8024P ✔ Produktinfo ⇒ Kerne: 8 (0C+8c) • Threads: 16 • Turbotakt: 3.00GHz • Basistakt: 2.40GHz… ✔ AMD ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Die neuen Epycs scheinen zumindest bei der Effizienz optimiert sein, da sie auch im Industrial Bereich eingesetzt werden, im Prinzip als Konkurrent zu Intel Xeon-D Prozessoren.
Spannend wie der Stromverbrauch der CPUs im Test abschneidet.

https://www.amd.com/en/products/processors/server/epyc/4th-generation-9004-and-8004-series.html

Für Telco-Anwendungen: AMD nennt weitere Details zur Siena-CPU - Hardwareluxx

HotChip 2023: AMD nennt weitere Details zur Siena-CPU.

www.hardwareluxx.de

AMD Epyc 8004 und der Sockel SP6 - AMD setzt noch einen drauf | igor´sLAB

AMD schließt jetzt auch offiziel die 4. Generation der EPYC-Familie mit den AMD EPYC 8004 Prozessoren ab, die speziell für Cloud-Dienste entwickelt wurden. Die neuen Prozessoren bieten…

www.igorslab.de

 

[deckardstp]

Hi @proxi532
Ich würde für mich folgende Fragen klären:
- 24/7 Betrieb ja/nein?
- Netzwerkgeschwindigkeit von belang (10Gbit?) ja/nein?
- Zugreifbarkeit ohne direkt an die Maschine zu gehen (IPMI ggf. piKVM) ja/nein?
- VMs nur Linux und/oder Windows?
- GPU Passthrough ja/nein?

Wenn Du keine Raketenwissenschaften mit dem Ding planst, würde an vielen Stellen auch ein i3 reichen.
Du kannst aber auch einen i9 mit Undervolting und TDP Limit begrenzen. Wie im Git beschrieben läuft mein
Server aktuell mit 43,5-47W im Idle. Je nach dem was grad passiert. 10W frisst davon sicher schon das IPMI
Modul. Gleiche Menge geht sicherlich für 10Gbit LAN drauf. Da ich ne PV mit Speicher habe, kratzt mich
das nicht sonderlich. Man sollte sich aber vor Augen halten, dass 10W im laufenden Betrieb ungefähr
88kW/Jahr Verbrauch bedeuten..

Wenn ich die KI Modelle und die DaVinci Vorhaben mal außen vor lasse, könntest die ganzen Anforderungen
auch auf einem Intel NUC laufen lassen. Wäre deutlich günstiger, wenn es auch nicht alles abdeckt.

Geht's Dir ums Basteln und flexibel zu sein, ist die im Eröffnungspost genannte Konfiguration sicherlich
kein schlechter Anfang. Ob es 128GB Arbeitsspeicher sein muss kannst Du dir nur selbst beantworten.

Falls Du mehr Fragen hast, werd ich versuchen sie zu beantworten.

P.S. Die Epycs kenne ich nicht persönlich. Daher kann ich dazu nichts sagen.

 

[proxi532]

- 24/7 Betrieb ja/nein?

Erstmal nicht relevant, würde es über Nacht automatisiert ausschalten lassen.

- Netzwerkgeschwindigkeit von belang (10Gbit?) ja/nein?

Aktuell noch nicht relevant, sonst müsste ich mein Switch, StorageServer auch auf 10Gbit bringen

- Zugreifbarkeit ohne direkt an die Maschine zu gehen (IPMI ggf. piKVM) ja/nein?

Nice to Have, evtl. per piKVM sollte es auch ermöglichen

- VMs nur Linux und/oder Windows?

Hauptsächlich Linux VMs, eine Windows VM für spezifische SW auch.

- GPU Passthrough ja/nein?

Gaming nicht angedacht gibt öfters Probleme in diversen Foren, nicht alle GraKas sind kompatibel etc, für erste nicht, eher evtl. im AI Machine Learning Experiment spannend.

Danke für die Infos, werde meine Einkaufszettel evtl. bald einlösen, die 128GB RAM sehe ich als Puffer an, kann großzügig dann bestimmte VMs die viel RAM fressen zuweisen.

Konkret ene Frage zum Homelab, hast du ein zentralen Authentifizierungsdienst wie Keycloak/Authelia denn man für die SelfHosted Anwendungen zum einmaligen Login (SSO) wie UptimeKuma, Grafana nutzen kann?

 

[deckardstp]

Gaming nicht angedacht gibt öfters Probleme in diversen Foren, nicht alle GraKas sind kompatibel etc, für erste nicht, eher evtl. im AI Machine Learning Experiment spannend.

Danke für die Infos, werde meine Einkaufszettel evtl. bald einlösen, die 128GB RAM sehe ich als Puffer an, kann großzügig dann bestimmte VMs die viel RAM fressen zuweisen.

Konkret ene Frage zum Homelab, hast du ein zentralen Authentifizierungsdienst wie Keycloak/Authelia denn man für die SelfHosted Anwendungen zum einmaligen Login (SSO) wie UptimeKuma, Grafana nutzen kann?

Also mit Nvidia Karten funktioniert es relativ gut. Hab selbst eine Quadro die ich beispielsweise auch für Transcoding einsetze.

Gerne, kannst ja gern mal zu dem Projekt auf dem laufenden halten. Finde das immer interessant wie andere das bauen.

Ich hab einen Nginx vorne an stehen der als RP fungiert und die SSL Terminierung übernimmt. Auth0 könntest Dir in dem Zusammenhang mal anschauen. Die bieten das was Du suchst eigentlich readymade an.
Die Integration in einen bestehenden RP oder Webserver sollte damit nicht super kompliziert sein. Du solltest Dir überlegen, ob Du es ins Internet stellen möchtest und wie es dann aufgebaut wird.
Ich selbst habe nur Standardauthentifizierung via User und Passwort.