[Sammelthread] Proxmox Stammtisch

[tobis72]

Moin zusammen.

Ich würde gerne einen Proxmox Server bauen und 2-3 VM's drauf laufen lassen.
Mein Plan ist Windows Server 2022 und evtl. eine Linux Mint (vielleicht noch der ein oder andere Container).

Ich dachte mit dem Minisforum MS-01 eine tolle Hardware gefunden zu haben, doch leider habe ich da doch viel negatives mit der Kompatibilität mit Proxmox und ständig einfrierenden VM#s gelesen.
Gerne würde ich auch einen "fertigen" kleinen Server (wie den HP Microrsever Gen11) nehmen. Leider hat der weder 2.5G noch 10G und auch nur einen M2 Steckplatz.

Hat jemand eine Idee, oder selbst gute Erfahrungen mit Hardware die er empfehlen könnte?

Mein "Wunsch" wäre.

min. 2x M2 Steckplatz
1-2 2.5 (besser 10G) Ports
potente CPU

Freu mich auf Vorschläge ;-)

 

[Weltherrscher]

Supermicro CSE-829U X10DRU-i+ LGA2011-3 (R3) DDR4 SAS-3 4X 10GbE 2U Rack Server | eBay

Motherboard X10DRU-i+. Bewährte Qualität aus dem Hause Supermicro. Erstklassiges 2U Serversystem mit bis zu 12 x 3,5" LFF Laufwerken und SAS-3 Konnektivität sowie integrierter 10 GbE Quad Port Netzwerkkarte für vielseitige Anwendungsmöglichkeiten.

www.ebay.de

Sowas?
Hab ich, dann noch ne PCIe->M.2 Adapter-Karte drauf und Feuer frei.

Ist halt nicht klein, aber mit den 10-Kernern für je nen Fuffi ziemlich potent...

 

[tobis72]

Klingt interessant und verlockend. Die Specs lesen sich total interessant aber vielleicht in der Tat ein wenig zu groß.

 

[tobis72]

Hallo zusammen, wollte mal meine Zusammenstellung vorstellen und eure Meinung dazu hören:

Thermaltake ToughPower GF1 ARGB 650W ATX 2.4 ab € 89,90 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Thermaltake ToughPower GF1 ARGB 650W ATX 2.4 ✔ Produktinfo ⇒ Lüfter: 140mm, semi-passiv, RGB beleuchtet • Lautstärke: 23.70dB(A) (laut Hersteller) • Kabelmanagement: … ✔ Netzteile ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Fractal Design Node 304, schwarz ab € 87,19 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Fractal Design Node 304, schwarz ✔ Bewertungen ✔ Produktinfo ⇒ Extern: N/A • Intern: 6x 2.5"/3.5" • Anschlüsse: 2x USB-A 3.0 (5Gb/s), 1x 3.5mm Klinke (Line-Out), 1x 3.5… ✔ PC-Gehäuse ✔ Testberichte ✔ Günstig kaufen

geizhals.de

ASUS ROG Strix B650E-I Gaming WIFI ab € 238,90 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASUS ROG Strix B650E-I Gaming WIFI ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: Mini-ITX • Sockel: AMD AM5 (LGA1718) • Chipsatz: AMD B650E • CPU-Kompatibilität: Ryzen 7000 ,… ✔ AMD Sockel AM5 ✔ Testberichte ✔ Günstig kaufen

geizhals.de

AMD Ryzen 9 7950X, 16C/32T, 4.50-5.70GHz, boxed ohne Kühler ab € 470,26 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für AMD Ryzen 9 7950X, 16C/32T, 4.50-5.70GHz, boxed ohne Kühler ✔ Bewertungen ✔ Produktinfo ⇒ Kerne: 16 (16C) • Threads: 32 • Turbotakt: 5.70GHz • Basistakt: 4.50GHz… ✔ AMD ✔ Testberichte ✔ Günstig kaufen

geizhals.de

be quiet! Dark Rock 4 ab € 67,89 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für be quiet! Dark Rock 4 ✔ Bewertungen ✔ Produktinfo ⇒ Bauart: Tower-Kühler • Abmessungen mit Lüfter: 136x159x96mm (BxHxT) • Lüfter: 1x 135x135x22mm, 1400rpm, 2… ✔ CPU-Kühler ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Kingston Server Premier DIMM 32GB, DDR5-4800, CL40-39-39, ECC, on-die ECC (KSM48E40BD8KM-32HM) ab € 165,50 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Kingston Server Premier DIMM 32GB, DDR5-4800, CL40-39-39, ECC, on-die ECC (KSM48E40BD8KM-32HM) ✔ Bewertungen ✔ Produktinfo ⇒ Typ: DDR5 DIMM 288-Pin, ECC, on-die ECC • Übertragung: 4800MT/s (4800MHz effektiv - abgeleitet von 2400MH… ✔ Speicher ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Nvme und SSD's bin ich mir noch nicht ganz sicher,

Beitrag automatisch zusammengeführt: 03.08.2024

dachte evtl. an 2x
https://geizhals.de/kingston-dc600m...e-ssd-1dwpd-960gb-sedc600m-960g-a2946999.html
im RAID1 für Proxmox und

2x
https://geizhals.de/lexar-nm790-4tb-lnm790x004t-rnnn-a2980705.html im
RAID1 für die Vm's

 

[pumuckel]

Ich würde gerne einen Proxmox Server bauen und 2-3 VM's drauf laufen lassen.
Mein Plan ist Windows Server 2022 und evtl. eine Linux Mint (vielleicht noch der ein oder andere Container).
......
Mein "Wunsch" wäre.

min. 2x M2 Steckplatz
1-2 2.5 (besser 10G) Ports
potente CPU

Gib mal Meldung was für VM´s und wozu

für 10GBe würd ich mind ein mAtx mit seperatem 4X PCIe 3/4 anraten (oder wenn du zuviel Geld hast ein ITX mit USB4/Thunderbolt 4 (hier kosten die 10GBe nics 170-230€)

eine 10/25GBe Melanox cx4 oder 10GBe Intel 710 kosten um die 80€

btw. Guck dich mal im level 1 tec forum etwas um (schwer zu navigieren, aber gut) oder im STH Forum

Level1Techs Forums

A place to discuss technology, science and design

forum.level1techs.com

ServeTheHome Forums

A place to discuss servers, storage and networking

forums.servethehome.com

 

[tobis72]

für 10GBe würd ich mind ein mAtx mit seperatem 4X PCIe 3/4 anraten (oder wenn du zuviel Geld hast ein ITX mit USB4/Thunderbolt 4 (hier kosten die 10GBe nics 170-230€)

also 10G ist kein muss, eher ein nice to have.

Also eine VM soll Windows 2022 Essentials werden primär nur als Fileserver für max 5-10 Clients (und um mich ein wenig mit dem Thema Windows Server zu beschäftigen)
2. Evtl. Win11 (ist noch nicht sicher)
3. Linux Mint

evtl. noch ein paar Container (Vaultwarden,

Das ASUS ROG Strix B650E-I hat den zweiten M2 Steckplatz auf der Rückseite. Habt ihr da Erfahrungen? Ist das eher suboptimal (Wärementwicklung; etc)?

 

[Weltherrscher]

Das Gehäuse habe ich auch als Backup-NAS, schnuckelig, aber eng, wenn du alle 6 Platten verbaut hast...
Angesichts des Preises von MoBo und CPU, was spricht gegen das hier?

Supermicro M11SDV-8C+-LN4F retail ab € 889,90 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Supermicro M11SDV-8C+-LN4F retail ✔ Produktinfo ⇒ Formfaktor: Mini-ITX • CPU: AMD Epyc Embedded 3251, 8C/16T, 2.50-3.10GHz, 16MB+4MB Cache, 55W TDP, Codena… ✔ Mainboards mit CPU ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Ich hab das kleine (3151, 4C8T) damals als ESXi betrieben und war bei 10+ VMs mit der Leistung völlig zufrieden.
Zudem frisst das Board RDIMMs, hast also ECC am Start.
Momentan dümpelt es als OPNsense im Serverschrank vor sich hin... =)
Getauscht habe ichs, weil ich NAS und ESXi zusammen gelegt und virtualisiert hatte...

//Edith:
Afaik kann AM5 ECC standardmäßig nur auf den DDR5-Modulen onchip, da ist der Speicherbus nicht mit drin.
Außerdem kommt die I225 auf dem Asus-Board nicht gut an, ständig disconnects etc...

 

[Trambahner]

Afaik kann AM5 ECC standardmäßig nur auf den DDR5-Modulen onchip, da ist der Speicherbus nicht mit drin.

Das ist so nicht richtig . AM5 kann richtiges ECC genauso wie AM4: in Abhängigkeit von CPU (die Non APU können es und die Pro-APU) und Mainboard (Asus , Supemicro, Asrock Rack) Unterstützen es in der Regel.

 

[LonerLost]

Thema: TrueNas und Proxmox:

Guten Tag,
ich habe auf meinem Server Proxmox installiert und will Truenas als VM laufen lassen. Dazu verwende ich meine zwei Ironwolf in Proxmox als ZFS Mirror. Diese Festplatten werden dann zur TrueNas VM durchgereicht. Soweit so gut. TrueNas bestätigt erstmal, dass Pool und Festplatten "gesund" sind.
Aber nach kurzer Zeit zeigt TrueNas meinen ZFS Pool als ungesund, und die Checksum Errors steigen.
In Proxmox wird der Pool aber noch als gesund.

Eine lange Analysis mittels SMART ergab keine Festplattenprobleme. TrueNas stimmt dem zu, dass die Festplatten in Ordnung sind, der ZFS Pool aber nicht. Die Festplatten sind noch leer.
Könnt ihr mir an der Fehlersuche helfen?
Ich bestelle mir neue SATA Kabel, da diese möglicherweise eine Fehlerquelle sind. Habt ihr andere Vorschläge?

Mein System:
CPU:AMD 5 PRO 5650G
CPU-Kühler: Thermalright Peerless Assassin 120 (wenns Gehäuse erlaubt).
Mainboard: Gigabyte B550I Aorus Pro 1.3
PSU: be quiet! Pure Power 12 M 550W ATX 3.0
RAM: Kingston Server Premier DIMM 32GB (1x 32 GB, DDR4 + ECC)
Gehäuse: Fractal Node 304

M2-SSD: WD RED SN700 1TB SSD (Boot)
HDD: 2x Seagate Ironwolf 12TB (Data)

 

[KurantRubys]

Ich hab mir das auch anfangs überlegt, das Truenas Forum sagt da ganz klar wenn du den Controller nicht vollständig durchreichen kannst, lass es. Damit hab ich dann auch die Finger davon gelassen, wegen genau solcher Themen

 

[LonerLost]

Ich hab mir das auch anfangs überlegt, das Truenas Forum sagt da ganz klar wenn du den Controller nicht vollständig durchreichen kannst, lass es. Damit hab ich dann auch die Finger davon gelassen, wegen genau solcher Themen

Danke fuer die Information. Ich verwende keinen PCIe Controller. Die HDD sind direct per an das Mainboard angeschlossen. Gilt es dann trotzdem?

Was ist dein Vorschlag? Den ZFS Pool direkt in TrueNas zu erzeugen oder TrueNas als Haupt-OS zu verwenden ohne Proxmox?

EDIT: Habe mich etwas mehr im TrueNas Forum nachgeforscht und TrueNas und Proxmox ist ein NoGo. Ich such dann nach einer anderen Alternative. Die Spielwiese ist ja gross .

 

[KurantRubys]

Gilt es dann trotzdem?

Das ist ja lt TrueNas Forum exakt die Konstellation die du nicht haben möchtest. Proxmox wirst du ja vermutlich nicht ohne Grund als Unterbau haben?

 

[gea]

Für Passthrough ist der Sata Controller auch nur ein pci-e Device.
Durchreichen kann man den aber nur wenn man nicht davon booten möchte sondern z.B. von M.2

Eine Debian Storage VM/Truenas für ZFS unter Debian (Proxmox) daß das gleiche ZFS auch hat, ist aber nicht sehr resourceneffizient.
Storage-VM als Muss stammt aus der Zeit als man ESXi nutzte und das Storagemäßig nichts konnte.

 

[HardwareFreaky]

@LonerLost

Ich nutze unraid dafür, evtl. Auch interessant für dich. Proxmox nutze ich für die wichtigen Sachen die eigentlich 24/7 laufen müssen. Z.b. Homeassistent, Raspberrymatic, Pihole und Wiredguard. Die laufen auf ein kleines j4150 system. Mein unraid system läuft dann mit 4 HDDs im ZFS und auch so Sachen wie tvheadend, Plex usw. Alles so Sache die nicht schlimm sind wenn es Mal ausfällt.

Aber ich kann auch nachvollziehen wenn man nicht 2 Systeme möchte.

 

[Weltherrscher]

@LonerLost:
Hast du ECC im UEFI auch aktiviert?
Hört sich für mich nach Speicherfehlern an, wenn PX meint, der Pool ist ok, aber TN meckert.
Wie genau hast du das aufgezogen?
In PX einen Mirror erstellt und zwei virtuelle Platten als Mirror IN TrueNas erstellt?
Also doppelt ZFS?
Das kann eigentlich nur in die Hose gehen.

In PX kannst du einzelne Festplatten auch direkt durchreichen ohne den SATA-Controller durchzureichen.
Als erstes würde ich jedoch versuchen, den kompletten SATA-Controller an die TrueNAS VM durchzureichen.
Dazu müssen im UEFI jedoch einige Optionen aktiviert werden, die mit Hardware-Virtualization zu tun haben.
Hauptsächlich die ganze VT-Beschleunigung und möglichst die IOMMU aktivieren.
Nochmal: irgendwo kannst/musst du ECC von auto auf enabled stellen.

 

[pwnbert]

Ich hätte eine spezielle Frage...

... angenommen ich mach ein Proxmox System, wo unterschiedliche VMs drauf laufen, eines davon als Backupserver mit ein paar HDDs, welcher nur 0,5-1x pro Woche hochfahren muss...
Ist es möglich die Platten so durchzureichen, dass sie "tot" sind, wenn die damit verknüpfte VM nicht läuft? Ich brauch jetzt nicht unbedingt die 5W idle-spindown-Verbrauch pro Platte 24/7...

 

[n3cron]

Ich hätte eine spezielle Frage...

... angenommen ich mach ein Proxmox System, wo unterschiedliche VMs drauf laufen, eines davon als Backupserver mit ein paar HDDs, welcher nur 0,5-1x pro Woche hochfahren muss...
Ist es möglich die Platten so durchzureichen, dass sie "tot" sind, wenn die damit verknüpfte VM nicht läuft? Ich brauch jetzt nicht unbedingt die 5W idle-spindown-Verbrauch pro Platte 24/7...

Du kannst ja die Datenträger 1:1 an die VM durchreichen die sie verwalten soll. Ist die VM down = Datenträger down? Verstehe nicht was du meinst?
Je nach BackupTool, kannst du das einrichten wenn die VM hochfährt (Start Backup on Bootup), wenn Backup Finished "Shutdown" system. In Proxmox könntest du sagen das die VM immer zur Zeit/Tag X gestartet werden soll.

 

[pwnbert]

Du kannst ja die Datenträger 1:1 an die VM durchreichen die sie verwalten soll. Ist die VM down = Datenträger down? Verstehe nicht was du meinst?

Ja doch, so mein ich das. Aber ich weiss nicht, inwiefern der Datenträger dann echt "down" ist, oder ob sich der Proxmox Host beim Datenträger "meldet" stattdessen... weisst wie ich mein?
Ich kenn mich mit dem Thema (noch) zu wenig aus, um zu wissen, wie das genau funktioniert.

Je nach BackupTool, kannst du das einrichten wenn die VM hochfährt (Start Backup on Bootup), wenn Backup Finished "Shutdown" system. In Proxmox könntest du sagen das die VM immer zur Zeit/Tag X gestartet werden soll.

Das ist gar nicht so das Problem. Ggf. lässt sich das auch per Hand machen, das hab ich mir noch nicht überlegt. Wenn ich das nur 1x im Monat mach, ist das schon ausreichend. Es handelt sich hier eigentlich ums Backup vom Backup (sich wenig verändernder Daten), ich möchte dort meine alten 8/10tb Platten verwursten, die zu Schade zum vergammeln sind.

 

[n3cron]

verstehe, wenn es dir um Spinndown oder ähnliches geht wird das damit erfüllt. Eine ganz geringe Standby Ladung wirst wohl immer haben.
Ich hab es leider nur bei einer SSD mal getestet. Beim durchgereichten USB Port war es so das dieser dann gar nicht mehr reagiert hat ohne die VM. Der war schon quasi "Tod".

 

[MisterY]

Ich habe zwei HP600 G3 mini in einem 2-Node Cluster und Q-device.

Einer von den Nodes stürzt unregelmäßig ab bzw. fährt einfach nur runter. Wie kann ich die Ursache herausfinden?

 

[Supaman]

Ich habe zwei HP600 G3 mini in einem 2-Node Cluster und Q-device.

Einer von den Nodes stürzt unregelmäßig ab bzw. fährt einfach nur runter. Wie kann ich die Ursache herausfinden?

1) System log lesen
2) chkdsk / smart prüfen
3) Stress Tests, also erstmal Memory, dann CPU und schauen ob sich das durch Last provozieren lässt

 

[pwnbert]

... wenn ich TrueNAS von bare auf Proxmox umsiedel, was mach ich mit dem Boot-Drive?
Auch durchreichen? Reicht eine Partition?

 

[Shihatsu]

Moin, letzter Versuch: Vielleicht kann einer von den LEsern hier mir helfen:

proxmox, vm, jellyfin, nvenc, nvidia pci-passthrough - ich bin zu blöd...

Moin, ich weiß hier wirklich gerade nicht mehr weiter. Ich betreibe einen proxmox server, auf dem laufen diverse Dienste, unter anderem eben auch eine debian VM mit jellyfin. Diese bekomme ich zur Zeit nicht geupdatet, und da die Installation uralt ist dachte ich: Machste neu! Klappt nur...

www.hardwareluxx.de

HAAAAAALP

 

[hs_warez]

Thema: TrueNas und Proxmox:

Guten Tag,
ich habe auf meinem Server Proxmox installiert und will Truenas als VM laufen lassen. Dazu verwende ich meine zwei Ironwolf in Proxmox als ZFS Mirror. Diese Festplatten werden dann zur TrueNas VM durchgereicht. Soweit so gut. TrueNas bestätigt erstmal, dass Pool und Festplatten "gesund" sind.
Aber nach kurzer Zeit zeigt TrueNas meinen ZFS Pool als ungesund, und die Checksum Errors steigen.
In Proxmox wird der Pool aber noch als gesund.

Eine lange Analysis mittels SMART ergab keine Festplattenprobleme. TrueNas stimmt dem zu, dass die Festplatten in Ordnung sind, der ZFS Pool aber nicht. Die Festplatten sind noch leer.
Könnt ihr mir an der Fehlersuche helfen?
Ich bestelle mir neue SATA Kabel, da diese möglicherweise eine Fehlerquelle sind. Habt ihr andere Vorschläge?

Mein System:
CPU:AMD 5 PRO 5650G
CPU-Kühler: Thermalright Peerless Assassin 120 (wenns Gehäuse erlaubt).
Mainboard: Gigabyte B550I Aorus Pro 1.3
PSU: be quiet! Pure Power 12 M 550W ATX 3.0
RAM: Kingston Server Premier DIMM 32GB (1x 32 GB, DDR4 + ECC)
Gehäuse: Fractal Node 304

M2-SSD: WD RED SN700 1TB SSD (Boot)
HDD: 2x Seagate Ironwolf 12TB (Data)

Na ja, für so einen Fall wird ja ein "HBA-Controller (it mode)" empfohlen; diesen reicht man 1:1 an TrueNAS durch und dort werden auch die nötigen Datenträger angesteckt.

 

[eehm]

Na ja, für so einen Fall wird ja ein "HBA-Controller (it mode)" empfohlen; diesen reicht man 1:1 an TrueNAS durch und dort werden auch die nötigen Datenträger angesteckt.

Das ist sicher die schönste Lösung und habe ich bei meinem noch ESXi und TrunesVM seit Jahren auch so.

Vielleicht könntest du auch die SATA Ports auf dem Board direkt per Passthrough an die TrueNAS VM durchreichen, wenn du sie nicht anderweitig brauchst.
Sollte eigentlich genauso gut sein wie ein HBA mit IT-Mode.
Bitte verbessern, wenn das nicht richtig sein sollte!

 

[Spliffsta]

Darf ich fragen warum man den gesamten Controller durchreichen sollte?

 

[KurantRubys]

Weil du sonst mit Truenas (und vermutlich auch anderen Plattformen) nur Probleme generierst, das Truenas Forum ist voll davon. Hab das deswegen auch verworfen

 

[Spliffsta]

Ok bisher bei mir problemlos. Hoffe es bleibt auch so. War nämlich ganz schön viel Kampf bis alles so lief wie ich es wollte (tns - > plugins (nextcloud, memories, collabotroy,...)

 

[KurantRubys]

Das ist….ein interessanter Weg das einzurichten wenn du noch n Hypervisor darunter hast.

 

[eehm]

In meinem aktuellen Server, welcher am Ende mein neuer ZFS-Backup Server wird habe ich als HBA (Passtrough) einen IBM Lenovo M1215 verbaut.
Damals auch hauptsächlich, weil er gut für den ESXi geeignet war.
Ist das Modell auch für Proxmox (Passthrogh) gut geeignet, dann würde ich einen zweiten erwerben oder sind hier andere Modelle mehr zu empfehlen?