Aufrüstung Proxmox Server

[gnot]

Mein aktuelles Setup sieht folgendermaßen aus:

Der Proxmox Host und zwei Container mit größeren Datenmengen (Fileserver mit ca. 400GB, Nextcloud mit ca. 270GB) liegen auf einer WD Red Plus 4TB SATA.

16 weitere Container mit deutlich geringeren Datenmengen (z.B. DHCP, DNS, VPN, Proxy, DokuWiki, FreeIPA, Keycloak, Datenbank, Mail (Postfix und Dovecot)) liegen auf zwei gespiegelten Samsung SATA SSD PM893 mit jeweils 480GB.

Zwei weitere WD Red Plus 4TB dienen als interne bzw. externe Backup-Platten. Backup über Poxmox Backup Server jede Nacht.

Prozessor (Intell Core I3-4130T) und Board (Intel Media DH87RL) sind schon etwas in die Jahre gekommen, haben aber ausgereicht.

Ich würde jetzt gerne die Daten von Fileserver und Nextcloud auch auf einen Mirror legen, weil mir die Sicherheit und Verfügbarkeit dieser Daten wichtig ist.
2TB je Platte würden vollkommen ausreichen, wäre eher zu viel.

Was würdet ihr dafür vorschlagen?
HDD oder SSD?
Wenn SSD, SATA oder PCIe?

Wenn PCIe, müsste ich wohl auch Board, Prozessor, RAM (dann ECC), Lüfter aufrüsten. Also im Prinzip ein neuer Aufbau.
Bauch sagt: Toll wieder was zu basteln! Kopf sagt: Ist das wirklich sinnvoll?

Wenn alles neu dann evtl.

• Supermicro X13SAE-F mit i5-12500
• Supermicro X11SCL-F mit i3-9100

Wie liegen diese Board/CPU Kombinationen im Stromverbrauch im Vergleich untereinander und zu meinem aktuellenSystem?
Ist halt auch ne Frage Kosten/Nutzen.

Was meint ihr?

 

[Supaman]

Was würdet ihr dafür vorschlagen? HDD oder SSD?

Bei grade mal 2TB auf jeden Fall SSD - lautlos, sparsamer, unempfindlicher gegen Stöße, und vor allem deutlich geringeres Ausfall Risiko.

Wenn SSD, SATA oder PCIe?

Hat beides vor- und nachteile: SATA kann man "mal eben" woanders anklemmen, z.B. per USB Adapter.
m2 SSD muss geht auch per USB.
u2 SSD kann man prima per PCIe Adapterkarte dazu stecken und hat bessere Kühlung weil größeres gehäuse.

Wenn PCIe, müsste ich wohl auch Board, Prozessor, RAM (dann ECC), Lüfter aufrüsten. Also im Prinzip ein neuer Aufbau.
Bauch sagt: Toll wieder was zu basteln! Kopf sagt: Ist das wirklich sinnvoll?

Der größete Nachteil vom aktullen Board ist: kein ECC und kein IPMI. Dazu die Alterung, je älter desto größer das Risiko eines defektes.

Wenn alles neu dann evtl.

• Supermicro X13SAE-F mit i5-12500
• Supermicro X11SCL-F mit i3-9100

Wie liegen diese Board/CPU Kombinationen im Stromverbrauch im Vergleich untereinander und zu meinem aktuellenSystem?
Ist halt auch ne Frage Kosten/Nutzen.

Gute Auswahl, nehm das x13 und dann ist erstmal wieder für viele Jahre Ruhe. Die neuen CPUs und Chipsätze sind deutlich sparsamer, aber die Einsparung kriegst Du trotzdem nicht rein.

 

[gnot]

IPMI brauche ich eigentlich nicht. Server ist im 19" Rack im Keller. Da steht auch ein Monitor, Tastatur, Maus

M2 PCIe wäre aber deutlich schneller als SATA, oder?
Das X13SAE-F hat ja sogar 3x M.2/M-Key (PCIe 4.0 x4, 2280)

Welches DDR5 ECC RAM könnte ich nehmen? Bei geizhals sind viele mit "ECC, on-die ECC" gelistet.
Z.B. https://geizhals.de/kingston-server-premier-dimm-32gb-ksm48e40bd8km-32hm-a2828483.html
Ist das dann 'echtes' oder on-die?
Muss ich bei 'dual' eigentlich immer zwei DIMMs reinstecken oder läuft das auch mit einem. Ich würde dann 1 x 32GB oder 2 x 16GB nehmen. Sollte locker reichen. Habe aktuell 24GB.

Als Filesystem käme auf den SSD Mirror XFS.
Welche SSD würdet ihr empfehlen? Mit PLP oder ohne?

Noch Stimmen für das günstigere X13SAE-F System?

 

[Supaman]

IPMI brauche ich eigentlich nicht. Server ist im 19" Rack im Keller. Da steht auch ein Monitor, Tastatur, Maus

Ist halt bequem und man kann den Server auch von extern mal neustarten etc.

m2 PCIe wäre aber deutlich schneller als SATA, oder?
Das X13SAE-F hat ja sogar 3x M.2/M-Key (PCIe 4.0 x4, 2280)

Einfach Geschichte: SATA-3 hat theoretisches limit von 600 mb/sec, real erreicht man so um die 500 mb/sec als maximum.
SSD über PCIe: was der Bus und die SSD so hergibt, die schnellsten bezahlbaren m2 liegen bei 6.000 bis 7000 mb/sec, Tendenz steigend.
Wenn Du allerdings nur Files übers Netzwerk ziehest, hast Du davon nichts. Das macht sich eher bei Datenbanken bemerkbar,
oder wenn andere Last/IO intensive Sachen zwischen VMs auf dem Host ablaufen. Oder bei Internen Backups.
Oder wenn man VMs zwischen 2 Proxmox Knoten Migriert, sofern diese mit mindestens 10GBe angeschlossen sind.

Als Filesystem käme auf den SSD Mirror XFS.
Welche SSD würdet ihr empfehlen? Mit PLP oder ohne?

Ich würde für Server mit PLP nehmen, z.B. Samsung Datacenter PM9A3, Micron 7400 pro, Kingston Datacenter.

 

[pwnbert]

Ich würde für Server mit PLP nehmen, z.B. Samsung Datacenter PM9A3, Micron 7400 pro, Kingston Datacenter.

Ich kann dazu nur beitragen, dass die Micron 7400 pro red intensive auch im idle ganz schön ordentlich Leistung zieht (wird halt warm, so viel wirds schon nicht sein, paar W halt...) im vgl. zu den consumer Dingern.

Hab vom TrueNAS das "Apps" Volume drauf, bin da aber selbst noch in der Einarbeitungsphase.

 

[gnot]

Das macht sich eher bei Datenbanken bemerkbar,
oder wenn andere Last/IO intensive Sachen zwischen VMs auf dem Host ablaufen. Oder bei Internen Backups.

Interne Backups ist ein guter Punkt. Ich mache das Backup der Container mit dem Proxmox Backup Server.
Dabei werden die kompletten Daten gelesen, in kleine Stücke (Chunks) zerhackt und mit einem Hash versehen.
Über die Hashes werden die Chunks mit vorherigen Backups verglichen. Es wird quasi immer ein Vollbackup gemacht.

Das Backup der ca. 670 GB von Fileserver und Nextcloud dauert 4,5 Stunden, wobei nur sehr wenig Daten von Platte A auf Platte B (beide intern) übertragen werden, da es kaum Änderungen zum vorherigen Backup gibt. Die IO-Verzögerung geht bis auf 55% hoch.

Beitrag automatisch zusammengeführt: 27.10.2023

Samsung Datacenter PM9A3

Die PM9A3 ist doch ne 22110 also 110mm. Passt die denn in das X13SAE-F? Das hat doch 2280 und der Slot wäre damit doch zu kurz, oder?

PLP mit 2280 und 2GB scheint es nicht zu geben.
Ich kann aber auch ohne PLP leben. Ist ne USV im Rack.

 

[Supaman]

Interne Backups ist ein guter Punkt. Ich mache das Backup der Container mit dem Proxmox Backup Server.
Dabei werden die kompletten Daten gelesen, in kleine Stücke (Chunks) zerhackt und mit einem Hash versehen.
Über die Hashes werden die Chunks mit vorherigen Backups verglichen. Es wird quasi immer ein Vollbackup gemacht.

Nope. Es wird beim ersten, initialen Durchlauf ein Vollbackup gemacht, danach werden nur noch die geänderten Chunks gesichert/übertragen. Ich habe selber einen 3 Knoten Cluster mit mehreren PBS am laufen, die erste Vollsicherung dauerte ca 1 Stunde, was sich über den Tag so ändert läuft immer so in ca 7 minuten durch, wobei der limitierende Faktor die SATA-3 SSD des Backup Servers ist.

Das Backup der ca. 670 GB von Fileserver und Nextcloud dauert 4,5 Stunden, wobei nur sehr wenig Daten von Platte A auf Platte B (beide intern) übertragen werden, da es kaum Änderungen zum vorherigen Backup gibt. Die IO-Verzögerung geht bis auf 55% hoch.

Da würde sich mit SSDs ordentlich was tun.

Beitrag automatisch zusammengeführt: 27.10.2023

Die PM9A3 ist doch ne 22110 also 110mm. Passt die denn in das X13SAE-F? Das hat doch 2280 und der Slot wäre damit doch zu kurz, oder?

PLP mit 2280 und 2GB scheint es nicht zu geben.
Ich kann aber auch ohne PLP leben. Ist ne USV im Rack.

Die Pm9A3 gibt es auch als u2 Version und hat dann 2,5" Format. Sollte aber auch nur ein Beispiel Modell sein.

 

[gnot]

Nope. Es wird beim ersten, initialen Durchlauf ein Vollbackup gemacht, danach werden nur noch die geänderten Chunks gesichert/übertragen.

Ja, Du hast natürlich recht.

Über die Hashes werden die Chunks mit vorherigen Backups verglichen.

hier fehlt "...und nur das Delta übertragen"

Jedes Backup kann für sich aber als Vollbackup angesehen werden. Es teilt sich zwar seine Daten mit den anderen Backups, kann aber einzeln restored werden.
Aber egal, darum geht es ja hier nicht.

So, jetzt zurück zum eigentlichen Thema.

 

[gnot]

Folgendes habe ich mal für einen evtl. Neuaufbau zusammengestellt:

Board: Supermicro X13SAE-F https://geizhals.de/supermicro-x13sae-f-retail-mbd-x13sae-f-o-a2740716.html
CPU mit ECC Unterstützung: i5-12500 https://geizhals.de/intel-core-i5-12500-cm8071504647605-a2660243.html
ECC RAM: Kingston Server Premier DIMM 32GB, DDR5-4800 https://geizhals.de/kingston-server-premier-dimm-32gb-ksm48e40bd8km-32hm-a2828483.html Kompatibilitätsliste https://www.kingston.com/en/memory/search/model/104618/supermicro-x13sae-f-motherboard
M.2 SSD: 2 x Samsung SSD 980 PRO 2TB (für Daten von Fileserver und Nextcloud, mit XFS im Mirror)
Gehäuse: ist bereits vorhanden: Chenbro RM42200 , 4 HE
Netzteil: ?
Lüfter?

Alternativen für CPU, RAM und SSD?

Vorschläge für Netzteil und Lüfter?

 

[wddn]

Nimm den 13500(T)… 14c/20t vs 6c/12T beim 12500

 

[gnot]

Nimm den 13500(T)… 14c/20t vs 6c/12T beim 12500

Lohnt sich der Aufpreis für meinen Anwendungsfall? Ist ja eigentlich hauptsächlich ein Fileserver (siehe Eingangspost)

Was ist eigentlich der Unterschied zwischen T und nicht-T Prozessoren? Wann nimmt man was?
Edit: T Macht wohl für mich keinen Sinn, da großes Gehäuse ==> gute Kühlung möglich

 

[wddn]

T begrenzt einfach TDP = geringere Verbrauch bei Voll-Last… völlig witzlos

 

[gnot]

Als CPU Kühler habe ich jetzt den Noctua NH-C14S ausgewählt. https://geizhals.de/noctua-nh-c14s-a1271077.html?hloc=de
Laut Noctua Kompatibilitätsliste passt der zum X13SAE-F https://ncc.noctua.at/motherboards/model/Supermicro-X13SAE-F-5605

 

[Trambahner]

Ich würde keinen Top-Blower verbauen, der fast bis an den Deckel oben reicht reicht => Schlecht für die Lautstärke, da die Luftzufuhr eher suboptimal dann ist.
Bei einem 19" Case mit Airflow von vorne nach hinten bietet sich eher ein Towerkühler an.

4HE ist da leider etwas undankbar, weil es oft knapp nur für nen ordentlichen 120er Towerkühler reicht...

 

[gnot]

Als Alternative hatte ich schon den Noctua NH-D12L herausgesucht https://geizhals.de/noctua-nh-d12l-a2709867.html
Der müsste von der Höhe auch passen

 

[Trambahner]

Wenn der D12 da reinpasst: go for it. Ein Peerless Assasin 120 wäre zwar deutlich günstiger, wird aber wohl nicht passen.

 

[gnot]

Wenn der D12 da reinpasst: go for it. Ein Peerless Assasin 120 wäre zwar deutlich günstiger, wird aber wohl nicht passen.

Ne, hab eben nochmal gemessen. Max Höhe ca.12,5

Edit: Der NH-U9S würde passen https://geizhals.de/noctua-nh-u9s-a1196609.html

Beitrag automatisch zusammengeführt: 29.10.2023

Noch eine Frage zum RAM.
Müssen da auf jeden Fall zwei Riegel rein oder funktioniert das auch mit einem.
Grund der Frage: Im aktuellen Setup habe ich 24 GB. Mir würden wahrscheinlich 32 GB ausreichen. Also entweder 1 x 32 oder 2 x 16, wenn es zwei sein müssen

 

[wddn]

4U hier - Noctua 9 Serie passt perfekt

Single Channel geht, aber ich würde bei aktuellen Preisen gleich auf 2x 32GB gehen

 

[gnot]

Vielen Dank für die hilfreichen Vorschläge!

Folgende Hardware habe ich jetzt bestellt:

Board: Supermicro X13SAE-F
CPU mit ECC Unterstützung: i5-13500
ECC RAM: 2 x Kingston Server Premier DIMM 32GB, DDR5-4800
M.2 SSD: 2 x Samsung SSD 980 PRO 2TB und 2 x be quiet! MC1 M.2 SSD Kühler
Lüfter: Noctua NH-U9S

Wäre super, wenn mir jetzt noch jemand ein Netzteil empfehlen könnte.
Zusätzlich zu den o.g. Komponenten werden noch 2 WD Red Plus 4TB ins System kommen.

 

[wddn]

Wäre super, wenn mir jetzt noch jemand ein Netzteil empfehlen könnte.

Corsair RM550X (2021) ist das beste fuer low Power Systeme, aber nur schwer zu bekommen - am einfachsten gebraucht.
Modelnr: RPS0121

P.S. Schoener Build - bitte den idle Stromverbrauch mal posten

 

[Trambahner]

Meine Pure Power + Straight Power 400W sind durchaus vergleichbar, da war kein großer Unterschied zum RM550X festzustellen. Unter 20W war das RM550X leicht besser, bei Last die BQs.

Will sagen, ein aktuelles 400W Pure Power ist da auch gut nutzbar, @gnot . Ist ja auch keine fordernde Graka drin.

 

[gnot]

Echt 550 Watt? Selbst 400 W finde ich noch viel für das System.
Ich hätte 300 W - 350 W genommen. Habe aber auch nicht wirklich Ahnung davon ;-)

 

[wddn]

Nicht alleine die Max Wattzahl ist relevant, sondern die Effizienz in verschiedenen Lastbereichen… Hier sind die Corsair RM550x bis 1000x (2021 Jahrgang) weit vorne im Bereich bis 50W - das 550W Modell ist einfach das kleinste…

Mein Homeserver hat einen Max Verbrauch von ca 150W: Effizientes 200W ATX Netzteil würde mir locker reichen…

 

[pwnbert]

Netzteil:

Welche Netzteile (400-500 Watt) sind im idle besonders effizient?

So hab das TFX 300 schon da :) Vielleicht mal am Wochenende anschmeißen. Werde berichten. Ich warte schon sehnsüchtig (noch könnte ich es zurückschicken)

www.hardwareluxx.de

Die Posts von RobotR sind besonders wertvoll in diesem Thread.
=> So viel Unterschied ist bei den "besseren" Netzteilen nicht.

Von so 15W Idle Vorstellungen wirst dich eh verabschieden können, been there, done that, mit bissl Zeug im Rechner landest dann bald bei realistischen ~50W irgendwo.

Was beim Netzteil vielleicht noch interessant ist, sind die verfügbaren Kabelarten fürs Kabelmanagement. Stärkere Netzteile haben mehr Kabelanschlüsse, also wenn man in Versuchung kommt ein Zraid mit vielen Platten zu machen, vielleicht ein Thema.

Unter ~500W gibts ja kaum brauchbare Produkte, die sind dann weder sparsamer (siehe gelinkter Thread) noch billiger. Lies den Thread durch und such dir halt was aus, schau beim Hersteller ob dir die Kabellängen die mitkommen gefallen und gut.

 

[pumuckel]

Strom kostet derzeit für den Normalnutzer ca 30 Cent /KWH

= 10 Watt mehr oder weniger machen pro Jahr (BEI 7/24/365) einen Unterschied von
365*24*0,010 KHW aus

= 87 KWH = 26 € wenn das system dauerhaft 24/7/365 läuft

wenn man also 100€ mehr bezahlt für 10W weniger würde sich das erst nach 4 jahren bemerkbar machen


wenn man z.b. für ein altes System 30-50W/H braucht und 700€ für ein neues ausgibt um auf 10-20W zu kommen

Neues System: 20W/h
Altes System 50W/H

unterschied 30W/h = 365*24*0,0 = 262KW/h = 79€

um die 700€ allein durch den Verbrauch zu erwirtschaften bräuchte es 9+ jahre

dazu kommt der CO2 Abdruck neu gebauter Teile (der teils um 600% höher liegt als bei reuse


ein Solarsystem das selbst im Winter 50W/h (durchschnitt) am Tag locker erreicht kostet atm 368€ und ist in vielen Kommunen kostenfrei


UND HIER MAL ETWS ÜBER DAS MAN NACHDENKEN SOLLTE:
Der Industiestrom ist derzeit bei 7 cent/kwh und dennoch fordern diese subventionen auf 4/5 cent !

 

[gnot]

Hardware ist angekommen und zusammengebaut.
Der aktuelle Stand ist jetzt:

Board: Supermicro X13SAE-F
CPU mit ECC Unterstützung: i5-13500
CPU-Kühler: Noctua NH-U9S
ECC RAM: 2 x Kingston Server Premier DIMM 32GB, DDR5-4800
M.2 SSD: 2 x Samsung SSD 980 PRO 2TB und 2 x be quiet! MC1 M.2 SSD Kühler
M.2 SSD: 1 x Samsung SSD 980 PRO 1TB und be quiet! MC1 M.2 SSD Kühler
Lüfter Front: Noctua NF-A12
Lüfter hinten: Noctua NF-A8
Netzteil: bequiet! Pure Power 11 400

Installiert ist bisher nur Proxmox VE 8 auf der 1TB NVMe. Noch keine Container oder VMs
Keine Änderungen im BIOS

Leistung: 24 - 27 W idle (ist ja noch nichts installiert, was Leistung benötigen würde)

Probleme bisher:
1. DVI Ausgang liefert kein Signal. VGA funktioniert.
2. Kann BMC über den Browser vom Laptop aus aufrufen und mich anmelden. Sehe dann die Oberfläche, kann aber nichts anklicken. Es scheint, dass noch etwas geladen werden soll. (Drehender Kreis, hüpfende Punkte) siehe Screenshot

 

[AliManali]

Ich würde den BMC mal mit IPMIcfg zurück setzen:

IPMI Konfiguration für Supermicro Server mittels ipmicfg – Thomas-Krenn-Wiki

Dieser Artikel beschreibt das Tool ipmicfg zur Konfiguration von IPMI-Modulen für Supermicro Systeme. Alternativ kann - sofern der Server unter Linux betrieben wird - auch ipmitool (siehe Artikel IPMI Konfiguration unter Linux mittels ipmitool) oder FreeIPMI verwendet werden. Vor allem für...

www.thomas-krenn.com

Beim DVI nehme ich an, dass die iGPU dafür zuständig ist. Im Gegensatz zum VGA, der hängt am AST2600. Vielleicht muss man die iGPU noch aktivieren im UEFI.

 

[gnot]

Ich würde den BMC mal mit IPMIcfg zurück setzen:

Hat sich geklärt. Es war der uBlock Origin