Es soll ein neuer Homeserver werden (Dell T140 soll in Rente)

[Rocker]

Hallo liebes Luxx,

Der Thread Titel verrät es schon, ich mache mir aktuell Gedanken wie und womit ich meinen aktuell im Keller, arbeitenden Dell T140 ersetzen kann.
Dieser kommt hier und da, gerade beim bewegen von großen Datenmengen an seine Grenzen bzw. geht der Platz für Platten im Gehäuse aus. (4 Kerne ohne HT mit 32 GB RAM)

Auf dem aktuell genutzten T140 läuft Proxmox (ZFS)
eine gut genutzte Nextcloud inkl. Onlyoffice, ein Fileserver, ein UCS, eine Opnsense, ein BORG Backup, CheckMK, ioBroker usw...

Der neue Dell T150 ist meiner Meinung nach preislich nicht so attraktiv wie damals der Dell T140 - gerade wenn man eine stärkere CPU haben möchte - bzw. ist der Stauraum für Platten sehr limitiert.
Auch die aktuellen neuen Rack Systeme von Dell, der R250 und R350 sind preislich für Privatpersonen happig.
Aus diesem Grund überlege ich gerade ob ich den Server selbst baue.

Folgende Anforderungen habe ich an das System:

• Im Idle sehr Stromsparend
• Leistungsreserven um Lastspitzen gut bewältigen zu können
• min 64 GB RAM mit Luft nach oben.
• Platz für min. 8 Platten
• später ist evtl. 10G Lan angedacht
• ein kurzes Gehäuse (Serverschrank limitiert hier )
• Mainboard mit remote Verwaltung/Zugriff

Hierfür habe ich mal versucht einen Server zusammenzustellen mein max. Budget sind ~1500 - 1600 € (Platten habe ich bereits)

SilverStone RM21-308 Rackmount Storage ab € 365,39 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für SilverStone RM21-308 Rackmount Storage ✔ Bewertungen ✔ Produktinfo ⇒ Extern: 1x 5.25" Slimline, 8x 2.5"/3.5" Hot-Swap • Intern: 2x 2.5" • I/O: 1x USB-A 3.0, 1x USB-A 2.0 • PC… ✔ 19

geizhals.de

Supermicro X12STH-LN4F bulk ab € 773,50 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Supermicro X12STH-LN4F bulk ✔ Produktinfo ⇒ Formfaktor: µATX • Sockel: Intel 1200 (LGA1200) • Chipsatz: Intel C256 • RAM-Slots: 4x DDR4 DIMM, Dual Ch… ✔ Intel Xeon ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Intel Xeon E-2378 ab € 475,88 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Intel Xeon E-2378 ✔ Produktinfo ⇒ Kerne: 8 (8C) • Threads: 16 • Turbotakt: 4.80GHz (Turbo Boost 2.0) • Basistakt: 2.60GHz… ✔ Intel ✔ Testberichte ✔ Günstig kaufen

geizhals.de

2x

Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32ME) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32ME) ✔ Bewertungen ✔ Produktinfo ⇒ Typ: DDR4 DIMM 288-Pin, ECC • Übertragung: 3200MT/s (3200MHz effektiv - abgeleitet von 1600MHz I/O-Takt m… ✔ Speicher ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Seasonic Prime Fanless PX-500 500W ATX ab € 164,54 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Seasonic Prime Fanless PX-500 500W ATX ✔ Produktinfo ⇒ Lüfter: passiv gekühlt • Lautstärke: 0dB(A) (laut Hersteller) • Kabelmanagement: vollmodular • Anschlüsse… ✔ Netzteile ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Dynatron / Inter-Tech K-618 / K618 ab € 36,97 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Dynatron / Inter-Tech K-618 / K618 ✔ Bewertungen ✔ Produktinfo ⇒ Bauart: Passiv-Kühler, 2HE • Abmessungen ohne Lüfter: 90x64x90mm (BxHxT) • Gewicht ohne Lüfter: 490g • So… ✔ CPU-Kühler ✔ Testberichte ✔ Günstig kaufen

geizhals.de

folgende Fragen stelle ich mir aktuell noch bzw. würde ich hierfür um Rat bitten:
Denkt ihr mit den aufgeführten Komponenten treffe ich die gestellten Anforderungen?
Gibt es Möglichkeiten die Preis Leistung zu optimieren? (es darf auch gerne günstiger werden)
Passen die Komponenten zusammen?

Vielen Dank

Gruß Rocker

 

[Supaman]

Board mit c256 Chipset und IPMI ist eine gute Wahl. Außer Supermicro würde noch ASrock Rack in Frage kommen, die haben ähnliche Boards im Programm, teilweise aber mit anderen Features, wie z.B. mehr SATA Anschlüsse oder 10G direkt Onboard etc.

Die Frage bez Board/CPU Kombo wäre: *muss* es das neuste sein? Weil: ein etwas älterer XEON E5-26xx hätte ebenfalls ordentlich Wumms, kostet aber nur einen Bruchteil (50-100 Euro), auch gebrauchte Boards sind für ~200 oder weniegr zu haben. Die verbrauchen zwar etwas mehr Strom, wäre aber immer noch deutlich billiger.

Das 500w NT in Fanless finde ich etwas oversized und als Fanless Version für den Einsatzweck nicht Zielführend. Da kannst Du auch eins Bequiet mit Lüfter nehmen, das wird eh von den meschanischen Platten übertönt und grade im Rackmount brauchst Du den Airflow.

 

[spyfly]

folgende Fragen stelle ich mir aktuell noch bzw. würde ich hierfür um Rat bitten:
Denkt ihr mit den aufgeführten Komponenten treffe ich die gestellten Anforderungen?
Gibt es Möglichkeiten die Preis Leistung zu optimieren? (es darf auch gerne günstiger werden)
Passen die Komponenten zusammen?

Das gewählte Netzteil ist ungeeignet, wie sollen die Lüfter da bitteschön Luft durchsaugen? Wenn du unbedingt ein fanless haben willst, das hier würde gehen: https://geizhals.de/seasonic-prime-titanium-fanless-600w-atx-2-4-ssr-600tl-a1570595.html

Ansonsten einfach nen SFX(-L) mit ATX Bracket nutzen, so bleibt dem Lüfter auch platz zum ansaugen.

Bezüglich Mobo/CPU Kombo wäre ja vielleicht W680 in Kombination mit nem i5-12500 oder i5-12600K ganz interessant.

 

[Rocker]

Hallo,

vielen Dank für die Rückmeldungen.
Das System muss nicht fanless sein, aber ich habe keinen passenden Kühler für das Board gefunden aus diesem Grund wurde es dieser "Block" - bin für Vorschläger aber auf jeden fall offen
Das mit dem SFX Netzteil ist eine coole Idee und werde ich auch so übernehmen!

Seasonic Focus SGX Gold 650W SFX-L ab € 139,44 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Seasonic Focus SGX Gold 650W SFX-L ✔ Bewertungen ✔ Produktinfo ⇒ Lüfter: 120mm, semi-passiv • Lautstärke: 36.91dB(A) (laut Cybenetics Zertifikat, 115V), 36.53dB(A) (laut … ✔ Netzteile ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Corsair SF Series Platinum SF450 450W SFX | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Corsair SF Series Platinum SF450 450W SFX ✔ Bewertungen ✔ Produktinfo ⇒ Lüfter: 92mm, semi-passiv • Lautstärke: 22.54dB(A) (laut Cybenetics Zertifikat, 115V), 22.69dB(A) (laut C… ✔ Netzteile ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Leistungstechnisch gibt es leider kaum kleinere... zumal ich hier erstmal nur SSD´s einschiebe.

Danke!

 

[Rocker]

kann man eigentlich einzelne SATA Ports auf diesen Anschluss bündeln?
Die Backplane im Gehäuse wird wie folgt angeschlossen.

also mit so einem Kabel, oder führt das zu Problemen? - das sollte müsste ja in beide Richtungen klappen oder...

 

[Supaman]

Grade wenn Du nur SSDs anschliesst, ist alles über 400w defintiv oversized. 300w würden locker reichen. Das Problem ist, das NTs bei unter 20% Last extrem inffizient werden.

Die Stecker Kabel Kombo sieht passend aus und wir so auch an vielen Raid Controllern verwendet (SFF 8087 an 4x SATA).

 

[underclocker2k4]

das sollte müsste ja in beide Richtungen klappen oder...

Nein!
Die Kabel sind richtungsgebunden.
SATA->SFF-8087 ist ein anderes Kabel als SFF-8087->SATA.
Gibt genügend Threads darüber. Stichwort reverse/forward Kabel

 

[Rocker]

Vielen Dank mit dem Hinweis zum Kabel! - ob ich dann bei der Fehlersuche direkt darauf gekommen wäre....
So habe ich jetzt direkt das, hoffentlich richtige.

Gruß Rocker

 

[Rocker]

So ich bin nun gespannt wie ein Flitzebogen - ich hab die Komponenten nun genau so bestellt:

SilverStone RM21-308 Rackmount Storage ab € 365,39 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für SilverStone RM21-308 Rackmount Storage ✔ Bewertungen ✔ Produktinfo ⇒ Extern: 1x 5.25" Slimline, 8x 2.5"/3.5" Hot-Swap • Intern: 2x 2.5" • I/O: 1x USB-A 3.0, 1x USB-A 2.0 • PC… ✔ 19

geizhals.de

Intel Xeon E-2378 ab € 475,88 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Intel Xeon E-2378 ✔ Produktinfo ⇒ Kerne: 8 (8C) • Threads: 16 • Turbotakt: 4.80GHz (Turbo Boost 2.0) • Basistakt: 2.60GHz… ✔ Intel ✔ Testberichte ✔ Günstig kaufen

geizhals.de

be quiet! Pure Power 11 CM 400W ATX 2.4 | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für be quiet! Pure Power 11 CM 400W ATX 2.4 ✔ Bewertungen ✔ Produktinfo ⇒ Lüfter: 120mm, 1000rpm • Lautstärke: 9.40-13.90dB(A) (laut Hersteller) • Kabelmanagement: teilmodular • A… ✔ Netzteile ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Supermicro X12STH-LN4F bulk ab € 773,50 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Supermicro X12STH-LN4F bulk ✔ Produktinfo ⇒ Formfaktor: µATX • Sockel: Intel 1200 (LGA1200) • Chipsatz: Intel C256 • RAM-Slots: 4x DDR4 DIMM, Dual Ch… ✔ Intel Xeon ✔ Testberichte ✔ Günstig kaufen

geizhals.de

2x

Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32ME) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32ME) ✔ Bewertungen ✔ Produktinfo ⇒ Typ: DDR4 DIMM 288-Pin, ECC • Übertragung: 3200MT/s (3200MHz effektiv - abgeleitet von 1600MHz I/O-Takt m… ✔ Speicher ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Dynatron / Inter-Tech K-618 / K618 ab € 36,97 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Dynatron / Inter-Tech K-618 / K618 ✔ Bewertungen ✔ Produktinfo ⇒ Bauart: Passiv-Kühler, 2HE • Abmessungen ohne Lüfter: 90x64x90mm (BxHxT) • Gewicht ohne Lüfter: 490g • So… ✔ CPU-Kühler ✔ Testberichte ✔ Günstig kaufen

geizhals.de

CableCreation CS0003 | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für CableCreation CS0003 ✔ Produktinfo ⇒ ✔ Testberichte ✔ Günstig kaufen

geizhals.de

CableCreation CS0022 | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für CableCreation CS0022 ✔ Produktinfo ⇒ ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Ich bin auf den Verbrauch / Performance / Systemtemperaturen gespannt
Die NT suche fand ich pers. schwierig, - ich werde jetzt das bequiet testen.
Jetzt bin ich nur noch auf der Suche nach ein paar brauchbaren Rackrails die auch in einen 600x600 Schrank passen.

Gruß Rocker

 

[spyfly]

Ich bin auf den Verbrauch / Performance / Systemtemperaturen gespannt

Fan Duct wäre eventuell noch ganz sinnvoll, weil ansonsten müssen die Lüfter auf Volllast laufen um die CPU halbwegs in Schach zu halten.

 

[Rocker]

An ein Fan Duct habe ich auch schon gedacht - sowas kann man ja aus dem 3d Drucker klöppeln - bzw. zur Not hab ich hier noch irgendwo einen 60mm Lüfter rumstolpern.

Gruß Rocker

 

[Rocker]

eine ganz doofe Frage hätte ich noch, weiß zufällig jemand, ob das Board Bifurcation kann?
Ich habe im Netz dazu leider nichts gefunden.

Danke Gruß Rocker

 

[Rocker]

So, es beginnt - die ersten Teile treffen so langsam ein.

 

[Rocker]

Hallo,

Ich hab jetzt aus dem alten Server mal 8 GB RAM entnommen und in den neuen gesteckt, damit ich diesen zumindest etwas testen kann. (der RAM kommt erst nächste Woche)
Die Werte sind ganz gut - 26 W im idle mit Proxmox und auch die Temperaturen stimmen, er kommt im idle auf ca 45 °C und unter Volllast auf ca. 70 °C.

jetzt stehe ich nur vor einem Problem, ich habe 2 SSD eingebaut, Mirror ZFS. Damit komme ich auf gerade einmal 20 MB/s (mit fio gemessen)
führe ich ein pveperf aus, ist der fsync Wert extrem niedrig.

ich hab inzwischen alle Bays durchprobiert und auch die SSDs gewechselt, das Ergebnis ist leider immer gleich.
Das Bios habe ich aktualisiert und die optimized defaults geladen - leider hat sich auch hier nichts verändert.

ich denke mir fehlt irgend ein Kniff eine Einstellung, aber ich komme nicht darauf

Vielen Dank

Gruß Rocker

 

[Trambahner]

Was für SSDs sind das ?

 

[Rocker]

Das eine Paar sind Samsung evo 860 (500gb) sata
Das andere Paar sind micron mit 256 GB sata, die genaue Bezeichnung der Micron kenne ich nicht, die müsste ich ausbauen.

AHCI habe ich im BIOS auch noch einmal gecheck - ist angeschaltet.

Danke Gruß Rocker

Beitrag automatisch zusammengeführt: 09.04.2022

Die Micron sind 1100 2.5 MTFDDAK

 

[spyfly]

Das eine Paar sind Samsung evo 860 (500gb) sata

Hatte ich auch mal in Kombination mit Proxmox genutzt, dort aber im RAID-Z1. Die Performance war unterirdisch. Consumer SSDs in Kombination mit ZFS kann man halt meist vergessen. Mit Highend-Consumer SSDs oder DC SSDs hatte ich hingegen bisher keine größeren Probleme.

Du könntest mal probieren sync auf disabled zu setzen und schauen ob das performance-technisch was bringt.

 

[Rocker]

Ich habe gerade die Platten in den aktuellen Proxmox geschoben, einen ZFS Mirror erstellt, dort machen die Teile ~250MB ... 😞
Zudem laufen im alten Server auch 2 der Micron, darauf liegt das System und beim pveperf ist der Fsync Wert deutlich höher 35267,51...

 

[spyfly]

Evt. mal den 5.15er Kernel testen. Wobei Rocket Lake ja afaik schon ab dem 5.11er läuft.

Opt-in Linux Kernel 5.15 for Proxmox VE 7.x available

The next Proxmox VE point release 7.2 (~ Q2/2022) will presumably use the 5.15 based Linux kernel. You can test this kernel now, install the meta-package that pulls in the latest 5.15 kernel with: apt update && apt install pve-kernel-5.15 It's not required to enable the pvetest repository, the...

forum.proxmox.com

 

[Rocker]

Hallo,

ich habe den neuen Kernel installiert, leider aber hat sich an der Performance nichts verändert - aber vielen lieben Dank für den Tip.

mein nächster Gedanke war mit iostat die Auslastung zu prüfen.
Hierbei ist mir etwas aufgefallen.

dies ist mein aktueller Server

und das der neue

warum werden die Werte nicht erkannt?

Gruß Rocker

Beitrag automatisch zusammengeführt: 10.04.2022

die Backplane und die Kabel sind es auch nicht. ich habe die Platten eben direkt an den Sataport angeschlossen und erhalte die gleichen Ergebnisse.

 

[Rocker]

Uff ich habs gefunden... ich habe jetzt mal angefangen die ZFS Parameter zu vergleichen...
Ich hatte auf dem alten Server sync=disabled gesetzt... daher die hohen Werte
Der Wald und die Bäume... ein pveperf bringt nun ca. 60000 Fsyncs

Gruß Rocker

 

[Trambahner]

Sync Writes bringen auch sehr gute Consumer SSDs schnell zum Weinen. Das mussten hier im Forum schon User lernen, dass auch eine 850 Pro da auf 5-10 MB/s abgesackt ist.
Und die ist technisch vom Durchhaltevermögen nochmal über Deinen Evo und Micron angesiedelt (die 850pro hat MLC Speicher und braucht keinen "MLC-Cache").

Btw, hier mal zum Vergleich ein paar pveperf-Werte von meinem Zweitserver (5600X, 64GB ECC 3200, B550M Tuf Gaming), Kernel 5.13 , compression jeweils deaktiviert.
Du siehst, die Consumer NVME, obwohl schon eine recht gute, hat wie erwartet bei Sync writes nicht den Hauch einer Chance gegen DC Sata Laufwerke.
Ich hätte gern auch meinen 7.68TB PM9A3-Mirror getestet, nur steckt der im Hauptserver unter FreeBSD.

einzelne 970 Evo Plus 1TB (erste Version, die noch nicht so einbrach); also eine typische und sehr gute PCIE gen3 Consumer NVME-SSD mit TLC

sync disable
CPU BOGOMIPS:      88806.00
REGEX/SECOND:      5118171
HD SIZE:           842.38 GB
FSYNCS/SECOND:     70065.22
DNS EXT:           28.74 ms
DNS INT:           1.29 ms

sync enable
CPU BOGOMIPS:      88806.00
REGEX/SECOND:      5110789
HD SIZE:           842.38 GB
FSYNCS/SECOND:     592.44

3x2 SM863/SM883 960GB, also Pool aus 3 Mirrorpärchen mit MLC Datacenter-SSDs ( 4 am onboard Sata, 2 an einem ASM1064).

sync disabled:
CPU BOGOMIPS:      88806.00
REGEX/SECOND:      5290660
HD SIZE:           2581.38 GB
FSYNCS/SECOND:     71780.40

sync enabled:
CPU BOGOMIPS:      88806.00
REGEX/SECOND:      5256603
HD SIZE:           2581.38 GB
FSYNCS/SECOND:     5840.27

 

[Rocker]

Vielen lieben Dank für die Info und die Vergleichswerte.
Dann bin ich mit der Leistung Zufrieden

Da sich das Thema mit den FSYNCs jetzt ziemlich aufgeklärt hat, bin ich gerade am Testen und prüfe die Last/Stabilität usw.
und da bin ich aktuell sehr happy, ich lasse gerade folding@home mit max. Last auf dem System laufen.
Auch über Stunden werden 70°C nicht überschritten - Wohnzimmertauglich ist die Lärmentwicklung nicht mehr, aber der Platz ist ja im Keller
in den System- / Mainboard Logs ist auch nichts zu sehn! Dann kann ich, sobald der Ram da ist, mit dem Umzug beginnen. (RAM Test steht dann noch aus)

Unter Volllast (CPU lastig mit folding@home) gönnt er sich aktuell 99 W/h


Gruß Rocker

 

[Rocker]

Hallo,

ich bekomme im BMC keine PSU Werte, benötigt das Netzteil eine besondere Schnittstelle - oder muss es sein besonderes Netzteil sein - oder muss ich das irgendwo aktivieren?
ich brauche die Werte nicht zwingend, diese wären nice to have, aber man lernt ja nie aus

vielen lieben Dank

Gruß Rocker

 

[spyfly]

ich bekomme im BMC keine PSU Werte, benötigt das Netzteil eine besondere Schnittstelle - oder muss es sein besonderes Netzteil sein - oder muss ich das irgendwo aktivieren?

Dein Netzteil muss dafür PMBus unterstützen.

 

[Rocker]

ah mega, danke für die Info!

Gruß Rocker

 

[dimonw]

Mich würde auch interessieren welche Netzteile unterstützen es? Hätte die Anzeige gerne auch bei meinem Supermicro Board

 

[spyfly]

Mich würde auch interessieren welche Netzteile unterstützen es?

Netzteile mit PMBus, einfach hier schauen, dass in der Beschreibung was davon steht: https://store.supermicro.com/server-accessories/power-supplies.html?utm=smc&product_list_order=price

 

[dimonw]

danke, bei normalen Consumer PSU finde ich es leider nicht in der Beschreibung

 

[spyfly]

danke, bei normalen Consumer PSU finde ich es leider nicht in der Beschreibung

Ist ja auch nen Enterprise-Feature