Hardware für neuen Unraid Homeserver

[olqs80]

Hallo,
Mein Nas kommt in die Jahre und ich möchte jetzt auf einen Selbstbau umstellen.
Ausgetauscht werden soll ein Qnap TS-453A und eine externes 5bay Gehäuse am Nuc

Endgültige komponenten https://geizhals.at/wishlists/3727687
EDIT: Kompentenliste im 2. Post

Das Gehäuse ist entweder as Fantec SRC-4240X07-12G, es gibt da auch Die 6G Variante, aber preislich ist das kaum ein Unterschied, oder das Intertech 4U-4416.
Würdet ihr auf ein Gehäuse mit Expander Backplane gehen? Ist glaub ich eine Preisfrage. Ich möchte minimum 16 Slots. Platten hätte ich genügend.

Was sind meine Wünsche, aber Wünsche müssen nicht immer alle erfüllt werden.
HBA für alle SAS Ports der auch Spindown der einzelnen Platten unterstützt.
10G Netzwerk, ob SFP+ oder 10GBaseT ist egal, hab noch beides am Switch frei
2x Nvme m.2, da würde pcie 3.0x4 reichen
Ein freier PCIe Slot, will mir die Option auf eine GPU nicht verbauen.

Leistungstechnisch reicht mir derzeit die Kombination aus der Qnap und dem i5-1135g7 nuc, also maximal sowas wie ein 13500. Die PCIe Lanes müssen halt reichen, das ist glaub ich das größte Problem.
Auch beim Sizing des Netzteils habe ich da keine Idee. Mein letztes Selbstbau System ist >10 Jahre her.

Danke euch schonmal für eure Tipps, auch Hilfe zur Selbsthilfe ist erwünscht. Habe soviele offene Punkte, da weiß ich nicht wo ich ansetzen soll.

 

[olqs80]

So mal die Nacht über in Hardware eingelesen:

Gehäuse	Inter-tech 4U-4416 Fantec SRC-4240X07-12G Fantec SRC-4230X07-6GE	Tendiere zu einem der ersten beiden, die Expander Backplane wär zwar schön, aber kostet doch ca 100€ mehr
Mainboard	Supermicro X13SAE-F
CPU	Intel i5-14500	da nicht soviele Unterschiede zwischen 13th und 14th gen ist, auch ein 13th gen möglich
HBA	LSI 9300-16i
10G Nic		noch keine Idee, mit dem 2,5G Ports vom Mainboard könnte ich aber anfangs leben
Ram	2x32GB	wird ECC, da passendes Board und CPU
CPU Kühler	boxed?	oder gibts da gute Alternativen?
Netzteil	Silverstone DA850	850W sind denk ich viel ohne Grafikkarte, aber sonst habe ich keine 6 Molex Anschlüsse

Hab ich da noch was vergessen?

 

[mrpasc]

Schau dass du statt des LSI 9300-16i einen LSI 9305-16i verwendest. Der 9300-16i war eine Notlösung von LSI um 16 Ports anbieten zu können, da wurden einfach zwei 9300-8i auf einen Adapter gequetscht. Dementsprechend heiß und stromhungrig läuft die Karte. 9305-16i ist dann nur noch ein Chip, kühler und weniger Verbrauch.

 

[olqs80]

Danke, der Preisunterschied ich doch nicht so wenig. Da kann ich mal meine Augen nach einem Angebot offen halten.

 

[Nemetron]

Schau dass du statt des LSI 9300-16i einen LSI 9305-16i verwendest. Der 9300-16i war eine Notlösung von LSI um 16 Ports anbieten zu können, da wurden einfach zwei 9300-8i auf einen Adapter gequetscht. Dementsprechend heiß und stromhungrig läuft die Karte. 9305-16i ist dann nur noch ein Chip, kühler und weniger Verbrauch.

Genau das ist das Problem beim 9305-16i. Der kostet gebraucht, refurbished mehr als das doppelte vom 9300-16i. Die Stromkosten kriegst bei dem hohen Komponentenpreis nicht so schnell rein und die sind bestimmt beide 2014, also vor 10 Jahren, erschienen.

Eher könnte man was moderneres kaufen. Allerdings steigen auch da die Komponentenpreise weiter an.

Beitrag automatisch zusammengeführt: 15.02.2024

Ich bin ansonsten sehr gespannt auf deinen Intel-LGA1700-W680-Build. Als RAM am besten ECC nehmen, dafür nimmst du ja W680. Bei dem Prozessor unbedingt die F-Stücke vermeiden, die können kein ECC und taugen dann nicht mehr für W680. Mit deinem i5-14500 bist du aber auf der richtigen Seite und der kann ECC.

Die gebrochenen neuen RAM-Sätze mit 24/48 GB gibt es gar nicht für die DDR5-UDIMM-ECC-Stücke:

Arbeitsspeicher (RAM) Speicher mit Typen: DDR5/DIMM/mit ECC/Unbuffered Memory Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Arbeitsspeicher (RAM) Speicher mit Typen: DDR5/DIMM/mit ECC/Unbuffered Memory

geizhals.de

Leider kann W680 trotz RPL dann wahrscheinlich nur DDR5-4800. Eventuell kriegt man DDR5-5600 ans Laufen, mit ECC haben das aber kaum welche versucht.

 

[olqs80]

Den W680 nehm ich nicht nur wegen ECC. Die nicht W680 Boards haben einfach kein gutes PCIe Layout, das hat sich so ergeben.
Guter Punkt ECC mit aufzunehmen, bei einem NAS ist das schon sinnvoll und bei Vollausbau 128GB sollten auch für die nächsten Jahre genug sein.
Derzeit sind 32GB am Homeserver in Verwendung.

 

[Nemetron]

Doch gibt auch gute Z790-Bretter mit zahlreicher Ausstattung. Habe letztends erst ein Taichi Lite gekauft.

ASRock Z790 Taichi Lite ab € 343,87 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASRock Z790 Taichi Lite ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: E-ATX (SSI CEB), 305x267mm, 12"x10.5" • Sockel: Intel 1700 • Chipsatz: Intel Z790 • CPU-Kompa… ✔ Intel Sockel 1700 ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Das gefällt bislang sehr gut und zwei HBA/RAID-Karten liefen auch. Wenn du nämlich, das wird bei dem Supermicro W680 genauso sein, den zweiten x16-Platz besteckst dann schaltet der Platz-1 auf x8 runter. Und die vielen anderen Sharings muss man dann auch kennen.

 

[olqs80]

Ja genau wegen sowas frag ich hier. Das ist eine wirklich gute Option und auch noch fast 100€ günstiger als das Supermicro. Bei den Mainboards wars am unübersichtlichsten von allen Komponenten für mich.
Das mit den beiden PCIe 5.0 Slots ich auch so, dass wenn beide genutzt werden nur 8 Lanes benutzt werden.

 

[Nemetron]

Leider ist es bei dem Brett noch so, dass die acht SATA-Buchsen wegfallen wenn du den PCIe-Platz ganz unten benutzt, also den PCIe Gen4 x4. Schau am besten hier ins Diagramm:



Allerdings ist das eben Intel-LGA1700, das hat einfach so wenig Lanes. Da gibt viel Leistung mit E-Kernen, und Unraid kann die E-Kerne nutzen, zum guten Preis und niedrigem Leerlaufverbrauch.

 

[olqs80]

Ja die Lane Problematik, hab hardwaretechnisch sonst nur mit Servern zu tun und da hat man mit Epyc oder Dual Xeon fast keine Probleme mehr.
Sieht auch so aus, als würden die beiden PCIe 5.0 und die m.2 Schnittstelle auf einem hängen. Ich dachte es geht nur 8x/8x bifurcation vom CPU her. Müsste dann auch ein entweder oder sein zwischen PCIE2 und M2_1. Oder nicht?
Dann relativiert sich das natürlich.

 

[Nemetron]

Nur wenn du den rechten M.2-Platz bestückst. Das solltest nicht machen. Wenn du den linken bestückst dann kannst eine M.2 zusammen mit 2*8x anschließen.

 

[ludwinator]

Also ich würde da Supermicro grundsätzlich bevorzugen, alleine schon wegen dem BMC und dem ECC Support.

cu

 

[olqs80]

Bin da ein wenig gespalten ob mir jetzt BMC und ECC den Aufpreis wert sind. Derzeit ists 50:50 mit einer leichten Tendenz zu ECC

 

[ludwinator]

Wir reden hier von ca. 100€ für beides. Im Verhältnis zu den Gesamtkosten für das System vernachlässigbar.
Du könntest auch ein Intel i5-14400F nehmen ohne Grafik, die brauchst du mit nem BMC dann nicht mehr.
cu

 

[olqs80]

Also die igpu ist schon praktisch für Jellyfin oder Plex. Für direkte Ausgabe brauch ich die mit bmc natürlich nicht.

Aber hab mich jetzt für ecc entschieden. Den fixierten Warenkorb editier ich oben rein. Ich starte erstmal ohne 10g und nur mit den onboard sata ports. 2,5G reicht mal und die 8 Sata Ports auch.

 

[Nemetron]

Kann man so machen. Frage mich wie du auf die SSD kommst, hätte eine Corsair MP600 Pro XT genommen. Das Netzgerät ist auch billig, lieber ein Seasonic Focus GX 850 W.

Der Prozessor ist in Ordnung, wenn du aber mehr Leistung abrufen willst dann lieber einen 13700K oder 14700K. Soviel mehr kosten die auch nicht.

Die Konfig wird schon laufen, kenne hier schon drei Leute mit W680. Siehe hier.

 

[olqs80]

Die SSDs sind nur für temporären Speicher für einige Container. Die schreiben mal 10-40GB, bearbeiten das und dann wird das wieder gelöscht. Als Cache für das Array habe ich schon zwei SSDs mit PLP zuhause. Das sind halt nur Sata. Ist ein nice to have, deshalb was günstiges.

Ja das Netzteil ist günstig, hat aber in den Tests die ich gelesen habe nicht so schlecht abgeschnitten. Die 550-850W Netzteile der Serie sind baugleich, die grösseren haben einen anderen internen Aufbau.
Vom Seasonic gibts auch eine 550W Variante, das ist mir beim Vergleich durchgerutscht. Hätte auch 4 Ausgänge für Sata und Molex Kabel, das war mir wichtig. Fürs Silverstone bekomme ich ein zusätzliches langes Kabel mit Molex Steckern, da müsste ich beim Seasonic erst schauen. Möchte eigentlich nicht mit Adaptern im Gehäuse arbeiten. Da schau ich nochmal drüber.

 

[olqs80]

So die meiste Hardware ist gestern gekommen. Die reverse Kabel um die Backplanes anzubinden sind noch in der Post, aber so zusammenbauen konnte ich schonmal.
Stromverbrauch des Systems (nur die 2 Nvme sind eingebaut, alle 5 GehäuseLüfter aktiv): pendelt zwischen 38 und 40W, ausgeschaltet also nur BMC läuft: 2,4W (gemessen mit einem Shelly Plug)
Von dem Wert im ausgeschalteten Zustand bin ich sehr positiv überrascht, habe da von ganz anderen Werten nur fürs BMC gelesen.

Ich seh da noch Tuning Potential, aber bin vorerst zufrieden. Meine Qnap, mit 4 dauerhaft laufenden Platten, braucht 43W und mein Intel Nuc Homeserver 25W im Durchschnitt.

 

[Nemetron]

Kannst du mal Bilder machen und hier im Faden einfügen? Würde mich interessieren.

 

[olqs80]

Kann ich machen, aber meine interne Verkabelung sieht schrecklich aus.

 

[olqs80]

@Nemetron
Ich hab mal ein paar Fotos geschossen. Endgültig in Betrieb genommen, mit schönerer Verkabelung wirds wenn der Rest da ist.

 

[Nemetron]

Sieht doch nett aus. Und die Kiste lässt dann einfach so auf dem Boden oder Tisch stehen? Oder kommt das noch in ein 19er Rack?

Wie hoch sind die Idle-Temperaturen des 14500 mit dem billigen Boxed-Lüfter? Hast keinen zusätzlichen gekauft?

Edit: Kannst du mal ein Bild von der Backplate machen?



Das sind doch alles Molex-Anschlüsse? Sind es vier mal vier Stück? Also 16 Molex für 16 Festplatten? Die könntest alle an ein HBA anstecken oder die Hälfte vom HBA und die andere Hälfte von der Hauptplatine.

Theoretisch solltest du das Molex auch in 8 Molex splitten können. Damit bräuchtest du nur zwei Stränge vom Netzgerät. Rate ja immer zum Seasonic, dort gehen 8 Festplatten pro Strang, wies jetzt bei deinem ist KA.

 

[olqs80]

Die bleibt nicht ganz zu stehen. Dahinter sieht ein bisschen mein Ikea Lack Rack in dem unten noch Platz für den Server ist. Das hab ich extra nicht fotografiert, weil da die Netzwerkkabel absolut nicht vorzeigbar verlegt wurden. Ich werd den aber nicht verschrauben, sondern nur unten reinschieben.
Für ein echtes Rack hab ich hier nicht den Platz. Einen Keller bauen nur damit ich ein Rack unterbring, wär ein bisschen overkill.

Das ist je 4 Platten eine Backplane mit einem Molex Anschluss und einem SFF-8087. Ich hab ein Bild einer Backplane von der Intertech Seite angehängt.
Beim meinem Netzteil ist das auch so. Ich hab mir noch einen zusätzlichen Molex Strang bestellt, damit ich dann Backplane 3 und 4 auch verkabeln kann. Ist aber mit der initialen Plattenbestückung noch nicht notwendig. Deshalb auch das Netzteil, weil es 4 Anschlüsse für Sata oder Molex Stränge hat und ich somit die Belastung besser aufteilen kann. Da gibts nicht mehr viele Netzteile in dem unteren Leistungsbereich. Die neue Version vom Corsair RM550x hat auch nur noch 3.
Es sind in dem Gehäuse ja auch noch 8x2,5" möglich, allerdings die nicht als hotswap.

Die zwei ersten Backplanes werden mit einem Reverse Sas Kabel an den 8 Port vom Board angesteckt. Ob ich dann mit einem HBA weitermache und mit vorhandenen SAS Platten erweitere, oder mit günstigen SATA ASM1166 Adaptern arbeite ist noch nicht sicher. Das kommt wenn mir wieder mal der Platz ausgeht.

Die verbauten Lüfter 2x80 und 3x120 sind alle ungeregelt. Habe die 2x80 schon gegen PWM getauscht und die 3x120 werden noch getauscht.

 

[Nemetron]

Würde nur aufpassen die Kiste nicht einfach auf den Boden zu stellen. Schnell kommt doch Wasser in den Keller und dann ist das gute und teure Stück schnell überflutet. Daher ist so ein Rack oder ein Tisch/Regal auf dem man es aufsetzt dann besser.

Edit: Ich würde unbedingt die gebrauchten HBAs kaufen. Die ASM gefallen nicht. Teilweise liefen die bei mir nicht weil da die Firmware von 2014 auch bei 2024 gekauften Adaptern draufgeblitzt war. Die HBAs liefen immer Plug&Play. Leider haben einige einen hohen Leerlaufverbrauch, aber das weißt ja schon.

 

[olqs80]

Guter Hinweis, ich werd da zwei Abstandhalter zum Boden basteln. Dank Notfallabfluss im Boden sollte ja auch im schlimmsten Fall nicht massiv das wasser drinstehen.
Ein Feuchtigkeitssensor da drin ist vielleicht auch keine schlechte Idee.

Beim ASM Controller gibts eine Firmware von Silverstone, dann braucht der 6 Port mit 2xPCIe 3.0 Anbindung dann 2W. Gibt im Unraid Forum dazu einen Thread.

 

[olqs80]

@Nemetron
Ich hab deine Frage nach den Prozessortemperaturen übersehen.
Der CPU Lüfter und die PWM Gehäuse Lüfter drehen bei ca 700-1000 U/min und ich hab jetzt auch so ein bisschen Last drauf. Die Datenmigration mit ein paar rsync inkl checksumming läuft mit 2,5Gb/s hat der CPU derzeit 34°. Bei der Minimum Drehzahl der Lüfter: CPU: 560, FAN1 (2x80mm) 420 und FAN2 (3x120mm) 700 geht der bis 42° hoch.
Im Idle bei den Drehzahlen ist er bei 29°.

Der billige CPU Lüfter profitiert halt von der guten Belüftung des Gehäuses.
Das System steht im ebenerdigen Technikraum, da ists nicht viel kühler als im Haus.

 

[Nemetron]

<30° C sind gute Leerlauf-Temperaturen, selbst 40°C wären in Ordnung, wenn man den Grund wüsste. Bei einigen Kühlern sind die höher, vor allem wenn der Anpressdruck nicht so hoch ist.

Du könntest noch eine Art Stresstest machen und die Kiste mal im Cinebench R23 laufen lassen. Da bin ich auf die Temperaturen gespannt und auch auf die Mehrkernpunkte.