[Kaufberatung] Homeserver / NAS komplett NVMe

[Str1atum]

Hi!

ich suche einen Hardwarevorschlag für einen Linux-Homeserver mit folgenden Spezifikationen:

- Nutzung: Home / Webserver / Docker, Fotospeicher (hier z.B. Gesichtserkennung, kein Transcoding), Home NAS (max. 6 TB NAS-Speicher sollten erstmal gut reichen)
- CPU: x86 oder ARM; maximal stromsparend bzw. effizient und möglichst leise und kühl
- 32 GB RAM, Option auf 64 GB
- Hochqualitatives kleines Gehäuse
- Festplatten komplett als NVMe, min 4x NVMe als RAID + 1x SATA SSD für OS, besser 6x NVMe möglich
- min 2,5 Gbit Ethernet
- Kosten sind sekundär

Bin gespannt auf Eure Vorschläge.
Str1atum

 

[pwnbert]

- Kosten sind sekundär

Epyc 7003. Ausreichend PCIe. 🤡 (aber nicht mal so teuer...)

SCNR. Lies mal ein paar Threads, gibt eh schon genug. Dann komm und frag genauer.

 

[Str1atum]

Ich hier nichts komplett auf M2 basiertes gefunden, das meinen Anforderungen genügt.

 

[sandreas]

Wie wärs mit dem Asustor Flashtor 6?

Das hat zwar diverse Einschränkungen, würde aber zumindest bis auf den RAM in dein Profil passen. Gehen aber Max 16GB rein... man könnte mal mehr probieren, aber die Specs geben es nicht her.

 

[Str1atum]

Ist grundsätzlich nicht schlecht das Teil aber ich hätte gerne sowas in selbstgebaut und modular.

Beitrag automatisch zusammengeführt: 12.04.2024

Was ist denn z.B. mit dem IMB-X1314 als Basis? Ich habe nur keine Erfahrung wie ich 5 NVMe SSDs in ein kleines und leises Setup kriege

 

[gea]

Ich hier nichts komplett auf M2 basiertes gefunden, das meinen Anforderungen genügt.

M.2 ist ja nur eine Bauform von NVMe die man vor allem in Laptops einsetzt. In Servern is eher U.2/U.3 bei NVMe angesagt. Die sind dann teilweise hotplug und viel besser kühlbar.

 

[Str1atum]

Kann man einfach sowas nehmen

AOC-SLG3-4X4P | Add-on Cards | Accessories | Products - Super Micro Computer, Inc.

Oder gibts da eine elegantere Lösung?

 

[myBerg]

Ich würde auch wie pwnbert Epyc empfehlen. Und dann PCIe NVMe Steckkarten verwenden. Die Zen2 und Zen3 Epyc CPUs haben gerade einen Preisverfall hingelegt und man bekommt aktuell schon CPUs ab ~300 €. Boards sind allerdings nicht billig. Dafür gibt es dann auch ECC-Ram.

Eine Serverplatform wie Epyc hat den Vorteil, dass du viel IO-Bandbreite hast und die Boards nicht mit Features geizen. So sieht das dann z.B. aus:

Also theoretisch 24 PCIe 4.0 NVMes mit je 4 lanes plus die auf dem Board.

Wie soll denn dein RAID funktionieren? ZFS?

IO kostet aber immer Energie. D.h. wenn es maximal energiesparend sein soll, dann vielleicht eher sowas wie das Asustor Flashtor was dann nur mit PCIe 3.0 und einer Lane pro NVMe läuft. Das ist dann zwar deutlich langsamer aber auch weitaus sparsamer.

 

[pwnbert]

Das mitm Epyc war ein bissl ein Witz.
Ernst gemeint für größere Mengen an PCIe Lanes, dafür tatsächlich ernst gemeint.
Teuer isses "gar nicht", Mainboard kostet Geld, die Asrock Rack mit AM5 sind aber auch nicht (viel) billiger, von daher... gutes P/L. Stromverbrauch ist halt... nja... kein 2-Bay-Synology.

- Festplatten komplett als NVMe, min 4x NVMe als RAID + 1x SATA SSD für OS, besser 6x NVMe möglich

- min 2,5 Gbit Ethernet

MC12 mit 5600, Asys Hyper M.2 und einer NIC und gut is. 2.5 GbE könnte man ne USB-NIC verwenden, den PCIe 4.0x4 Slot müsste man dann für ne "richtige" 2.5 / 10 / 25 Gbit NIC verwenden.

(max. 6 TB NAS-Speicher sollten erstmal gut reichen)

... dafür brauchts keine 4 Slots. Z1 mit 4 TB SSDs machen und gut is. Mit 3 Stück gibts 8 TB, mit 4 Stück gibts 12 TB... wer da mit 1/2 TB Drives rumkleckert ist selbst schuld.

Ich halte M.2 ohnehin für bedingt optimal, und würde Richtung U.2 schauen. Die 8 TB Samsung U.2 gibts manchmal für 5-600€ (auf Geizhals neu, aufpassen auf Fake Shops, gabs letztens aber bei nem seriösen Shop)... 2 davon in einen Mirror und gut ists. Muss man halt gut einkaufen.
Bissl auf die TBW schauen, eine 4er SN850x oder 990pro hat 2.4 PBW.... die U.2 Enterprise haben halt noch PLP und 5-7 PBW... is jetzt aber auch keine andere Dimension, also wsl. eher egal...

M.2 Z1 in der Asus Hyper kann man aber sicher auch machen, mit 300€ / 4 tb is man ganz gut dabei.

Dann hast noch 6x SATA über und 1x M.2 3.0x1 ... fürs Boot Drive und ein Drive für Apps, falls mans nicht aufs große Pool legen möchte. 1 GB/s ist ja immer noch okay.

Wofür man M.2 only braucht bei 2.5 GbE ist ein anderes Thema.

Die Frage ist noch, obs irgendwas besonderes an Rechenleistung benötigt, für die Gesichtserkennung. Läuft das auf CPU oder braucht das was spezielles?



Sonst bleibts dabei, die Zahl der PCIe/M.2 Slots/Lanes mit den Desktop CPUs ist begrenzt. Wenn man mehr braucht... Epyc/Xeon.

 

[besterino]

Gigabyte MC12, ne billige hyper-X x16 und „echte“ 5000er CPU nach Wahl (also keine APU). Als Gehäuse find ich das hier ganz schick, kannste 5 der 6 Sata-Ports des Mainboards hotswap-fähig machen und z.B. für Backup mal ne HDD einschieben.

SilverStone Case Storage CS351 ab € 194,90 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für SilverStone Case Storage CS351 ✔ Bewertungen ✔ Produktinfo ⇒ Extern: 5x 2.5"/3.5" (Hot-Swap) (SAS/SATA) • Intern: 2x 3.5", 8x 2.5" • Anschlüsse: 1x USB-C 3.0 (5Gb/s),… ✔ PC-Gehäuse ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[gea]

+! für das CS 351 mit einem uATX Board

Da kann man intern bis zu 10 U.2 NVMe unterbringen zusätzlich zu den externen Wechseleinschüben.. Schön wären extern flexible U.3 Einschübe gewesen oder Multipath 2x12G SAS aber single 12G SAS liegt auch so mit einigen Platten schon sehr nahe bei NVME Performance und man hat kein Problem mit Mainboard Lanes, Hotswap oder vielen Platten. Die Raw Performance vieler NVMe wird man eh nicht im realen Durchsatz erreichen, wichtiger sind daher meist iops und da kommt man mit SAS Flash auch auf >100000 iops und dazu >1 GByte/s sequentiell per disk

 

[sch4kal]

Ich würde auch wie pwnbert Epyc empfehlen.

LowPower und Epyc schließen sich einfach gegenseitig aus. Unter 40W reiner Platform-Idle wirst du mit Epyc nicht kommen.

 

[olqs80]

Wie wärs eigentlich mit was fertigem?
Die neue Nas Serie von Ugreen hat sowas ja mit 4xNVMe im Angebot DXP480T und soviel ich gelesen habe kann man auf der Hardware auch sein eigenes OS nutzen.
Im ersten Post ist ja nur von 4 NVMe die Rede, bevor es Hardwareluxx typisch eskaliert ist. 😂

 

[Haldi]

Maximum Stromsparend?
4x NVME auf ARM board mit 16GB RAM und 2.5gbits Ethernet und 65gb eMMC fürs OS.

CM3588

www.friendlyelec.com

and it draws 3.5 Watts idle

 

[myBerg]

Das mitm Epyc war ein bissl ein Witz.

Oh Mann, ich sollte Freitag abends einfach nichts mehr posten.

Ernst gemeint für größere Mengen an PCIe Lanes, dafür tatsächlich ernst gemeint.
...
Sonst bleibts dabei, die Zahl der PCIe/M.2 Slots/Lanes mit den Desktop CPUs ist begrenzt. Wenn man mehr braucht... Epyc/Xeon.

Ich denke den Hinweis kann man schon mal geben, wenn...

- Kosten sind sekundär

"Best Bang for the Buck" ist Epyc sicherlich nicht. Hohe Peak-CPU-Leistung (Zen 4) bekommt man da auch erst bei Einwurf sehr sehr vieler Münzen. Aber IO-seitig hab ich eben auch mehr Möglichkeiten, wenn ich z.B. die Netzwerkanbindung nochmal aufrüsten will.

Beitrag automatisch zusammengeführt: 13.04.2024

LowPower und Epyc schließen sich einfach gegenseitig aus. Unter 40W reiner Platform-Idle wirst du mit Epyc nicht kommen.

Korrekt. Aber weit weg davon ist man eben auch nicht:

5 W brauchst du für das IPMI.

Ist hier grad ein Testaufbau:

Kostenpunkt war 399 € für das Board als Einzelstück im MindStar, 95 € für die CPU neulich bei Future-X. RAM hab ich aktuell aus dem 2. System geklaut.
BIOS Defaults. Plain Proxmox.

Was man bei Idle-Messungen auch immer dazu sagen muss: Wenn ich da einige VMs drauf laufen haben und noch ein paar Dinge in die PCIe-Slots stecke, dann geht der Energieverbrauch deutlich nach oben. Ich möchte hier nicht den Eindruck erwecken, dass das jetzt das Stromsparmodell schlechthin ist. Das sind Systeme die gut skalieren in alle Richtungen.

 

[Haldi]

Wenn Performance wichtiger ist als Strom sparen.
Minisforum?

MINISFORUM AR900i

MINISFORUM AR900i MINISFORUM AR900i is the ultimate MoDT (Mobile Desktop) motherboard. It is powered by Intel's 13th generation most powerful flagship CPU - 13900HX with 4* M.2 slots, providing gamers and DIY enthusiasts with a new gaming and computing experience. AR900i Spec Motherboard Detail...

store.minisforum.com

 

[gea]

Maximum Stromsparend?
4x NVME auf ARM board mit 16GB RAM und 2.5gbits Ethernet und 65gb eMMC fürs OS.

CM3588

www.friendlyelec.com

and it draws 3.5 Watts idle

Wenn ich mich so umschaue, markieren das AR900 und das CM 3588 die beiden extremen Kompakt-NAS Board Alternativen mit 2,5G Nic und 4 x M.2 NVMe onboard.

Das AR900 ultraschnell mit Intel i9, man kann eine pci-e Karte einstecken und hat dazu 4 x M.2. Mangels Sata Port sollte man für ein NAS gleich ein
12G SAS HBA wie einen Broadcom 9300 oder neuer einrechnen.

Das CM 3588 mit 64GB eMMC onboard für das OS, 2,5G nic und 4 x M.2, utra low power und ab 120 USD

Leider beide ohne ECC RAM Option

 

[Pixolantis]

Kostenpunkt war 399 € für das Board als Einzelstück im MindStar, 95 € für die CPU neulich bei Future-X

Bist du bisher zufrieden? Mir gefallen die Supermicro Boards generell sehr gut für Server wenn es nicht fertige Lösungen sein müssen.

 

[mrpasc]

Das CM 3588 mit 64GB eMMC onboard für das OS, 2,5G nic und 4 x M.2, utra low power und ab 120 USD

Die M.2 sind aber jeweils nur mit PCIe 3.0 x1 angebunden. Also auch eher „Perlen vor die Säue“…

 

[gea]

PCIe 3/x1 schafft knapp 1 Gbyte/s. Das ist bereits 4 mal so schnell wie die 2,5Gbit/s nic Ein Raid-Z1 skaliert mit der Anzahl der Datenplatten käme also mit 4 M.2 auf theoretisch 3 GB/s, praktisch vielleicht auf 2 GB/s. Sehe ich daher weniger als Problem gegenüber dem Vorteil dass man ultra kompakt 4 x NVMe hat mit ultra viel iops.

Der fehlende ECC RAM schmerzt da eher. ZFS wurde entwickelt um jeglichen technisch bedingten Datenverlust bis auf menschliche Fehler, zu geringe Raid-Redundanz oder Amok Hardware zu vermeiden. Datenfehler wegen RAM Fehler bei fehlendem ECC hebelt dieses Sicherheitskonzept aus (Risiko niedrig vor allem mit wenig RAM aber dennoch)

 

[myBerg]

Bist du bisher zufrieden? Mir gefallen die Supermicro Boards generell sehr gut für Server wenn es nicht fertige Lösungen sein müssen.

Ja. Hardware, Firmware und Doku sind top. Es gibt Kleinigkeiten die man bemänglen könnte, aber nichts wildes. Falls man ein Problem hat sollte man nicht lange fackeln und den Support anschreiben. Dann wird einem auch schnell geholfen.

 

[Pixolantis]

Falls man ein Problem hat sollte man nicht lange fackeln und den Support anschreiben. Dann wird einem auch schnell geholfen.

Das definitiv. Die haben mir auch schon ein Board mehrfach ausgetauscht von einer Fehlerhaften Serie.
Wie bist du mit dem Epyc zufrieden. Der Markt wird da aus China grad recht geflutet da wohl viele Datencenter modernisiert wurden

 

[Str1atum]

Das mitm Epyc war ein bissl ein Witz.
Ernst gemeint für größere Mengen an PCIe Lanes, dafür tatsächlich ernst gemeint.
Teuer isses "gar nicht", Mainboard kostet Geld, die Asrock Rack mit AM5 sind aber auch nicht (viel) billiger, von daher... gutes P/L. Stromverbrauch ist halt... nja... kein 2-Bay-Synology.



MC12 mit 5600, Asys Hyper M.2 und einer NIC und gut is. 2.5 GbE könnte man ne USB-NIC verwenden, den PCIe 4.0x4 Slot müsste man dann für ne "richtige" 2.5 / 10 / 25 Gbit NIC verwenden.

... dafür brauchts keine 4 Slots. Z1 mit 4 TB SSDs machen und gut is. Mit 3 Stück gibts 8 TB, mit 4 Stück gibts 12 TB... wer da mit 1/2 TB Drives rumkleckert ist selbst schuld.

Ich halte M.2 ohnehin für bedingt optimal, und würde Richtung U.2 schauen. Die 8 TB Samsung U.2 gibts manchmal für 5-600€ (auf Geizhals neu, aufpassen auf Fake Shops, gabs letztens aber bei nem seriösen Shop)... 2 davon in einen Mirror und gut ists. Muss man halt gut einkaufen.
Bissl auf die TBW schauen, eine 4er SN850x oder 990pro hat 2.4 PBW.... die U.2 Enterprise haben halt noch PLP und 5-7 PBW... is jetzt aber auch keine andere Dimension, also wsl. eher egal...

M.2 Z1 in der Asus Hyper kann man aber sicher auch machen, mit 300€ / 4 tb is man ganz gut dabei.

Dann hast noch 6x SATA über und 1x M.2 3.0x1 ... fürs Boot Drive und ein Drive für Apps, falls mans nicht aufs große Pool legen möchte. 1 GB/s ist ja immer noch okay.

Wofür man M.2 only braucht bei 2.5 GbE ist ein anderes Thema.

Die Frage ist noch, obs irgendwas besonderes an Rechenleistung benötigt, für die Gesichtserkennung. Läuft das auf CPU oder braucht das was spezielles?



Sonst bleibts dabei, die Zahl der PCIe/M.2 Slots/Lanes mit den Desktop CPUs ist begrenzt. Wenn man mehr braucht... Epyc/Xeon.

Danke für die vielen Hinweise!
Ich denke U.2 oder U.3 macht wirklich mehr Sinn. 2 davon sollten erstmal reichen, aber perspektivisch sollten dann schon mal 6 reinpassen in das CS351.
Wie wäre es mit einem modernen Intel-Prozessor (14th Gen), der auch ECC unterstützt und vielleicht etwas Unterstützung für Gesichtserkennung u.ä. bietet? Welches Mainboard, das auch 2,5G (später irgendwann vielleicht mal 10G) und eine M2 für das OS unterstützt, würdet ihr empfehlen?

 

[pwnbert]

Musst halt suchen, die Dinger sind selten.

Dann musst schauen, ob er im 16x Slot x4x4x4x4 Bifurication unterstützt, für so ne Hyper M.2 Karte bzw. Adapterkarte auf U.2...
Dazu hast du dann noch mehr oder weniger brauchbar verteilte M.2 oder PCIe Slots, so irgendwie könntest du mit Glück schon auf 6 Stück kommen, je nach Board.

Supermicro X13SAE bulk ab € 444,40 (2024) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für Supermicro X13SAE bulk ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: Intel 1700 (LGA1700) • Chipsatz: Intel W680 • CPU-Kompatibilität: 300 , Celeron… ✔ Intel Sockel 1700 ✔ Testberichte ✔ Günstig kaufen

geizhals.at

Anleitung lesen darfst du selbst, um zu erfahren, wie die PCIe bzw. M.2 Slots geshared sind (oder auch nicht), und inwiefern Bifurication möglich ist, um M.2 / U.2 Adapter rein zu machen.


Kurzfassung:
Was du willst, gibts nicht.

Günstig und sparsam: Begrenzte PCIe /M.2 Slot Anzahl. Mit entsprechend großen Einzeldatenträgern machbar.

Kanonen auf Spatzen: Epyc 7003 / Zen 3... Anschaffungspreis gut vom P/L... "endlos" PCIe Lanes und Mainboard-Ausstattung.... Verbrauch naja. PCIe Chips brauchen einfach Strom. 100 Lanes statt 20 Lanes eben entsprechend mehr. Ist halt so.


edit:
enn man kein IPMC braucht, evtl. noch bei AMD schauen... das Asus X670E Gaming TUF (naja immerhin 300€) hat zumindest eine ziemlich dicke Konfiguration an M.2 Schnittstellen und PCIe Slots. x4x4x4x4 Bifurication sollte möglich sein, die 4 M.2 Slots sind imho nicht mit den kleinen PCIe Slots geshared sondern nur mit SATA, wenn ich richtig gelesen habe.
Das heisst, dass man ganz theoretisch 8 M.2 hineinbringen sollte (Onboard + x16) und dann noch was für ne NIC frei haben sollte von den kleineren PCIe Slots (2.5 ist onboard).
Theoretisch sollte auch noch n langer PCIe frei bleiben wo du irgend ne GPU fürs KI Zeug stecken könntest, wenn ich das Manual richtig gelesen hab.
ECC unterstützt es wohl, soll wohl auch funktionieren, müsste man halt testen (Speicher OC + Memtest z.B.).
Dazu ne CPU die ne Grafik hat und ECC unterstützt, nen 7600X z.B.

ASUS TUF Gaming X670E-Plus WIFI ab € 299,90 (2024) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für ASUS TUF Gaming X670E-Plus WIFI ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: AMD AM5 • Chipsatz: AMD X670E • CPU-Kompatibilität: Ryzen 8000G , Ryzen 7000 , … ✔ AMD Sockel AM5 ✔ Testberichte ✔ Günstig kaufen

geizhals.at

Lies bei Interesse die Anleitung genau wegen der Aufteilung der M.2 und PCIe Slots.

Ich sag dir aber gleich, X670E wird auch nicht sparsam sein wegen den vielen PCIe Chips die drauf sind.


Also wie gesagt, billig, sparsam und viel PCIe ist nicht. Irgendwelche Kompromisse in verschiedene Richtungen sind nötig.

 

[Trambahner]

Intel gen14 ECC geht nur mit W680-Boards.
Intel Sockel 1200+1700 kann generell kein x4x4x4x4 auf dem x16 Slot. Da geht nur x8x8 > d.h. für reinen SSD-Einsatz sind zwei mal 4 Lanes verloren.
Oder halt mit PLX-Chip und ähnlichen PCIe-Multiplexern oder entsprechenden Hostbusadaptern die das drinn haben. Teuer für gen4.

 

[olqs80]

Beim X13SAE gibt's kein Sharing zwischen PCIe und m.2. Hab die -F Variante seit 2 Wochen in Betrieb.
Wenn beide x16 Slots belegt werden, dann teilen die sich die 16 PCIe 5 Lanes x8/x8 auf. Bifurcation gibt's nicht und der untere x16 Slot geht auch nur, wenn im oberen schon was drinsteckt.

Ein Stromsparwunder ist mein Board nicht, kann aber sein das durch das BMC dwr -F Variante die niedrigen Package States nicht erreicht werden können, da ist, soviel ich gelesen habe, das W680 Board von ASUS besser.

 

[Pixolantis]

Das Asus W680 gäbe es noch als IPMI Variante (Mit beiliegender Karte) für die normalen Intel CPUs, oder das W790 mit integriertem IPMI aber für die Xeon.
Beim Xeon hättest du nir die Performance Corse und nicht dieses P-/E-Core gemisch. Du b das aber für die gewünschte Anwendung relevant wäre weiss ich nicht genau.
Die Lane Aufteilung habe ich aber grad nicht geprüft
IPMI/BMC ist natürlich nicht zwingend aber ich persönlich bevorzuge es in diesem Zusammenhang.

 

[pwnbert]

Naja dann ist aber Intel eh raus, wenns kein x4x4x4x4 kann... geht sich ja dann hinten und vorn nicht sinnvoll aus.

IPMI/BMC ist natürlich nicht zwingend aber ich persönlich bevorzuge es in diesem Zusammenhang.

ACH... das "normale" W680 hat ja noch nicht mal IPMI... hab gar nicht so genau geschaut. Bin davon ausgegangen, dass diese 500€ ECC Bretter das alle haben (wie bei den Asrock Rack etc.).
Dann ist Intel ja gleich doppelt raus.

 

[pumuckel]

Naja dann ist aber Intel eh raus, wenns kein x4x4x4x4 kann... geht sich ja dann hinten und vorn nicht sinnvoll aus.

ACH... das "normale" W680 hat ja noch nicht mal IPMI... hab gar nicht so genau geschaut. Bin davon ausgegangen, dass diese 500€ ECC Bretter das alle haben (wie bei den Asrock Rack etc.).
Dann ist Intel ja gleich doppelt raus.

die UVP der Boards waren 278 (ohne ipmi) und 329 (mit ipmi) US Dollar bei Release

w680 wurde jedoch künstlich "teuer gemacht"

 

[pwnbert]

Selbst um 150€ müsste man den Vorteil zum AM4 B550/X570 mit APU noch suchen (PCIe 4.0 halt).
Gibt sicher Fälle, in denen der W680 dann die bessere Wahl ist, viele werden das aber wohl nicht sein...?