[Kaufberatung] Servergehäuse-Blues

[fallenguru]

Spiel mich grad ernsthaft mit dem Gedanken, einen kleinen Proxmox+Ceph-Cluster zu bauen. Also "viele" (3–4) günstige Nodes. Da wärs halt nett, wenn es günstige kompakte Gehäuse gäbe, in die man auch ein paar Platten (so, 2+ 3,5" HDD und 4+ 2,5 " SSD) halbwegs komfortabel und ordentlich gekühlt hineinbringt. Halbwegs leise sollte es auch sein – die Dinger stehen zwar in der Abstellkammer, aber die aktuellen Kumpanen hört man gut durch die Wand. µATX muss rein (kleiner gibts zu wenig Boardauswahl, teuer sind sie auch, und 1 PCIe-Slot is mir zu wenig). Vor ein paar Jahren kein Problem, aber inzwischen ist die Auswahl überschaubar.

Bin auch nicht unwillig, 19"-Gehäuse zu nehmen, nur kenn ich mich da halt absolut nicht aus. Müsste recht seicht sein, mehr als 60 cm Tiefe hab ich nicht fürs Rack (welches Rack – wo kriegt man sowas günstig?). Und die Rackgehäuse fangen halt jenseits von €100 erst an, GH hat keinen verläßlichen Filter für welche, die (leise) ATX/SFX-Netzteile fressen, ganz zu schweigen von einem für "Lüfter problemlos durch Noctuas ersetzbar". Und wenn ich pro Rechner einen Satz Noctuas brauch, wars das wieder mit günstig.

Zwischendurch hab ich dann aufgegeben und mir gedacht, na gut, dann halt wieder einen großen einzelnen Fileserver mit 10+ Platten. ZFS hat mir ein Jahrzehnt kein Bit Daten gefressen, wieso fremdgehen? Nur, Big-Tower mit einem Haufen 5,25"-Slots, wo man dann Hotswap-Einschübe reintun kann, scheinen auch ausgestorben. Wenn ich das gewusst hätt, hätt ich meine €30 Sharkoon nicht vor Jahren entsorgt. Womit wir wieder beim 19"-Rack wären. Gut, wenns nur ein oder zwei Rechner werden, darf auch das Gehäuse mehr kosten, aber ich hätt lieber mehr Storage, mehr RAM, mehr Cores, ... um das Geld.

(Für den Backupserver, s. anderer Thread, hab ich mir jetzt ein Silverstone CS351 genommen, in der Hoffnung, dass er nie lang genug läuft, um sich zu frittieren. Aber an sich is das Ding eine glatte Fehlkonstruktion. Unkühlbar.)

Bitte, was kauft man heutzutage für Gehäuse? Also, wenn man keinen bunti-blinki Gaming-PC will? Sonst find ich eigentlich nur noch HTPC-Gehäuse. Selbst ein ordentlicher Desktop/Workstation is zäh. Ich verwend noch optische Laufwerke. Und Wechselrahmen. Mögen die Lagerbestände an Fractal Design Define R5 ewig halten, oder wie?

</rant>

 

[Supaman]

Hinweis zum Ceph Cluster: die Performance hängt massiv von der Latenz ab, und die kriegt man nur mit Datacenter SSDs, weil die echte PowerLoss Protection haben. Weil: die SSD gibt dann sofort nach Erhalt der Daten das OK Feedback, bei anderen Datenspeichern ist die Latenz deutlich höher.

 

[faxxe]

Nach einigen Versuchen über 19 Zoll Rack und dem CS351 bin ich nun hier fündig und glücklich geworden:

Sagittarius 8 Bay NAS Case

Hübsch? Naja.... geht so. Aber praktisch, kühl und kompakt.

Ich verwende es zZ mit 4 Platten als Unraid Server die egal, was läuft, praktisch immer Raumtemperatur haben.
Ich habs vom Ali und nach ca 4 Wochen war es um ca 120.- bei mir.

-faxxe

 

[pwnbert]

Und wenn ich pro Rechner einen Satz Noctuas brauch, wars das wieder mit günstig.

... gibt ausreichend günstigere Alternativen die kaum schlechter sind. Noctua sind zwar technisch schon gut, P/L ist aber katastrophal, da die Leistung am Ende auch nicht sooo überragend sind. Sie sind zwar meist der Leistungs (bzw. Lautstärke bzw. im Verhältnis) Gewinner, allerdings ist der Vorsprung nicht so groß, wie man vielleicht denkt.

Nur, Big-Tower mit einem Haufen 5,25"-Slots, wo man dann Hotswap-Einschübe reintun kann, scheinen auch ausgestorben. Wenn ich das gewusst hätt, hätt ich meine €30 Sharkoon nicht vor Jahren entsorgt.

Joa, hab letztens beim Kumpel ein Coolermaster aus den 2010er Jahren abgegriffen deshalb. Man könnte gebraucht schauen, ist halt mühsam und verranzt sind die auch alle.

Brauchst du Hot-Swap wirklich?

Bitte, was kauft man heutzutage für Gehäuse? Also, wenn man keinen bunti-blinki Gaming-PC will? Sonst find ich eigentlich nur noch HTPC-Gehäuse. Selbst ein ordentlicher Desktop/Workstation is zäh. Ich verwend noch optische Laufwerke. Und Wechselrahmen. Mögen die Lagerbestände an Fractal Design Define R5 ewig halten, oder wie?

Ja, der Markt gibt nur weniger her, so ist das. Die klassische 3,5" Festplatte ist beim Homeuser ausgestorben und kommt maximal ins Kauf-NAS.

GH hat keinen verläßlichen Filter für welche, die (leise) ATX/SFX-Netzteile fressen

Ganz einfach, 3/4 HE frisst normal ATX (also die auf Geizhals, die meisten, aber das sieht man ja auch sofort am Foto), 1/2 HE ist normal proprietär, weil von der Höhe natürlich kein ATX geht.

Wenn du kein Hot-Swap brauchst gibts auf GH schon ein paar billige Gehäuse, teils sogar mit Luftfilter vorn, wo dir dein Kram rein passt.
Bei der Tiefe 60cm musst natürlich noch Platz für Kabelsalat und "Overhead aller Art" abziehen, damit wird die Auswahl klein.

Inter-Tech 4U-40240 ab € 132,00 (2024) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für Inter-Tech 4U-40240 ✔ Produktinfo ⇒ Extern: 3x 5.25" • Intern: 11x 3.5", 4x 2.5" • I/O: 2x USB 3.0 • PCI-Steckplätze: 7… ✔ 19

geizhals.at

Sowas gäbe es, Hot-Swap Rahmen kannst einbauen, sind halt teuer und/oder unzuverlässig.
Lüfter kannst ja auch Arctic kaufen oder so. Mit 120ern/80ern wird das vmtl. auch nicht laut (je nach dem, was da rein kommt).

Da sammeln sich halt einige HE an.. aber die ganzen kleinen Gehäuse sind halt alle mehr oder weniger proprietär und laut...

Wäre das vielleicht was für dich?

Inter-Tech IPC 3U-3508 ab € 170,43 (2024) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für Inter-Tech IPC 3U-3508 ✔ Bewertungen ✔ Produktinfo ⇒ Extern: 2x 5.25", 8x 2.5"/3.5" Hot-Swap • Intern: 2x 2.5" • I/O: 2x USB-A 3.0 • PCI-Steckplätze: 5… ✔ 19

geizhals.at

Das gefällt mir eigentlich ganz gut. Hab mir das auch schon oft angesehen, aber hab jetzt doch alte Towers mit viel 5 1/4 verwendet (ohne HotSwap), weil die ganze Rack-Action mir momentan das Geld nicht wert ist, wenn mans ordentlich macht ufert das wieder aus.

 

[Icenice]

gibt ausreichend günstigere Alternativen die kaum schlechter sind.

Was kann man denn da nehmen? Kenne jetzt nur die Arctic Cooling F/P Serie, die oft empfohlen wird.

 

[pwnbert]

Naja, was hastn vor?
Leise sein?
Viel Luftbewegung?

Ja, die Arctic, gibt aber auch brauchbare Thermaltake, Thermalright (die auf den CPU Kühlern, die ich da hab, sind nicht schlecht), BeQuiet... von Noctua auch noch diese Redux

 

[Icenice]

Naja, was hastn vor?

Luft bewegen Effektiv und nicht zu laut. Geht mir hauptsächlich um Gehäuselüfter.

 

[pwnbert]

Meingott, du machst es einem aber schwer.

Willst du nen 3 3,5" HDDs etwas anhauchen und die Abwärme von einem 5650G in 90% idle wegblasen, oder nen alten Dual Xeon mit Dauerlast und n paar CPUs und U.2 SSDs kühlen?

Heute gibts relativ viel kaufbares Zeug. Die Unterschiede sind nicht sooo groß.

 

[Icenice]

Was heißt hier schwer? Lüfter sind doch regelbar. Und nein, ich habe keine multi XEON/Epyc Systeme mit zusätzlichen Nvidia Heizkörpern für ML.
Im Moment nur "normale" Fileserver mit 8-12 Platten, MC12 Board mit 5600(X), 2x SATA-SSD. Später kommt vielleicht mal eine kleine Grafikkarte dazu oder die SSDs werden sich vermehren.
Bin immer noch nicht schlüssig für das "finale" Setup. Ah, SAS HBA ist noch verbaut.

Beitrag automatisch zusammengeführt: 12.10.2024

Gehäuse ist vielleicht auch noch wichtig. 1x Define R6 und 1x Define R5

 

[fallenguru]

Hinweis zum Ceph Cluster: die Performance hängt massiv von der Latenz ab, und die kriegt man nur mit Datacenter SSDs, weil die echte PowerLoss Protection haben.

Ist bekannt, danke. Aber es schadet echt nicht, es zu wiederholen. (Das is im Übrigen das Einzige, das mich bisher davon abgehalten hat, diese Ceph-Geschichte umzusetzen. Einerseits wirbt das Projekt damit auf Commodity-Hardware zu laufen, andererseits scheint für die Entwickler inzwischen alles, was nicht auf NVMe-pur läuft, völlig uninteressant. Verwendet ja keiner mehr. Ja genau. Gibt m. E. keinen technischen Grund, warum Ceph auf kleinen Clustern / HDDs / Consumer-SSDs / mit wenigen Clients gar so furchtbar laufen muss.

Sagittarius 8 Bay NAS Case [...] Ich habs vom Ali und nach ca 4 Wochen war es um ca 120.- bei mir.

Schöne Gehäuse. Jonsbo teilw. auch. Muss ich jetzt echt anfangen, Zeug bei Ali Express zu bestellen? Bäh. Wobei, grad günstig find ich €120 jetzt auch nicht.

... gibt ausreichend günstigere Alternativen [zu Noctua] die kaum schlechter sind.

Glaub ich Dir gern. Aber wenn einmal "wir" Ösis etwas bauen, was an der Weltspitze mitspielt (und für eines meiner Hobbys relevant ist), dann kauf ich's halt doch.

Joa, hab letztens beim Kumpel ein Coolermaster aus den 2010er Jahren abgegriffen deshalb. Man könnte gebraucht schauen, ist halt mühsam und verranzt sind die auch alle.

Genau das. Nur bin/war ich in dem Szenario immer der Kumpel. :-p

Brauchst du Hot-Swap wirklich?

Naja. Der momentane Fileserver hat ~30 kg und an Ort und Stelle is kein Platz zum Arbeiten. Sprich, wenn ich an dem was machen will, muss ich mir Hilfe holen, das heb ich nicht mehr. Dann hoffen, dass sich beim Transport zum/vom Arbeitsplatz nichts löst oder sonstwie nachteilig bewegt; und dass die Platten, zwischendurch komplett abgekühlt, alle wieder hochkommen ... Wenn die Arbeit stressig is, kann das schon zwei Wochen dauern, bis sich das ausgeht. Bis dahin würd das Werkl degraded laufen.

Für so eine kleine NAS-Box isses nur nice to have.

Das wär für mich einer der Vorteile an den Ceph-Knoten. Die einzelnen Knoten sind buchstäblich leichter zu handhaben, und wenn ich einen ein paar Stunden zwecks Plattentausch (samt potentiellen Komplikationen) raus nehmen muss, sollte es dem Cluster relativ egal sein. In dem Szenario geht's dann auch ohne Hot-Swap und mit einem Anteil gebrauchten Platten. Nur, zwischen "kein Hot-Swap" und "1 Platte am Boden, 1 Platte unter dem Laufwerkskäfig, 1 Platte hinter dem Netzteil, ... und egal wo man dranwill, muss man das ganze Ding demontieren" liegen auch noch Welten.

Momentan liebäugle ich mit dem Chieftec Mesh Pro Cube, die dan en masse in eine KALLAX-Wand. Aus irgendeinem Grund gefällt meiner Frau die Idee besser als ein Rack. Vielleicht bin ich auch einfach nur zu geizig – am Papier schaut das Inter-Tech NAS-8 für die Nodes ja nicht schlecht aus. Aber >€1.000 allein für die Gehäuse, da freut's mich einfach nimmer. Und um das Geld gibt's Rack-Gehäuse wirklich auch.

 

[pwnbert]

Daheim Hot-Swap ist halt Luxus, imho.

Aus irgendeinem Grund gefällt meiner Frau die Idee besser als ein Rack.

Muss das Rack im Wohnbereich wohnen? In der Abstellkammer is doch egal...
Viel Spaß beim Kallax verkabeln.
Beim Rack kannst halt Switch, USV etc. auch noch rein tun.

Weißt eh, Gurkerl ins Knie schießen und so.

Das Intertech hat halt wider Hotswap. Drum auch teuer.

 

[VirtuGuy]

Ist bekannt, danke. Aber es schadet echt nicht, es zu wiederholen. (Das is im Übrigen das Einzige, das mich bisher davon abgehalten hat, diese Ceph-Geschichte umzusetzen. Einerseits wirbt das Projekt damit auf Commodity-Hardware zu laufen, andererseits scheint für die Entwickler inzwischen alles, was nicht auf NVMe-pur läuft, völlig uninteressant. Verwendet ja keiner mehr. Ja genau. Gibt m. E. keinen technischen Grund, warum Ceph auf kleinen Clustern / HDDs / Consumer-SSDs / mit wenigen Clients gar so furchtbar laufen muss.


Das wär für mich einer der Vorteile an den Ceph-Knoten. Die einzelnen Knoten sind buchstäblich leichter zu handhaben, und wenn ich einen ein paar Stunden zwecks Plattentausch (samt potentiellen Komplikationen) raus nehmen muss, sollte es dem Cluster relativ egal sein. In dem Szenario geht's dann auch ohne Hot-Swap und mit einem Anteil gebrauchten Platten. Nur, zwischen "kein Hot-Swap" und "1 Platte am Boden, 1 Platte unter dem Laufwerkskäfig, 1 Platte hinter dem Netzteil, ... und egal wo man dranwill, muss man das ganze Ding demontieren" liegen auch noch Welten.

kurzum, es sind halt ganz simple "technische" Gründe. Hdd´s und Cunsumer SSD´s leisten halt vergleichweise wenig IOPS. Je nachdem welche Leistung du benötigst, ist es halt irgendwann günstiger es mit weniger Knoten und All-Flash zu realisieren.

Ich würde mal einen Blick auf Gluster und Linstor werfen. Das ist für deinen Workload vermutlich die bessere/performantere Wahl. Je nach Basteldrang kannst du ja auch gleich richtig breit skalieren und sowas bauen: https://www.reddit.com/r/DataHoarder/comments/8ocjxz/200tb_glusterfs_odroid_hc2_build/

ODROID-HC4-P KIT – ODROID

www.hardkernel.com

 

[fallenguru]

kurzum, es sind halt ganz simple "technische" Gründe.

Nicht wirklich. Z. B. sind in Ceph alle writes synchron, auch solche, bei denen der Client das nicht angefordert hat; da lass ich mir nicht einreden, dass das notwendig ist. Nicht einmal ZFS macht das per Default, eben weil sync writes arschlangsam sind.

Dann wird so ein write erst dann bestätigt, wenn alle Replikas geschrieben sind (synchron natürlich). Dabei würde es in vielen Fällen reichen, nach 1, max. 2 Replika(s) zu bestätigen, v. a., wenn die Metadaten voll repliziert sind. Dann weiß man ja, ob die Daten, die jeweils da sind, korrekt sind. Den Rest kann man in Frieden im Hintergrund schreiben. Datensicherheit ist das Eine, Paranoia das Andere. Mag use cases geben, in denen das Sinn macht, eh, aber dafür so viel Performance verschenken (s. v. a. Bild)?

Was soll groß passieren? Primary OSD raucht während des Transfers ab, write geht nicht durch, ok. Primary OSD raucht unmittelbar nach dem Transfer ab (und 1 Replika als ausreichend zum Bestätigen gesetzt), hamma tatsächlich Daten verloren, blöd, aber das ist bei jedem anderen FS (bei async writes) genauso. Wenn eine (oder beide) Secondary abraucht, egal wann, replizier ich die Daten halt woanders hin. Bei 2 Replikas erforderlich zur Bestätigung müssten exakt diese zwei Nodes binnen Sekunden eingehen – das ist deutlich unwahrscheinlicher, als dass 3 beliebige Nodes eingehen, bevor ein Admin eingreifen kann. Kurz, sich alle 3 Replikas bestätigen zu lassen, ist selbst für einen sync write overkill, async sowieso.

Reads von einem Client werden nicht aktiv parallelisiert, m. W. gibts auch kein read-ahead. Eh, das Modell ist, dass sich die Performance durch viele Nodes und unendlich viele Clients/Threads ergibt, aber man könnte ganz leicht auch für 1 Client, 1 Thread deutlich mehr herausholen. Kleine Deployments (mit demselben Netz für Client–OSD und OSD–OSD) würden auch profitieren, wenn der Client gleich parallel alle (zu bestätigenden) Replikas selber zu den OSDs schickt, anstatt nur an die Primary, die dann danach repliziert (Latenz!).

Bluestore schreibt nicht mehr alles zweimal. Das ist auf NVMe und schnellen SSDs ein Vorteil, für den Fall Daten auf HDD, Journal auf SSD/NVMe aber ein massiver Rückschlag, grad in dem alle writes sind sync writes Szenario. Die WAL/DB kann so nicht mehr als sicherer Schreibcache für die HDDs fungieren.

Was machen die ZFS Leute inzwischen? Special vdevs einführen, u. a. um HDD-Pools zu beschleunigen ...

Nö, so simpel isses nicht. Ceph könnte mit wenig Aufwand in deutlich mehr Situationen sinnvoll einsetzbar sein / besser performen. Interessiert dort nur keinen. Seh eh ein, dass NVMe-Cluster optimieren lustiger is. Ich tät mich ja etwas um mehr Installationen bemühen, eben auch kleinere, schon allein um mehr Kanonenfutter Tester zu haben, aber bitte.

GlusterFS würde besser passen, ja, aber es pfeift halt aus dem letzten Loch. Sich da noch eine neue Installation antun? MooseFS detto. Von Linstor liest man Horrorstories. Und keines davon ist in Proxmox integriert.

 

[gea]

Ist Ceph denn zu Copy on Write vergleichbar oder wie schützt es sich vor unvollständigen atomaren Schreibvorgängen bzw stellt einen konsistenten Stand wieder her? ZFS kann ja nur wegen CoW per default auf sync verzichten ohne dass das Dateisystem bei einem Crash beim Schreiben strukturellen Schaden nimmt.