[Kaufberatung] NAS-Projekt: 400 TB

[gea]

Hmmm naja bis auf die Performance die fand ich bisher unter Win eher hmmm etwas überschaubar - aber hab da auch nur so kleine Testsysteme zum mal auspribieren gehabt.

Hat da jemand bzgl win Performance gute Werte? (glaub 2.2.2 hab ich getestet)

[Sammelthread] - Microsoft Hyper-V Stammtisch

Sehr cool! Bin sehr gespannt ob VMs da gut drauf laufen, aktuell mache ich das mit einer Gen1 omnisos VM als Hypervisor SMB storage, ich würde das gern auf nativ Windows umrüsten.

www.hardwareluxx.de

war auch mit 2.2.2
Jorgen Lundman verspricht bei 2.2.3 etwas bessere Performance.

DDT work (memory reduction, speedup)
vielleicht kann @besterino das bei seinen nächsten Tests überprüfen

 

[pwnbert]

Kann nix zu Windows mit ZFS sagen.

Aber ein Desktop Windows, das spontan mal neu startet und seine Settings per Update verstellt, ob das so eine gute Basis is?
Von den Windows Server Preisen hab ich keine Ahnung. Hatte damit nie zu tun.

Wenn ich hier am W10 Daten zwischen meinen SSDs (NTFS) verschiebe, bekomm ich keine tollen Werte. Ich hab 980pro(2tb), Firecuda530(4tb) und SN850X(4tb) drin.
Benchmarks sind alle okay, die realen Datendurchsätze sind eher meh (und das bei Dateien die mehrere GB groß sind).
Es ist seltsam, einmal sinds so 500mb/s bis 2gb/s, dann sinds wieder durchgehend 4gb/s... ich hab keine Ahnung, warum das ist, wies ist.

Ich bin einfach nicht besonders von der Idee angetan, ein Windows als Basis für einen Fileserver/NAS zu verwenden. Klar, kann man machen, wenn man fit ist mit Microsoft in der Hinsicht. Also wenn man Beruflich den Kram auf M$ Basis macht (machen muss), kann man das daheim ja auch, wenn man die Tricks alle kennt.
Ich müsste für Windows Server Zeug ebenso googeln und mich schlau machen (und extra zahlen auch noch), kam daher ohnehin nicht in Frage.

Der Hinweis auf special VDEV, SLOG, L2ARC etc. war eher allgemeiner Natur, ich denke nicht, dass ers für die Anwendung braucht, aber man sollte doch vorher wissen, was es ist, um das selbst abschätzen zu können.


So allgemein finde ich TrueNAS Scale schon recht zugänglich und "einsteigerfreundlich" (für Fortgeschrittene).
Man braucht ein wenig, bis man die "Mehrschichtigkeit" durchschaut (VDEVs, Dataset, Shares...) und das mit den Freigaben sauber hinbekommt, aber das sind alles Dinge, die man als "durchschnittlich IT-Interessierter" hinbekommt.


Meine Aussage war aber eher auf die Hardware bezogen.
Mit den ganzen (privat) "unüblichen" Schnittstellen (SSF-irgendwas etc.) muss man sich erstmal beschäftigen, damit man hier nicht (teuer) ins Klo greift.
Wenn man das tut, hat man aber ggf. sehr mächtige Tools.


Wir reden hier ja von einem beachtlichen Budget, da ist es schon schlau, sich etwas zu informieren, Hardware soll ja auch zur Software passen bzw. umgekehrt.

 

[HansBohne]

Eigentlich würde ich sagen müsste doch der aktuelle Server den er hat doch schon die 10 Gbit voll bedienen können?

Einiges wird halt dann nur statt 50% Auslastung bei 10 GBit zu 25% Auslastung bei 10 GBit führen.

Was aber der einfach ein prinzipbedingter Nachteil bei HW Raid ist wenn der natürlich sehr seltene Fall eintritt dass der Controller defekt geht muss man warten bis man einen neuen hat. Bei HBA nimmt man irgendeinen anderen beliebigen HBA und das Ding läuft wieder - selbst wenn der aus der Mottenkiste ist.

Ich habe zum testen mal einen PCI statt des PCIE reingesteckt der so alt war dass er natürlich keine HDD > 2 TB erkannt hat (BIOS war glaub von 2001) aber der Rechner hat gebootet - kurz das ZFS importiert und alles tat.

 

[Multiverse]

Ich habe das Nanoxia-Gehäuse und kann dir von einem 2ten 10er Cage nur abraten, da du damit einen ziemlichen Luftrückstau auf das 1te 10er Cage verursachst ... Dein Storage würde sehr schnell den Hitzetod sterben ... Realistischerweise kann man mit dem Gehäuse 18 Festplatten nutzen, 13 nativ durch die Einbauten und dann noch einen 3x5,25er Rahmen mit Platz für 5 Festplatten ...

 

[HansBohne]

Hmm wenn man sich so bilder anschaut kann man doch zwischen Käfig 1 und Käfig 2 auch noch Lüfter bauen?

https://m.media-amazon.com/images/S/aplus-seller-content-images-us-east-1/A1PA6795UKMFR9/AFHBTBH6HUGHN/05b57e0a-b835-4fab-83a8-f4c77af9098a._CR0,0,1280,1280_PT0_SX300__.jpg

Hätte man dann nicht einen ganz ok Luftdurchzug wenn man vorne Lüfter einbaut und dann noch welche zwischen den beiden Käfigen?

 

[Trambahner]

Lüfter dazwischen wird fast nix bringen, denn woher sollen die Fans genug Luft herziehen? Da werden nur sehr enge Schlitze in den Cages sein und wenig Platz zwischen den HDDs.

 

[pwnbert]

Mit Ghettomod geht schon was.
Sind ja "nur" Festplatten (okay, viele und schnell drehende).
Zudem kann man ja auch nen stärkeren Lüfter verbauen... is halt nix mit Silent.

Sollte jetzt nicht das Drama werden.
Ich würds aber auch ein ein 19er Gehäuse basteln. Diese Intertech da sind zwar angeblich so billig verarbeitet, ich würds aber trotzdem riskieren. Wenigstens schön Tief, Platz für 3 120er (tät da welche mittlerer Drehzahl reinmachen und übers MB regeln und schauen, was sinnvoll ist).

 

[HansBohne]

Naja solche Server werden eh meist nicht im Arbeits oder "Lebensraum" stehen sondern z.B, im Keller.

 

[Luckysh0t]

Lüfter dazwischen wird fast nix bringen, denn woher sollen die Fans genug Luft herziehen?

Von den zwei Lüftern an der Front, die sind quasi direkt vor dem ersten Cage. Klar, wenig Luft für die Luft ist es dennoch. Aber die Lüfter dazwischen dürften daher immer noch besser sein wie keine. Habe das Gehäuse für meinen PC selbst, aber da ich keine HDDs drin habe keine Cages mehr, um das zeigen zu können.

 

[underclocker2k4]

Ggf. kann sowas

Supermicro CSE-847 BE1C-R1K28LPB 4U SAS-3 36X 3,5" & 2X 2,5" E-ATX Rack Chassis | eBay

Sie haben es eilig?. Hierbei handelt es sich um ein CSE-847 Chassis von Supermicro. Das Chassis verfügt über 36 x 3,5" und 2 x 2,5" Bays sowie integrierter SAS-3 Backplane zum Anschluss von SAS Laufwerken mit bis zu 12 GBit/s und S-ATA Laufwerken bis zu 6 GBit/s.

www.ebay.de

Sinn machen.
SAS Expander Backplanes entsprechend schon verbaut.
Dazu ggf. eine AM5 Plattform + LSI 3000
z.B.:

Fujitsu CP400i SATA / SAS HBA Controller IT-Mode 12Gb PCIe x8 LSI RAID TrueNAS | eBay

Elektrisch betriebene Geräte dürfen nicht in den Restmüll entsorgt werden! Batterien dürfen nicht in den Hausmüll gegeben werden. Sie sind zur Rückgabe gebrauchter Batterien als Endverbraucher gesetzlich verpflichtet.

www.ebay.de

Dann hat man zum einen eine solide Casesplattform (SQ-Netzteile in dem Case sind entsprechend Effizient, ggf. schauen wegen der Lüfter, die wird man nicht so ohne weiteres an ein AM5 Board bekommen), hat redundante NTs, ein Case, was auch bezüglich der Schwingungen auf diese Plattenanzahl vorbereitet ist, die entsprechende Kühlung bereitstellt und auch noch Erweiterungsmöglichkeiten sowie hotswap bietet, was gerade beim HDD-Tausch von Vorteil ist.
Nachteil ist ganz klar, die Lautstärke der Lüfter und die proprietäre NTs.
In der ebay kombi muss man auch nicht viel machen, der Controller hat 2x SFF-8643 und im Cases liegen (laut Fotos) bereits 2x SFF-8643 Kabel bereit.

Wenn das Youtube ist, dürfte das ja auch geschäftlich genutzt werden und daher auch von der Steuer absetzbar.

 

[Icenice]

Wenn ich zwischen den Zeilen richtig gelesen habe, geht es doch eigentlich nur um einen Haufen Speicher.
Warum sollte das nicht mit dem bisherigen Unterbau realisierbar sein? Den kann man bei Bedarf immer noch austauschen. Ist ja nicht gerade ein Schnäppchen so ein Epyc Unterbau...
Sowas hier rein https://www.serverschmiede.com/konf...storage-controller-zfs-ceph-ms-storage-spaces, passende (lange) Kabel und eine 10Gbit NIC dazu. Fertig. Mit TrueNAS Scale kommt ein halbwegs IT-affiner bzw. lernwilliger User gut zurecht und die Sache läuft. Bei Unraid weiß ich nicht, wie da der Stand bei ZFS ist.
Da das Gehäuse offensichtlich eh schon vorhanden ist, kommt es auf einen Versuch an, ob Lüfter zwischen den 10-fach Cages genug Luft bewegen, um die Platten unter oder nur knapp über 40°C zu halten.
Oben im 5,25" Schacht würde ich aber definitiv auch irgendwie für Luftbewegung sorgen.

 

[pwnbert]

Naja, Epyc (Zen3) kostet das gleiche wie AM5 AsRack + CPU (so ab 8 Cores halt) + HBA...
Stromverbrauch wird wsl. ähnlich sein, vllt. gering höher. AM5 sind jetzt keine Idle-Wunder und die HBA... na wer weiss.

Muss man eh nicht machen. Ist mir letztens nur aufgefallen, dass man die ROME "billig" bekommt.

Ich merk halt bloß selbst, dass man mit den Desktops (AM4/AM5) halt schon ziemlich am Limit läuft mit den PCIe Lanes, und da sehr genau überlegen muss, was man tut.
Wenn der AM5 dann tatsächlich noch problematisch mit RAM-Vollbestückung sein sollte (was man zumindest hier liest, kein Plan was dran ist), dann... naja.

Wenn das AsRack AM5 billig wäre... aber >600€ und nicht lieferbar? Da denk ich dann schon über Eypc nach.

 

[p4n0]

Warum sollte das nicht mit dem bisherigen Unterbau realisierbar sein?

dass man mit den Desktops (AM4/AM5) halt schon ziemlich am Limit läuft mit den PCIe Lanes, und da sehr genau überlegen muss, was man tut.

Genau das ist das Problem.
Ich habe so einen AM5 Unterbau und es wird sehr schnell eng mit den Lanes.

Sobald der HBA im x16 Slot haengt ist quasi feierabend. Dessen muss man sich bewusst sein.
Dann ist auch nix mit > 10G Ethernet. Das was da ist - gut. Mehr gibts nicht.

Ansonsten ist die Plattform super und zieht Kreise um alles was aktuell am Markt verfuegbar ist. (P/L Technisch gesehen).
Man bekommt fuer kleines Geld Zen4 Kerne mit > 5ghz boost. Da traeumen die großen Epycs und Xeons nur so von.

 

[pwnbert]

Ja, SingeCore natürlich deutlich(!) mächtiger.

Wobei der ROME momemtan schon auch nice ist vom P/L her. Mainboard kostet halt 100€ (17%) mehr, kann dafür gefühlt 4x so viel.
8 Core CPU bekommst um knappe 400€, 16 Core CPU um knappe 600€ (interesant!), beide 3,4ghz boost.
Da ist der AM5 mit 5 ghz halt doch mehr als 1,5x so schnell Singlecore (weil +IPC ja auch noch dazu kommt).
Wobei im Server... so für VMs und so Kram... da hat man mit dem 16 Core Epyc dann schon eine sehr bequeme Reserve, die man so schnell nicht auslasten wird.

Preismäßig isses aber nicht schlimm, AM5 + HBA kostet je nach HBA das gleiche oder mehr als das Epyc Brett.
CPU ist so ne Sache, 7700x kostet 300€, macht also bei (langsameren) 8 Cores 100€ Aufpreis und bei 16 (womit er dem 7700x dann in der Serveranwendung wohl überlegen sein wird, Speicherbandbreite ist ja auch deutlich dicker, trotz DDR4) Cores 300€ Aufpreis.
RAM kostet DDR5 ECC UDIMM ca. 140€/32gb, DDR4 ECC RDIMM ca. 85€/32gb... 128gb DDR5 bekommst um 560€, 192gb DDR4 um 510€... (und dank Anbindung werden die DDR4 in jedem Fall deutlich schneller sein.. und 50% mehr isses auch).

Also haben wir beim Epyc 16 core 192gb ca. 250€ Aufpreis gegenüber dem AM5 8 Core 128gb System.
Bei einem Hardiskbudget von 3 000-10 000€ Peanuts.

Also ich mag den AM5 hier nicht schlecht reden, ist sicher eine wunderbare Wahl (überhaupt erst wenn die Pro APUs kommen, wenn sie denn kommen) für den "Kleinserver"...
... aber wenn mans dick braucht... so viel ist der Eypc gar nicht teurer (vor allem fürs Gebotene). Da würd ich gar nicht in Verlegenheit kommen, über AM5 nachzudenken.

Wenn der AM5 dann tatsächlich noch problematisch mit RAM-Vollbestückung sein sollte (was man zumindest hier liest, kein Plan was dran ist),

Kannst du was dazu sagen?

 

[p4n0]

Kannst du was dazu sagen?

Ja, habe 4x32GB ECC ( KSM48E40BD8KM-32HM ) auf dem B650D4U-2L2T/BCM am laufen.
Keine Probleme. Gibt auch vereinzelte Posts auf Reddit / ServerAtHome die erfolgreich mit 48GB Sticks unter Vollbestueckung laufen (192GB total).

Ich wuerde die SC Leistung, gerade im HomeServer Umfeld nicht unterschaetzen.
Viel Kram erfordert einfach massiv auf SC Leistung. Vor allem wenn man sich ne virtuelle Firewall mit VPN, PPPoE, Inter-VLAN-Routing und so Kram um den Hals haengt.
Da helfen die lahmen Dickschiffe mit 32 Cores oft nix.
Fast alles was irgendwie verschluesselt ist stark von SC Power abhaengig.

Die Moehre aus meiner Signatur schafft > 16GBPS per SMB aus dem virtualisiertem ZFS Filer an eine benachbarte Windows VM.
Storage sind 4 Lahme QLC SATA-SSDs. Ich gehe jede Wette ein dass man mit ner richtigen Enterprise CPU keine 10gbps zusammenbekommt.

 

[pwnbert]

Nice, hast probiert, welchen Takt du schaffst?

Hast ja 4800er... hab jetzt zwar das Manual durchgeblättert, aber nicht gefunden, was der B650 bei 4 Modulen offiziell unterstützt an Takt...
Bei AM4 isses ja so, dass deutlich mehr geht, als offiziell unterstützt ist. Für 4x DR wären 2666 unterstützt, meine 3200er laufen ohne Probleme 3200 mit 4 Stück. 3600 (1:1) haben sie nicht geschafft (hab ich bloß aus Neugier probiert, für den Desktop), dazwischen hab ich nix probiert.

5600 ist glaub ich das beste, was man bei DDR5 ECC momentan bekommt. Wäre spannend, ob das x4 läuft.

 

[p4n0]

Ich kann das gerne mal in ner ruhigen Minute ausprobieren. Aktuell ist einfach alles zusammengesteckt. Daher gehe ich davon aus dass es mit minimalem Speed laeuft.

Was nimmt man als Benchmark(s) um der ganzen Aktion etwas Sinnhaftigkeit zu verleihen?

 

[pwnbert]

Weiss nicht, ich hab gar keine gemacht.

Ich hab einfach Memtest laufen lassen, weil ich wissen wollt, ob der RAM stabil läuft oder Fehler macht.
Ich hab aber nix groß "übertaktet", wozu auch am "Server", hab die 3200er eben mit 3200 rennen (was der Chipsatz mit 2 Riegeln ja hergibt offiziell, offiziell aber mit 4 nicht unterstützt).

Ist jetzt eigentlich nicht so wichtig, lass laufen. War nur neugierig, weil ich aben AM4 mit Zen 3 schon seeehr gut kenne, mit AM5 aber noch keinen praktischen Kontakt hatte (als ich im Herbst gekauft hab, gabs nix sinnvolles fürn Homeserver).

 

[Kelek]

Danke für die vielen Tips und Anmerkungen.
Ich werde das Projekt nochmal über denken.


Was sicher ist:

Der Speicher soll nach wie vor aus 2 RAIDs a 12x 20TB bestehen. Das Ganze werde ich im Nanoxia Gehäuse verwirklichen.

Was ich über denke:

Board + CPU


Als nächstes werde ich mich um das Gehäuse kümmern und den 2ten Cage einbauen. Dann schaue ich, ob die Festplatten genügend Luft bekommen.
Wenn alles passt, treffe ich ich eine Entscheidung bezüglich Board und CPU.

 

[pwnbert]

Kommt drauf an, womit du das Raid jetzt machst, ob Hardware, LVM, Windows, ZFS... Bei TrueNAS sind kleinere VDEV empfohlen, also so +/-6 Drives, wegen der Kummulation der Zugriffszeiten, was auf die IOPS geht.

 

[gea]

Es ist richtig dass ein ZFS Pool aus mehreren vdevs mit kleineren Platten schneller wird, da sich dabei die iops per vdev addieren. Ein Platten raid-Z vdev hat ca 100 iops, ein Pool aus drei Raid-Z vdevs hat dann 300 iops. Das ist aber was Kosten, Kapazität und Stromverbrauch angeht total unökonomisch.

Bei größeren Dateien ist zudem ein Pool mit einem raid-Z vdev meist schnell genug. Die sequentielle Leistung eines Raid-Z skaliert ja mit der Anzahl der Datenplatten. Benötgt man iops ist ein Platten Pool dagegen immer langsam, auch mit vielen vdevs wenn man überlegt, dass selbst SSD mehrere 1000 iops haben und die schnellsten NVMe wie Optane 500000 iops. Viel ökonomischer ist dann ein zweiter Flash Pool für Anwendungen die iops benötigen oder ein special vdev mirror mit denen man für kleine Dateien NVME Performance hat und nur die größeren für die man keine hohen iops braucht auf den Platten landen.

Ich sehe für viele kleine Platten vdevs heutzutage keine Anwendung mehr. Mehr als ca 12 Platten per Raid-Z vdev sind dagegen etwas anderes. Da ist dann eher die lange resilver Zeit ein Argument für ein weiteres Raid-Z vdev. Bei mehr als vielleicht 50 Platten wäre draid dann die bessere Option wegen der kurzen resilver Zeit auf Kosten der Effizienz bei kleinen Dateien.

 

[asm@s24]

Bin ich froh, daß ich nur ein bis zwei TB an wirklich wichtigen Daten habe (inklusive Backup zweier Notebooks)... Das kann ich daheim auf NAS plus Homeserver sichern plus noch je eine Kopie in zwei verschiedene Clouds, falls die Hütte abbrennt. Sind vielleicht drei- oder vierhundert Ocken im Jahr. Sonst, wenn ich mal schau, 500 TB bei IDrive-e2 wären allein 15k $$$...

 

[the_pi_man]

Wenn du Interesse oder Fragen hast, ich habe genau das oben angegeben Board (ASRock Rack ROMED6U-2L2T)
gekauft und betreibe es mit einem Epyc 7302 und 128 GB reg RAM in einem Inter-Tech 4U-4416.

 

[Kelek]

Wenn du Interesse oder Fragen hast, ich habe genau das oben angegeben Board (ASRock Rack ROMED6U-2L2T)
gekauft und betreibe es mit einem Epyc 7302 und 128 GB reg RAM in einem Inter-Tech 4U-4416.

Kannst du mir sagen, wie ich die HDDs an das Board anschließen kann bzw. wie viele möglich sind?

Laut Hersteller sind 31 HDDs möglich.

Ich komme aber auf eine andere Zahl:

3x Mini-SAS HD per Adapterkabel : 12 Platten
2x SlimSAS per Kabel: 16 Platten
2x SATA onboard

Komme auf 30 Platten

 

[gea]

Der M.2 Slot kann optional auch Sata
1 M-key (PCIe4.0 x4 or SATA 6Gb/s); support 2280 form factor

 

[the_pi_man]

Eine NVME M.2 (bis) 22110 auf dem Board und eine NVME unter dem Board M.2 2242
Auf was du aufpassen musst ist das ein SLIM-SAS nicht SATA-fähig ist. Aber hier ist vielleicht die eine (mögliche) U.2 Platte versteckt.
Wenn alle Stricke reißen einfach einen 8-fach SAS Controller in einen SLOT. Hast ja genug

 

[mrpasc]

Auf was du aufpassen musst ist das ein SLIM-SAS nicht SATA-fähig ist.

Die Aussage ist so nicht ganz richtig, SlimSAS ist erstmal nur ein Formfaktor. Es gibt viele Boards die darüber sehr wohl auch SATA Signale übertragen können, bestes Beispiel ist das Gigabyte MJ11 welches hier in einem Thread ja ausführlich besprochen wird.
Richtig ist dass es keine automatische Erkennung gibt, d.h. Wenn der Port sowohl PCIE als auch SATA kann muss das im EFI / BIOS entsprechend eingestellt werden.

 

[the_pi_man]

Hier kannst du alles wesentliche sehen. Oder mal das Handbuch runterladen.
Bei dem Board sind 2 der 3 SLIM-SAS SATA-fähig und einer nicht. Läßt sich im BIOS umstellen.

 

[mrpasc]

Bei dem Board sind 2 der 3 SLIM-SAS SATA-fähig und einer nicht. Läßt sich im BIOS umstellen.

Dann hatte ich deinen Post missverstanden, ich habe nicht rausgelesen dass du einen der SlimSAS Ports dieses Boards meintest. Da hast du natürlich vollkommen Recht. Für mich las es sich wie die allgemeine Aussage „SlimSAS kann (generell) kein SATA. Sorry

 

[Kelek]

Anhang anzeigen 986188

Hier kannst du alles wesentliche sehen. Oder mal das Handbuch runterladen.
Bei dem Board sind 2 der 3 SLIM-SAS SATA-fähig und einer nicht. Läßt sich im BIOS umstellen.

Ah okay.
Kann ich dann mit einem Kabel (SlimSAS X8 auf 8 x SATA, SFF-8654) von einem der 2 Anschlüsse auf 8x SATA gehen?

Dann hätte ich 2x8 SATA von den SLIM-SAS Ports + 3x4 SATA von den Mini-SAS HD.

Die 28 Ports würden mir dann reichen.