[Kaufberatung] 10Gbit ZFS NAS 19" 70-100TiB + VM Storage

[Bccc1]

Hallo zusammen,

lange hab ich das Thema vor mir hergeschoben und hier und auf /r/DataHoarder gelesen, jetzt will ich es endlich angehen. Wall of Text incoming

Ich habe aktuell ~50TiB an Daten die typischerweise auf ein NAS kommen würden, also Medien, Backups, archivierte Projektdaten, nichtbenutzte VM Images, etc.
Dazu kommt aktuell ~1TiB das ich in schnellerem Zugriff brauche, vor allem genutzte VMs und temporäre Daten. Das ist aktuell alles verstreut über 2 NAS, eine menge externe HDDs und meine Workstation internen SSDs.

Jetzt will ich mir ein NAS zusammenstellen mit 70-100 TiB Platz und Erweiterungsmöglichkeiten auf knapp das doppelte. Für die schnellen Daten bin ich noch unsicher. Wenn die Geschwindigkeit reichen sollte, das ich über SMB/NFS/iSCSI meine NI Kontakt Libraries darauf auslagern könnte, würde ich hier 6TB nehmen, wenn nicht, dann nur 1-2TB.
Wenn meine Recherchen mich nicht trügen, bin ich mit einem Solaris basierten ZFS mit Napp-It als VM in einem ESXi/vSphere Hypervisor am besten dran.
Nun brauche ich Beratung was die Hardware angeht.

Zu den Festplatten: Ich dachte an Seagate Exos X X10 10TB oder HGST Ultrastar He10 10TB. Für den Anfang 2 Z2 vdevs mit jeweils 6 HDDs, also 80TB nutzbar. In einem 24 Bay Gehäuse könnte ich damit gut auf 160TB aufrüsten, das würde mir wahrscheinlich recht lange reichen.
Ich mache mir nur Sorgen ob bei so großen HDDs ein Z2 reicht, oder ich lieber auf Z3 gehen sollte.
Ab welcher Festplattenmenge kann man mit Mengenrabatt rechnen? Würde ich da bei Vollbestückung, also 24 HDDs, schon mit rechnen können?

Für den schnellen Speicher für die VMs bin ich noch komplett unsicher. Wird auf jedenfall aus SSDs bestehen müssen, aber ich weiß nicht wie ich die noch ins Gehäuse kriege. Das Thema ist aktuell auch nicht so dringlich, ich kann die VMs auch erstmal weiter auf meinem PC lassen.

Fürs Backup habe ich aus Kostengründen nur an ein "kleines" 40TB NAS gedacht, welches die wichtigsten Daten sichert. Das braucht hier nicht diskutiert werden. Da dort die Performance relativ egal ist, werde ich dafür Restverwertung betreiben. Ich werde zusätzlich alles (natürlich verschlüsselt) in die Cloud sichern, aber ich hoffe sehr das nie zu brauchen, da ich leider nicht mit 1Gbit/s am Internet hänge

Bei der Hardware exklusive Datenträger würde ich gerne unter 1500€ bleiben, aber wahrscheinlich wird das nicht ansatzweise funktionieren

Meine VMs brauchen weder viel Leistung noch viel RAM, ist nur FHEM, ein paar Scraper und ähnliche Spielereien, später vielleicht noch eine Docker Engine. Aber wieviel CPU Leistung, zusammen und pro Kern, brauche ich, damit ich über SMB und NFS zumindest bei sequentiellem Zugriff die 10Gbit auslasten kann?
In geas Performancevergleich der Optane 900p wird ein Intel Xeon Silver 4110 genutzt und die Performance gefällt mir. Würde eine schwächere CPU auch reichen?

Als Gehäuse habe ich das SC846 im Auge, falls ich ein guten Preis finde auch gerne das SC847, aber bin offen für Alternativen. Ich würde wahrscheinlich auf eBay ein Server mit dem Gehäuse kaufen und dann bis auf die Netzteile alles rauswerfen.
Was für ein Mainboard könnt ihr empfehlen?
Ob der 10Gbit Port ein onboard NIC ist oder dazugekauft werden muss, ist mir egal, aber er sollte SFP+ sein, da ich in den TP-Link T1700G-28TQ gehen möchte. Ist aber noch nicht gekauft und kann daher ggfls noch ersetzt werden.
Muss ich bei dem HBA nur darauf achten, dass er auf IT Mode geflashed werden kann, oder gibt's da auch Performance unterschiede?
Wie viel RAM sollte ich verbauen? Bei den aktuellen Preisen dachte ich an 32GB, auch wenn ich natürlich lieber Vollausbau hätte.
Außerdem würde ich eine Optane 900p 280GB kaufen, partitionieren, und als SLOG und L2ARC für beide Pools verwenden. Das sollte die Performancetechnisch packen, oder?

 

[besterino]

Nur mal als kreative Anregung: ins Intertech 4416 (4U 4416 - Inter-Tech GmbH) bekommst du 16x3,5“ (160TB) und mit so Delock-Dingern (DeLOCK Wechselrahmen 6x 2.5 Preisvergleich Geizhals Deutschland) nochmal 12x2,5“ für zum Beispiel gute SATA-SSDs rein.

Mainboard ist das hier ein guter Ausgangspunkt: Supermicro X11SPH-NCTPF retail ab Preisvergleich Geizhals Deutschland

Der Silver 4108 sollte eigentlich auch reichen. Wenn nix besonderes dazu kommt (Kompression, Verschlüsselung & Co.), liegt der Flaschenhals für 10G nicht bei der CPU...

 

[Bccc1]

Kompression würde ich gerne verwenden, ist aber nicht Pflicht. Verschlüsselung sollte doch dank AES-NI kaum Performance kosten, oder? Ist zwar eigentlich nicht wichtig, aber ich würde gerne aus Prinzip mein ganzes NAS verschlüsseln.
Ich hatte mal in irgendeinem Forum gelesen das bei älteren / schwächeren CPUs, in dem Fall glaube ich ein SandyBridge-EP Quad Core, Z2 schon zu viel für 10Gbit/s sein soll und nur Z1 verwendet werden darf. Das ist der Hauptgrund für meine Sorge gewesen.

 

[besterino]

Wage ich mal zu bezweifeln, kann man jedenfalls nicht bewerten ohne das konkrete Lastszenario hinter der Aussage zu kennen. Die Anforderungen an die Storage-Hardware (im engeren Sinne) sind nicht ohne, um 1 GigaBYTE konstant zu halten, gerade die IOPs für viele kleine Dateien oder parallele Zugriffe.

 

[Morpheus2200]

SLOG und L2ARC auf dem selben device würde ich ja nicht unbedigt machen, da würde ich eher auf L2ARC verzichten. Und fürs SLOG sollte man vielleicht doch zumindest einen Mirror vorsehen.
Bei der Wahl des Boards würde ich drauf achten, dass man da eventuell noch ein bisschen mehr RAM unterbekommt. Für den Fall das sich die Preise mal normalisieren.

Kompression funktioniert super und würde ich immer empfehlen, es sei denn man legt nur bereits komprimierte Daten ab.
RAID Z2 halte ich eigentlich für ausreichend, es sei denn die Datenträger haben keine lange lebensdauer und sind langsam. Mit den von dir genannten HDDs habe ich bisher keine Erfahrungen gemacht.

 

[Bccc1]

Da du mich wegen des SLOG doch etwas verunsichert hast, habe ich noch etwas gegooglet und hier im ZFS Stammtisch nachgefragt.
Ich werde fürs erste eine partitionierte Optane als SLOG für beide Pools nehmen und gar kein L2ARC nutzen. Der Performance Einfluss sollte marginal sein, da der HDD Pool fast nur async writes haben wird. Über eine zweite Optane als Mirror denke ich noch nach, erscheint mir aber nicht sooo wichtig. Sobald ich auf 64GB RAM oder mehr aufgerüstet habe, nehme ich mich wieder des Thema L2ARC an.

Wegen des RAMs sind wir einer Meinung. Ich es wird ziemlich sicher ein Board werden, dass man mit 8*32GB bestücken könnte. Auch wenn ich für den Anfang daran dachte nur 2x 16GB zu kaufen. 128GB bei Vollbestückung erscheint mir immer noch genug zu sein, damit sollte dann auch ein recht großer L2ARC wie die 280GB Optane vernünftig genutzt werden können.

Kompression kann man pro Subvolume konfigurieren, oder? Ich habe eine große Menge h.264, h.265 und ProRes codierte Medien, da bringt LZ4 wahrscheinlich gar nichts. Für meine Audio geschichten wiederum würde ich das gerne aktivieren, da habe ich unmengen an wavs rumliegen.

 

[Morpheus2200]

Kommt halt auf deine Sicherheitsanforderungen an ob du einen SLOG Mirror brauchst, ich würde mich damit wohler fühlen weil ein single point of failure weg ist.

L2ARC macht meiner Meinung nach nur Sinn wenn man wirklich immer wieder gleiche Daten liest die nicht mehr in den RAM passen oder davon auszugehen ist, dass es zeiten gibt in denen die HDDs permanent mit schreiben beschäftigt sind.
Also wenn du 32GB RAM hast und immer wieder auf Datensätzen >30GB arbeitest. Für kleinere Datensätze reicht ja der vorhandene Cache schon aus. Oder eben bei mehreren Clients anteilig kleinere Datensätze.Ich würde mir erstmal die Cache hit rate mit 32GB ansehen ob da wirklich so viel verbessert werden kann.
Wenn du dann doch einen L2ARC aufbaust muss der ja auch noch flotter sein also deine VDEVs. Für sequentielle Workloads lesend ist das manchmal garnicht so einfach. Und random I/O cache hit rates für den lesenden Teil kann man oft auch mit relativ kleinem Cache schon gut bedienen weil das meist bei relativ kleinen Datenmengen anfällt.

Du kannst ja erstmal ohne L2ARC anfangen und dann analysieren in welchen Situationen dir ein größerer Cache was gebracht hätte, wie viel größer der hätte sein müssen. Und dann kann man immernoch entscheiden ob man mehr RAM nimmt oder L2ARC.
Ich habe auf meinen ZFS Kisten bis 256GB RAM aber keine einzige hat L2ARC. Damit habe ich bei typischen Workloads schon Cache hit rates von >95%. Und die für die Fälle wo 222GB ARC nicht reichen müsste ich schon einen wirklich großen und auch schnellen L2ARC aufbauen, das rechnet sich nicht.

LZ4 tut nicht weh, spart dir zwar bei bereits komprimierten Files nichts, schadet aber auch nicht wirklich. Würde ich per defautl an lassen wenn due gemischte Dateinen ablegst.

 

[Bccc1]

@besterino: Das vorgeschlagene Supermicro X11SPH-NCTPF sieht gut aus. Sehe ich das richtig, das ich bei einem SC846 den onboard LSI 3008 controller benutzen könnte um alle 24HDDs anzubinden und die SSDs über die SATA Anschlüsse anschließen könnte? Ich bräuchte also kein extra HBA? Bei dem Intertech 4416 käme noch ein Expander dazu, sonst dasselbe, richtig? Kommt Solaris mit dem Controller klar?


@Fr@ddy:
Wenn ich das richtig verstehe, ist das SLOG ja nur wichtig im Sinne von Datenverlust, wenn der Server abstürzt. Das sollte dank USV und redundanter PSUs ja eher selten passieren.
Ich glaube ich kann mit dem Risiko leben, das in dem Fall das SLOG eventuell nicht lesbar ist. Aber ich denk nochmal drüber nach. An den Kosten sollte es am Ende auch nicht scheitern, da das ganze eh viel mehr kostet als mir lieb ist. Was sind da schon weitere 330€

Dein Vorschlag erstmal ohne L2ARC anzufangen und dann zu analysieren klingt auf jdenfall gut. Zum Grund warum ich das überhaupt für eine gute Idee hielt: Ich würde gerne meine Daten für die Musikproduktion auf dem NAS ablegen, das sind mit Projekten, Samples und Libraries ~6TiB. Von den Samples der virtuellen Instrumente werden auf dem Client nur die ersten Millisekunden in den RAM geladen, der Rest von der HDD/SSD gestreamt. D.h. ich habe dann je nach Projekt schon ein paar dutzend GiB die schnell vom NAS geliefert werden müssen und daher idealerweise im ARC liegen. Allerdings weiß ich noch gar nicht, ob ich die Daten auf das NAS auslagern werde, da ich erst die Performance testen muss. Es wäre schon schön, da ich sonst die gleichen 6TiB auf 2 PCs auf SSDs vorhalten muss.
Wegen der Geschwindigkeit des L2ARC vs vdevs: 20 Seagate Exos X10 10TB sind bei sequentiellem Lesen schneller als die Optane 900p, aber beide sind mehr als doppelt so schnell wie 10Gbit/s. Damit die Optane der Flaschenhals wird, müsste ich ein Stripe über seeeehr viele SSDs machen oder NVMe SSDs verwenden. Oder auf 40Gbit/s aufrüsten.

 

[Trambahner]

LZ4 kann man natürlich auf Subvolumes/Filesystemen abschalten. Ich habs auf Poolebene aktiviert, so dass es standardmässig auf jedem Filesystem erstmal aktiv ist. Und bei Filesystemen für komprimierte Videos deaktiviere ich es dann einzeln. Was würde ich mir LZ4 für Windows/NTFS @ Clients wünschen...(eingebaut im Filesystem, als Kommandozeilenprogramm für einzelne Files gibt es das)

Das Slog ist halt wichtig, wenn Sync-Writes reinkommen. Das ist z.B. bei SMB zumindest bei BSD standardmässig nicht der Fall. Nur bei NFS. Oder wenn man es per "sync=always" erzwingt.

Ich meine, L2ARC ist sogar kontraproduktiv bei großen sequentiellen Zugriffen, wenn der HDD-Pool schneller liefern kann als der L2ARC. Weil ZFS dann dortdrin enthaltene Daten ausliefert statt direkt vom Pool.

 

[Morpheus2200]

Wenn dein Server nicht abstürzt oder ausgeht kannst du ja auch mit sync=disabled arbeiten. Wenn dein Backup Konzept das hergibt ist das auch ok.

Sequentielle workloads sind bei 2 Striped Z2 VDEVs mit je 6 HDDs eh nicht das Problem. Da kommst du ohne Caching und Kompression schon fast auf deine benötigten Datenraten um das 10GBit Interface zum Nadelöhr werden zu lassen.

Mixed workloads sind interessant, da HDDs die gerade schreiben nicht zeitgleich lesen können. COW entschärft das ein bisschen. Schreibst du da langsam gemütlich drauf wird meine ich per default alle 5 sec oder 64MB oder so dein SLOG Inhalt auf die HDDs geschrieben.
Schreibst du allerdings konstant viel bricht die Bandbreite beim lesen weg, da würde Cache dann helfen wenn der richtige Inhalt drin ist.

Wenn du 32GB RAM hast, nehmen wir mal an du reservierst 8GB fürs System und nimmst ca. 24GB ARC size. Damit hättest du bei deinem workload dann eine Cache hit Rate die man messen kann.
In den 24GB ARC kannst du auch die Verwaltungsinformationen für ca. 120-240GB L2ARC ablegen. Zumindest war 1:5-1:10 mal in etwa der Faktor, da sollte man mal nachsehen ob das noch passt. Wäre da jetzt genau dein Kram mit dem du arbeiten möchtest drin wäre das ein brauchbares Layout für deinen Anwendungsfall. Vorausgesetzt dein L2ARC liefert dir ca. 10Gbit, auch dann noch wenn ständig neue Daten in den L2ARC geschrieben und auch gelöscht werden, denn das passiert ja fortlaufend im Betrieb.

Ist das gleiche Device noch fürs SLOG eingeteilt, muss ja auch der workload noch bewältigt werden, mit Optane könnte das funktionieren, aber das ist schon Stress für die Hardware.

Ich würde da eher drüber nachdenken das VDEV Layout anzupassen, read und write intensive Storage Bereiche zu trennen kann da helfen. Wenn die Alternative ist 2x6TB auf SSDs im client vorzuhalten darf das ja auch ein paar Euro kosten.
Aber erstmal würde ich mir ansehen, ob diese Lastsituationen wirklich so auftreten.
Striped RAIDZ2 liefert dir wirklich gute sequentielle Performance lesend wie schreibend. Nur eben nicht beides gleichzeitig. Und es versagt vollkommen bei random I/O. Ein SLOG oder sync=disabled und ein passend dimensionierter ARC entschärft das aber schon deutlich.

Nochmal zum L2ARC: Wenn wir mal von möglicherweise 24GB ARC und 200GB L2ARC ausgehen kannst du bei 80TB netto in beiden Fällen nur einen sehr kleinen Teil deiner vorhanden Daten im read cache vorhalten. Die Cache hit Rate wird sich vermutlich nicht großartig ändern, es sei denn du liest wirklich mehrmals nacheinander Datensätze die zwischen 24 und 200GB groß sind. Und solange dein System nichts anderes macht bist du bei sequentiellen reads nicht auf den Cache angewiesen weil dein VDEV setup dir ausreichend sequentielle Bandbreite liefert. Ich würde ohne L2ARC starten und erstmal sehen ob und wo es hakt.

 

[VirtuGuy]

Was würde ich mir LZ4 für Windows/NTFS @ Clients wünschen...(eingebaut im Filesystem, als Kommandozeilenprogramm für einzelne Files gibt es das)

Du kannst LZX auch auf Volumes aktivieren, das war eigentlich eine der Standard-abfragen des NT Installer. Das wurde auch zu NT 3.5 als der "Vorteil" gegenüber HPFS in OS/2 beworben.

Ich würde mir eher RDMA taugliche Netzwerkadapter in jedem Client wünschen

 

[Trambahner]

Ich meine, gea hatte sogar Fälle mit der Optane, wo erzwunge Sync-Writes schneller als sync=disabled war.

Das NTFS auf Volumelevel komprimieren kann, ist mir bewusst; nur ich dachte das sein ein anderer Algorithmus. Die NTFS-Kompression erscheint mir für wenig komprimierbare Files immer ziemlich langsam im Vergleich zum LZ4 zu sein. Aber mal sehn, wie es mit ZFSin (ZFS on Windows) weitergeht, muss da mal die neue Version (0.06) testen.

 

[Bccc1]

Ich würde da eher drüber nachdenken das VDEV Layout anzupassen, read und write intensive Storage Bereiche zu trennen kann da helfen. Wenn die Alternative ist 2x6TB auf SSDs im client vorzuhalten darf das ja auch ein paar Euro kosten.
Aber erstmal würde ich mir ansehen, ob diese Lastsituationen wirklich so auftreten.
Striped RAIDZ2 liefert dir wirklich gute sequentielle Performance lesend wie schreibend. Nur eben nicht beides gleichzeitig. Und es versagt vollkommen bei random I/O. Ein SLOG oder sync=disabled und ein passend dimensionierter ARC entschärft das aber schon deutlich.

Ich glaube, das ich auf dem HDD Pool meist primär lesend oder schreibend zugreifen werde. Also entweder lese ich ProRes Filme beim Videoschnitt, habe dabei meine temporären Dateien lokal. Oder ich kopiere das Ergebnis aufs NAS. Solche Workloads halt. Das NAS muss nur damit klarkommen, das parallel jemand Musik streamt oder ein Film sieht. Aber selbst bei untouched UHD rips sollte die Datenrate das NAS kaum belasten.
Für die random I/O mixed workload geschichten ist ja der SSD Pool gedacht, bei dem ich erst die Performance testen muss, bevor ich weiß, für wieviel meiner Arbeit das zu gebrauchen ist. Für den Test wollte ich erstmal nur die Optane bestellen und die als vdev in ein eigenen pool packen. Wenn das schnell genug ist, muss ich weiter sehen ob ich mehrere SATA SSDs als RAID10, RAID50 oder direkt als RAID0 betreibe, oder auf NVMe gehen muss. Mit einer Adapterkarte könnte ich ja 4 Stück in dem x16 Slot unterbringen. Das kommt dann alles aber erst, wenn ich ein bisschen mit dem Server rumgespielt habe.

 

[Bccc1]

Spricht irgendwas gegen das Supermicro X11SPH-NCTPF? Sonst würde ich das schonmal hier kaufen, bevor das Angebot weg ist.

 

[Fusseltuch]

Meiner Meinung nach nicht, der Onboard-RAID-Controller muss nur per Hand auf HBA gebracht werden, Supermicro sieht das aber explizit vor, ist also kein Problem.

 

[Bccc1]

So, das Mainboard habe ich DunklerRabe abgekauft. Keine Ahnung wann es ankommt, aber hier solls schonmal weitergehen.

Als CPU habe ich mich auf den 4110 festgelegt. Sollte ich mir den Tray holen und ein eigenen Kühler kaufen oder einfach die Boxed Version? Die Boxed kostet 54,36€ mehr, das ist teurer als ich für ein Kühler zu zahlen erwarten würde.
Ich fänds zwar super wenn der Server nachher leise ist, weil ich normalerweise meine Silent Obsession ein wenig übertreibe, aber der Server wird eh außer höhrreichweite stehen und ich schätze gegen die Gehäuselüfter und Festplatten macht der CPU Kühler kein großen Unterschied.

Wegen des Gehäuses: Dieses SC846 mit dieser Backplane, klingt das nach einer guten Idee?
Damit zahle ich in etwa den Preis, den ich bei eBay für ein SC846 mit schon eingebauter passender Backplane zahlen müsste und habe dazu alte Serverhardware, aus der ich mein Backup NAS bauen könnte.

Und zu guter letzt: Welchen und wieviel RAM kaufe ich jetzt am besten? Ich will erstmal mit nicht zu viel anfangen und nachkaufen sobald sich die Preise normalisiert haben. Ich dachte an 32GB für den Anfang. Klingt das sinnvoll?
Wie wichtig ist die RAM Geschwindigkeit? Vom günstigsten 1600er zu einem guten 2400er verdoppelt sich der Preis ja glatt. Lohnt sich das?
Wenn die Bandbreite wichtig sein sollte, wäre es wahrhscheinlich auch gut, nicht die 32GB Module zu nehmen, sondern die 16er, da ich damit bei meiner Einstiegskonfig mehr Speicherkanäle nutzen kann.

 

[gea]

CPU Lüfter brauchts nicht.
Die Lüfter der Backplane reichen mit einer Luftführung völlig (mehrfach so stark/laut wie ein CPU Lüfter)

Eine Expander Backplane kann man nehmen, vorzugsweise wenn man auch SAS Platten einsetzt.
Eine passive Backplane ist schneller und garantiert troublefree mit Sata Platten.
Man braucht halt einen oder zwei weitere SAS HBAs, idealerweise mit gleichem 12G Chipsatz wie onboard.

Speicherperformance halte ich eher für irrelevant, Menge und Anzahl ist wichtiger.

 

[besterino]

Bei den 3647er Xeons ist NIE ein Kühler dabei, auch nicht bei den Boxen. Du brauchst in jedem Fall einen - entweder ohne Lüfter („Heatsink“) oder mit.

 

[Bccc1]

Zwei weitere HBAs mit dem SAS3008 Controller wären deutlich teurer als eine SAS2 Expander Backplane. Sehe ich das richtig, bpn-sas2-846el1 unterstützt dual-link, ich könnte also bei 24HDDs 250MB/s pro HDD hinkriegen? Das würde mir reichen, mehr können die HDDs eh nicht. Oder bremsen die Expander noch auf irgendeine andere Weise?
SATA Kompatibilität wäre zwar schön, aber bei den aktuellen Preisen wäre es auch kein Problem SAS Festplatten zu kaufen.

Wegen des Kühlers, muss ich da irgendwas beachten, oder einfach ein beliebigen 3647-Narrow-ILM Kühler der unter die Luftführung des Gehäuses passt?
Dann wirds wahrscheinlich ein Dynatron B4 oder Intertech B4, was anderes hab ich auf Geizhals nicht gefunden und Sie scheinen Baugleich zu sein.

 

[besterino]

Öh... CPU-Khler mit Sockel: 3647-Narrow-ILM Preisvergleich Geizhals Deutschland

Die Liste ist nicht einmal vollständig: der Supermicro SNK-P0070APS4 ist zum Beispiel auch Narrow-ILM wie auch weitere, wenn man mal bei Supermicro schaut und nach Socket "LGA 3647-0" filtert...

Noctua will demnächst auch, aber wenn man jetzt was braucht, nutzt das noch nichts.

 

[Bccc1]

Stimmt, da habe ich mist geschrieben. Ich meinte eigentlich, ich finde dort sonst keine low profile heatsinks ohne Lüfter.

Edit:
@besterino, ich habe jetzt erst deine Signatur gesehen. Du hast ja das InterTech 4416 mit einem seperaten Expander in Betrieb. Das kostet zusammen ja fast so viel wie ein SC846 mit expander Backplane auf eBay. Ich war bisher der Ansicht das SC846 mit Backplane sei die grundsätzlich bessere, wenn auch etwas teure Option. Was ist der Vorteil deiner Lösung?

 

[besterino]

Lautstärke.

Zumindest für mich der elementare Vorteil.

Ich hab hier noch das SC836 mit Expander Backplane und so ziemlich allem Zubehör, was das Herz begehrt. Die Netzteile mit ihren 40mm Lüftern, auch die PWS-920P-SQ ("super quiet"), waren mir einfach zu laut. Bei mir staubt's daher zu. Ansonsten sind die SM aber schon echte Leckerbissen.

Das 4416 bringt halt neben einem 08/15 ATX-Netzteil-Platz mittig 3x120mm Fans statt 80mm unter. Die von Intertech mitgelieferten (übrigens 3-Pin) habe ich allerdings auch gegen Noctuas getauscht (macht's nochmal teurer). Weiterer Kostentreiber: Netzteil kommt extra, sollte bei einem SC846 ebenfalls dabei sein (je nach konfiguration eben redundant oder nicht).

Nett beim Intertech sind halt die 2x5,25"-Einschübe, da kann man dann z.B. 12x 2,5" unterbringen (SSDs, richtig warm werdende HDDs würde ich wohl nicht so eng packen - für die eignen sich dann eher die mitgelieferten Schlitten für je 4x2,5", allerdings nicht hotswap).

Hier hatte ich mal ein paar Bilder von dem Gehäuse gepostet: [Bilder+Kommentare] HomeServer-Vorstellungsthread - Seite 84

 

[Bccc1]

So, ich hab jetzt die CPU+Heatsink, 32GB RAM, eine U.2 Optane + Oculink Kabel, ein Gehäuse mit Expander Backplane und 2x SFF-8087 - SFF-8643 Kabel für die Verbindung zum HBA bestellt. Außerdem habe ich mir ein Switch mit 4xSFP+ (den TP-Link T1700G) und für meinen PC eine Mellanox Connectx-3 gekauft, aber das ist hier nicht so wichtig.

Da das Thema SSD Pool erst später kommen soll, bleiben jetzt nur noch die HDDs.
Und da bin ich noch sehr verunsichert. Wenn ich 10TB HDDs nehmen will, bleibt mir preislich ja kaum was anderes übrig als die Seagate Exos X X10 10TB oder HGST Ultrastar He10 10TB, aber bei denen gibt's so viele Versionen

SAS vs SATA: Ich habe oft gelesen, das es mit manchen SATA HDDs Probleme mit Expandern gibt, aber zu wenig konkretes gefunden. Kann ich mit einer Supermicro Backplane mit LSI Expander an einem LSI HBA auf diese Probleme stoßen, oder brauche ich mir da überhaupt keine Gedanken machen?

512e vs 4kn: Soweit ich verstanden habe, kann 512e bei richtiger Konfiguration von ZFS gleich schnell wie 4kn sein, wenn der Festplattenhersteller nichts vermurkst. Aber woher weiß ich jetzt, ob das für die Seagate Exos X X10 10TB und HGST Ultrastar He10 10TB zutrifft?

P3: Haben moderne Cases/Backplanes inzwischen standardmäßig das Power Disable Feature auf Pin 3, oder würde das explizit im Datenblatt erwähnt werden? Ich habe zu keiner von Supermicros Backplanes etwas dazu finden können. Ich werde wahrscheinlich eh eine HDD ohne P3 kaufen, aber ich wüsste das trotzdem gerne.

ISE/SE & Co dürften für mich eigentlich egal sein.

Wenn das alles egal sein sollte, würde ich die Seagate Exos X X10 10TB, 512e, SATA 6Gb/s (ST10000NM0016) bei Mindfactory kaufen. Ist das günstigste Modell und hat den geringsten Stromverbrauch. Oder hat jemand ein besseren Vorschlag?

 

[Morpheus2200]

Ich habe auch nur immer wieder gehört, dass SATA Platten hinter SAS Expandern wohl nicht immer Problemlos sind. Daher haben meine Systeme alle SAS Platten.
Ich kann dir also nichts zum Betrieb mit SATA HDDs sagen. Außer das mit immer nur empfohlen wurde die direkt anzuschließen wenn ich welche hätte und nicht über Expander.
Aber neben dem SAS Interface gibt es noch 2 Gründe die für die ähnliche ST10000NM0096 sprechen würden. Mehr random write IOPS und T10 Data Integrity.

Aber ich denke mit ein bisschen Suche könnte man auch was finden zu dem "keine SATA Platten hinter SAS expandern" Mysterium.
Das hier ist was älter, aber da sprechen ein paar Leute über Ihre Erfahrungen. http://garrett.damore.org/2010/08/why-sas-sata-is-not-such-great-idea.html

 

[gea]

SAS nutzt einen größeren Spannungshub. Das macht die Verbindung stabiler und erlaubt 10x so lange Kabel wie bei Sata. Zusammen mit einem robusteren Übertragungsprotokoll gibts damit stabilere Verbindungen. Dazu kann SAS Multipath.

Das Sata Protokoll läßt sich über SAS tunneln. Mit neueren Expandern klappt das ganz gut. Es gibt allerdings immer wieder Berichte über Sata Platten die bei Problemen den Expander blockieren oder resetten können. Das kann auf die Performance gehen oder Fehlerbehebung schwierig machen da die defekte Platte nicht sofort erkann wird.

Daher nach wie vor die Regel: Professionelles Storage mit Expander = SAS Platten
Mein Tipp: HGST HE (SAS)

zu 512E vs 4k
ZFS ist das egal. Wird die Platte als physical 4k erkannt wird automatisch ashift=12 (4k Modus) benutzt.

 

[Bccc1]

@Fr@ddy:
Danke für den Hinweis, ich dachte bisher die SATA und SAS Version der Enterprise Capacity/Exos seien gleichschnell. T10-DIF sieht zwar ganz nett aus, aber ich sehe noch nicht so wirklich den Nutzen mit ZFS. Mit einem Hardware RAID könnte ich mir gut vorstellen, das man das haben will. Was mich aber am Ende überzeugt hat (aus deinem Link):

SATA drives won't have a SCSI GUID (ATA specs don't require it), and so the fabricated GUID (created by the SAS converter) may be different when you move the drive to a different chassis, potentially breaking things that rely on having a stable GUID for the drive.

@gea:
Ok, SAS ist schonmal klar. Multipath wird mir bei meiner singleextender Backplane (BPN-SAS3-846EL1) nicht viel bringen, aber "robust" und "stabil" höre gerne ^^
Ich will ja nicht auf letzter Strecke mit dem knausern anfangen, aber die HGST SAS wären bei insgesamt 24 HDDs 455,28€ teurer als die Seagate SAS HDD. gea, magst du erklären warum du die HGST empfielst? Ich brauche noch einen Grund um nicht das Gefühl zu haben Geld aus dem Fenster zu werfen

 

[gea]

Reines Bauchgefühl.
Die Daten sind ähnlich und die Garantie ist gleich.

HGST nutze ich halt seit bald 10 Jahren mit überragend niedrigen Problemraten, waren auch die ersten mit Helium Füllung. Dazu hatte ich beim letzen Mal als ich mit Seagate "fremd ging" richtig böse Pech. Da habe ich ein gutes Dutzend 3TB Platten nach Ablauf der Garantie weggeworfen nachdem ich damit fast einen Z3 Backup Pool verloren habe (was normalerweise in etwa so wahrscheinlich ist wie ein Lotto Hauptgewinn). Auch wenn diese spezielle Seagate Serie nicht für sonstige Seagates steht, dennoch..

 

[Bccc1]

Ich hab mal auf dein Bauchgefühl vertraut und 18x He10 bestellt. Das Hobby treibt mich noch in den ruin

Sobald alle Teile da sind melde ich mich wieder, Fragen werden ganz sicher aufkommen. Bis dahin erstmal vielen Dank an alle die mir hier geholfen haben!

 

[Morpheus2200]

Ja dann mal viel Spass mit deinem neuen System.
Ist schon was anderes, wenn es das eigene Geld ist, aber ich halte SAS auch bei einem Storage der Größenordnung schon für Sinvoll.

Ich bin auch beeindruckt wie wenig HDD Ausfälle ich in den letzten Jahren zu beklagen hatte. Die paar Euro mehr für "Enterprise Disks" haben sich vermutlich gelohnt.
HGST habe ich hier auch in einigen Storage Systemen, so gut wie keine Ausfälle bisher.
So richtig danaben gegriffen habe ich bei HDDs schon seit fast 10 Jahren nicht mehr. Damals waren es aber auch Seagate Consumer Platten die innerhalb kürzester Zeit aufgrund fehlerhafter Firmware ausgefallen sind.

 

[Bccc1]

So, die Teile sind inzwischen da und ich habe die Backplane des gebrauchten SC846 gegen eine SAS3 Version getauscht. Nun sind die Stromanschlüsse dort anders verteilt, so das ich mit den aktuell installierten Kabeln nur Pwr 1,4,5,6 anschließen könnte. Was schlagt ihr vor, Verlängerungen kaufen, gleich das ganze Powerdistribution Board tauschen oder erstmal ignorieren, da ich ja erstmal nur 18 HDDs anschließen werde? Bzw geht das überhaupt? Wird der Strom gleichmäßig auf alles verteilt, oder sind dann einfach ein paar Bays Stromlos?

Edit: Bild eingefügt

Wie man sieht, sind auf der rechten Seite zwei Stromanschlüsse, an die ich mit den Kabeln nicht rankomme. Ein Kabel ist sehr knapp zu kurz, das andere deutlich zu kurz.

Edit 2:
Ich war mir sicher, das ich ein SFF-8087 -> SFF-8643 Kabel für die Backplane bräuchte, aber scheinbar gilt das nur für die älteren Modelle. Meine Backplane braucht genauso wie der Controller ein SFF-8643 Stecker. Außerdem hab ich Dödel das Oculink Kabel vergessen zu bestellen. Dadurch bin ich für dieses Wochenende erstmal darauf beschränkt, den vSphere Hypervisor kennenzulernen.