Netzteildimensionierung bei 30 HDDs

[Digi-Quick]

die 15 h war ein AMD Turion, der i3 ist ca.3,5 x schneller (und ein kleiner Xeon wäre etwa 6x schneller)

JA, ZFS, da geht eigentlich kein Weg dran vorbei.
Ich erwarte prinzipiell eigentlich auch keine Probleme mit den 8 TB Platten mit SMR wegen der teilweise einbrechenden Schreibperformance der Platten, da ZFS kein TLER (ERC usw.) unterstützt, damit dürften die Platten nicht wegen Controllerseitig zu kurzer Timeouts aus dem Raid fliegen, wie es bei Raidcontrolleren fast zu erwarten ist. Auf der anderen Seite habe ich nichts darüber gelesen, ob ZFS nicht doch
irgendwo Timeouts definert hat, wann ein Schreibprozess abgeschlossen zu sein hat, falls sich ein Platte tatsächlich mal nicht wieder meldet, aka "still abgeraucht ist".
Aus diesem Grund werde ich natürlich erstmal ein Testsetup fahren und ein wenig stressen.

Bislang bin ich mit Nas4free sehr zufrieden, OI mit Napp it hatte ich mir auch schon angeschaut, Vorteil ist halt eine "richtige GUI" mit entsprechenden Werkzeugen, die man nutzen kann - "nur dat ist 'n NAS und keine Spielwiese"! Für das Dateimanagement reicht mir auch ein MC in der Shell, auch wenn ein Krusader schöner ist. Bei den Editoren sieht das leider anders aus, da komme ich mit den ganzen Shell-Editoren nicht wirklich klar, über 20 Jahre Dos/Windows Welt prägen halt auch Tastaturkürzel.
Zu OmniOS bin ich noch gar nicht gekommen.
Freenas mochte ich nicht ist (zuviel für mich unnötiges Beiwerk).
Für PC-BSD gilt eigentlich das gleiche wie für OI, auf der einen Seite eine klasse GUI die man auch via VNC remote nutzen kann, auf der anderen Seite "Wozu"

Zu ZFS gibt es eigentlich nichtmal eine 2. Wahl, alles andere ist eher 3. Wahl.

Nochmal zu den Temps:
Zum Testen habe ich sozusagen alles da reingehängt, was ich hier an Platten liegen habe.
De 1,5 TB Seagate Platten gehen auf 50-52 ° innerhalb von 2 Stunden bei moderater Kühlung (leiser als die Platten) zeitgleich haben die Samsungs und WDs gerade mal 38-40° und die beiden Hitachis liegen dazwischen mit 44-46°. Alle Platten sind 7200er (RPM).
Bei hochgedrehten Lüftern ist alles rund 2-4° kühler. Wo werden sich die neuen 8TB von Seagte einordnen?
Plattentemperaturen über 40° habe ich nicht mehr gesehen, seit ich meine Platten aktiv kühle, davor sind mir 2 Platten den Hitzetod gestorben - vermutlich auf Grund von Lagerschaden (die waren jedenfalls derbe heiss geworden).

 

[pumuckel]

JA, ZFS, da geht eigentlich kein Weg dran vorbei.

da gehen viele wege vorbei grad bei reinen archivablagen

snap + greyhole (stromsparendes), shr ... etc

und erzähl nicht dass du die HDDs produktiv einsetzt

 

[gea]

da gehen viele wege vorbei grad bei reinen archivablagen

snap + greyhole (stromsparendes), shr ... etc

und erzähl nicht dass du die HDDs produktiv einsetzt

An modernen Dateisystemen wie ZFS (oder btrfs, ReFS, WAFL etc) als Dateisystem geht bei großen Datenmengen oder bei Langzeitarchiven meiner Ansicht nach nichts vorbei.

Copy On Write (immer konsistente Dateisysteme bei denen man kein tagelanges unmount für einen Check braucht der dann mangels Prüfsummen eh wenig kann) mit Echtzeit Prüfsummen auf Daten und Matadaten: Kann mir nichts anderes mehr vorstellen.

Anders sieht es allenfalls mit der Raidfrage aus. Echtzeit Raid (Egal ob in Hardware oder Software wie bei ZFS) bringt Performance und schützt in Echtzeit kostet aber Strom. Auch schränkt Echzeitraid oft die Erweiterbarkeit mit einzelnen Platten ein. Finde ich unwichtig ist aber für manche Homeuser ein Problem.

Backupprogramme die Raidprinzipien nutzen und on Demand arbeiten können im Heimbereich für Mediadaten die sich selten ändern eine Alternative sein. Für wichtige Daten würde ich es ohne ZFS & Co aber nicht nehmen da sie nur für den Zeitpunkt verifizieren in dem die Daten fürs Backup gelesen werden. ZFS verifiziert im OS bereits beim ersten Schreiben und deckt damit alle Fehler die im Treiber, Kabel, Backbone, Platte oder Stromversorgung entstehen mit ab.

 

[Digi-Quick]

und erzähl nicht dass du die HDDs produktiv einsetzt

Was heisst für dich Produktiv?

Die Platten werden so eingesetzt, wie vom Herteller vorgesehen - Als Datenarchiv! Halt nicht als einzelne Platten sondern mit Redundanz versehen.
d.h.:
- überwiegend WORM Betrieb (Write Once, Read Many), es wird sicherlich mal vorkommen, daß Dateien verschoben (umorganisiert) oder sogar gelöscht werden
- Das System läuft nur bei Bedarf, z.B. um die Daten vom kleinen NAS zu sichern.

 

[JohnnyBGoode]

Ich steige mal in das Thema mit einer Frage zu einem ähnlichen Szenario ein:

Ich bastle ein externes HDD-Gehäuse mit einigen (12) 3er Backplanes und einem SAS-Expander, die eigentlich alle mit Molex versorgt werden wollen. Mir ginge es darum, ein vorhandenes standard PC-Netzteil (Sea Sonic SS-860XP2), das nebenbei das Hauptsystem versorgt (Xeon E5 1260V3, 4 x DDR4 ECC, GTX 960, LSI 9361) am effizientesten zu verbinden und nicht gefühlt 100 Molex-Y-Adapter und -Verlängerungen zu verbauen (die Kabellänge der Netzteilkabel würde nicht reichen). Ich dachte mir, im HDD-Gehäuseinneren 4 Hauptleitungen mit großem Querschnitt (je 20 qmm) für die 5 und 12 V-Schienen zu machen und dann je "Etage" entsprechend Molex-Verbindungen herauszuführen. Für die 5 V-Hauptleitungen würde ich dann vier Molex-Stecker vom Netzteil parallel anschließen (hier nur die 5 V-Leitungen verbinden) und für die 12 V-Hauptleitungen jeweils drei 8-Pin-PCI-Express-Netzteilanschlüsse, um eventuellen Anlaufströmen bei Maximalbestückung gewappnet zu sein.

Wäre das eine technisch saubere Idee oder eher Mist?

 

[Digi-Quick]

Update:
Die Platten waren schuld - wie erhofft!
Die Temps der neuen 8TB Platten sind gut 8-10° kühler. Damit bin ich in einem für mich akzeptablen Temperaturbereich von max. 45°.

 

[Stefan 0815]

Wäre das eine technisch saubere Idee oder eher Mist?

Ehrlich gesagt hört sich das Ganze nicht so sauber an. Das Problem mit den Kabeln ist ja nicht nur der Querschnitt, sondern auch die Induktivität die mit zunehmender Länge ebenfalls zunimmt.
Nicht umsonst sind guten Backplanes nochmals einige Kondensatoren zur Filterung der Betriebsspannung verbaut. Die Steckverbinder, die du im PC findest (gerade molex) werden eigentlich nur verbaut, weil jene so wahnsinnig billig sind.
Jede Steckerbindung ist wesentlich schlimmer, als das Kabel an sich. Von daher würde ich probieren jede Steckverbindung möglichst zu umgehen:
Also bei deinem modularen Netzteil direkt die Adapterkabel in den Verbindungsstecker löten. Eventuell bekommt man dazu irgendwo günstig weitere Stromkabel und muss nicht die originalen "verwursten".
Als Verbindung zwischen den Gehäusen würden mir im Moment die einigermaßen gängige Speakon in 4 Pol Ausführung einfallen. 40A Dauerlast sind mit den besseren Versionen kein Problem.
Weil die Stecker rund sind, lassen sie sich auch relativ einfach mit Hausmitteln einbauen.
Mehr als 4qm sind eigentlich nicht notwendig. Einige kleinere Pufferkondensatoren (um 100uF) mit einlöten, besser mehrere kleine Kondensatoren, als einen dicken...

 

[Digi-Quick]

Die Leitungsinduktivität wird nur im Ein-oder Auschaltmoment wirksam, im Betrieb ist die zu vernachlässigen, da hier Gleichspannungen anliegen, mit einer sehr geringen Restwelligkeit.
Die Übergangswiderstände der Steckkontakte addieren sich natürlich, sind aber im Betrieb eher zu vernachlässigen, eine Lötverbindung hat natürlich einen geringeren Übergangswiderstand. Ab 5-6 Steckverbindungen zwischen Netzteil und Verbraucher, kann man sich mal Gedanken machen, ob man nicht welche einsparen kann.
Bis auf die Anlaufströmer der HDDs auf der 12V Schiene leiegn die Ströme im mA Bereich, wobei diese sich natürlich dann auch mal zu 1-3 A addieren können. (10x150ma = 1,5A)

 

[JohnnyBGoode]

Danke noch für das Feedback. Im Modding-Forum wurde die "eine fette Leitung"-Idee verworfen, nun teile ich die Last auf fünf 8-Pin-PCIe- und vier Molex-Quellen auf, d. h. ein 6er-Pack-Festplatten wird direkt von 2 x 12 V von einem 8-Pin-PCI-E-Stecker versorgt, einzig die 5 V-Quellen werden "etwas" gesammelt. Einen Prototypen bastle ich wahrscheinlich mit Lüsterklemmen und 1,5 mm²-Litze, um zu sehen, wie der Leitungswiderstand der ganzen Kette bis zum Verbraucher sein wird und in wie weit die Spannungen abfallen (mit einem Fluke 117-Multimeter).

Leider fehlt gerade etwas die Zeit, aber ich bleibe dran. Schade, dass es keine "dickeren" Fertig-Gehäuse mit trägerlosen 3,5"-Einschüben gibt, das ist für mich ein KO-Kriterium. Aber es hat auch etwas positives, je drei HDDs sind dann in einem isolierten Gehäuse und können gut entkoppelt werden, dann leiden die Konsumenten-NAS-Modelle nicht so durch die zunehmenden Vibrationen.

 

[Stefan 0815]

'Elektrotechnikbesserwissereimodus EIN'
Das die Induktivitäten nur beim Anschalten interessant werden, glaube ich noch nicht so ganz daran: Ohne ausreichende Pufferkondensatoren bricht dir bei einem transienten Strombedarf die Spannung ein. Dann fällt die Spannung über das Kabel ab.
Kurz gesagt: Nur durch die Vielzahl an Pufferkapazitäten wird aus dem PC Stromkreis eine Gleichspannungsvereinfachung ;-P. Ob da allein die Eingangskapazitäten der Festplatten (manchmal sogar CLC Filter) ausreichen? Ich würde mit einer kleinen Kapazitätsbank mit niedrigem Innenwiederstand besser schlafen ;P
Ich habe gestern eine Backplane im Netz gesehen, bei der die Backplane pro Festplatte mit einem dicken Elko ausgestattet wurde. Ob jedes Netzteil bei ausbleibender Last mit einer ganzen Elkobank zurechtkommt (z.B. bei ausgebauten Platten)???
'Elektrotechnikbesserwissereimodus AUS'

Es wäre auch denkbar für die 5V Schiene einen lokalen DCDC Wandler zu verwenden, dann benötigt man noch weniger Kabelverhau.

Noch einen schönen freien Montag!

 

[Digi-Quick]

[Elektrotechnikermodus EIN]
Ich sprach von einer Restwelligkeit, die mit einem zulässigem Spannungshub von max. 1,2V auf der +12V Schiene - laut ATX Spezifikation - induktiv vernachlässigbar ist.
Real sind die Spannungshübe deutlich geringer - Chinaböller mal ausdrücklich ausgenommen!

Auf den Datenleitungen ist da deutlich mehr los
[Elektrotechnikermodus aus]
*SCNR*