Hardware für neuen Freenas Server

[Sasch]

Hallo Zusammen,

ich habe mir gerade einen neuen FreeNAS Server zusammen gestellt. Vielleicht kann jemand mit darüber schauen oder hat noch Verbesserungsvorschläge

Als Dienste sind geplant
- Emby Server - Teilweise 4K Encoding fürs Ipad.
- Sabnzbd
- Nextcloud
- VM Ubuntu Server für PiHole - (Pihole gibt es anscheinend nicht als plugin)

Hardware

Motherboard : Supermicro X11SCA-F
CPU : E-2224G (Wenn verfügbar - so lange kommt ein G5400 zum einsatz)
CPU Lüfter - Noctua DH 15 Black - Hoffe das der auf das Mainboard paßt. Jemand erfahrung ??
4x 16GB KSM26ED8/16ME
Netzteil - Habe noch ein Corsair RM650i
Gehäuse - Fractal Design Define 7 XL mit 18 Laufwerksschächten
1x HP 10GB Netzwerkkarte (Läuft mit Freenas schon getestet)
1x SATA Controller Karte (HBA) mit 8 Kanälen - LSI 9211-8i


Festplatten:
8x 8TB Seagate IronWolf (5x neukauf) -
8x 4TB WD Enterprise (sind vorhanden)
1x NVme 256GB als System (Vorhanden)


Geplant sind zwei Pools mit einmal 48TB und 24TB jeweils im RaidZ2 verbund

Das ganze soll natürlich Stromsparend sein da es 24/7 laufen soll.

 

[Digi-Quick]

Das ganze soll natürlich Stromsparend sein da es 24/7 laufen soll. Deshalb auch den I3 9300T

Mit den Prozessoren kannst du keinen Strom sparen, die haben nämlich weniger Leistung und erzeugen daher weniger Wärme im Lastzustand!

Diese CPUS haben nur ein gerechtfertigtes Einsatzszenario :
Sehr Kleines Gehäuse und passiv gekühlt, da kein Lüfter raufpasst!

Die Stromsparzustande C2-C6 sind bei den CPUs einer Generation nahezu gleichwertig, und in diesen Zuständen sind diese CPUs weniger Zeit, da sie länger brauchen um Ihre Aufgaben zu erfüllen.

Arbeit = Leistung x Zeit
Interessant ist die Arbeit, denn die bezahlst du bei deinem Stromanbieter!

die 16 HDDs brauchen ca. 32A Anlaufstrom auf 12 V, das sind schon fast 400 W, daher dürfte das 650 Watt Netzteil ausreichend sein - im Single Rail Betrieb.
Staggered Spinup ist nicht möglich - mir ist zumindest kein Netzteil bekannt, beim dem Pin 11 der SATA Stecker unbelegt/offen oder auf "High-Level" ist, das unterstützen eigentlich nur entsprechende Backplanes, bei denen Pin11 dann auf eine Activity LED gelegt ist).
(Es kann natürlich sein, daß sich das mitlerweile geändert hat.)
Mit Staggered Spinup würde ein 450-500 Watt Netzteil reichen, welches im 24/7 Betrieb dann den besseren Wirkungsgrad hätte - selbst mit nur "Bronze".

Falls das die HP NC523SFP Netzwerkkarte ist, die ist auch nicht gerade Sparsam.....

 

[Sasch]

@Digi-Quick - Ist intressant wegen der CPU. Welche CPU würdest du empfehlen ??

Die CPU wird die meiste Zeit im Idle sein . Bestmmt den halben Tag. Da wollte ich eine mit einem niedrigen TDP.

Das Netzteil kann zwischen Single Rail und Multi Rail umgeschalten werden. Die Controller Karte unterstützt dieses Staggered Spinup. ob das dann funktioniert weiß ich allerdings nicht. Habe mich damit noch nicht beschäftigt.

Die Netzwerkkarte ist eine HPE Ethernet 10Gb 2-port 571SFP+ Adapter based on the SFC9020 Controller from Solarflare. Die hatte ich in meinem MacPro laufen. 5.9W typical, 7.5W maximum

 

[Trambahner]

Die TDP hat null,null mit Idle Leistungsaufnahme zu tun. Ein 9300T braucht im Idle genauso viel im Idle wie ein 9300 oder ein G5400.

Vor allem xxxT und xxxL CPUs sind lediglich in ihrer maximalen Frequenz gedeckelt, um in kleinen Gehäusen in ihrer Leistung begrenzt zu sein.
=> in einem Midi oder Full Tower völlig sinnlos.

Nimm nen normalen 9300 oder 9300F (=CPU ohne Grafikchip, das Mainboard hat ja IPMI) , wofür der DH 15 übrigens komplett überzogen ist.
Mit dem Noctua kannst sogar nen E-2278(G) draufpacken, wenn Du 8 Kerne willst. Der hat Idle übrigens fast genauso wenig Leistungsaufnahme hat wie die i3.

Btw, bei den ganzen Komponenten (Board mit IPMI, 10GB, SAS HBA) spielt es de facto keine Rolle mehr, ob eine CPU 5W im Idle mehr oder weniger braucht.
Alleine SAS HBA und 10GB Netz werden ohne Last knapp 20W ziehen, ein AST2500 (IPMI) zieht auch 5-7W.

Eine Non-Helium Enterprise HDD kannst mit 8-10W drehend im Leerlauf ansetzen.

 

[Sasch]

Wenn der TDP egal ist und die im Idle eh alle gleich sind kann ich auch gleich ein Xeon E-2224G oder Xeon. E-2124G reinmachen. Kühlung kann man nie genug haben. Gehäuse ist ja groß genug .

 

[Trambahner]

Idle Leistungsaufnahme ist bei Sockel 1151/1151v2 innerhalb einer CPU-Generation weitgehend identisch. Nach oben hängts dann davon ab, wieviele Kerne und wie hoch die Taktfrequenz. Bei den aktuellen Intels kanns da während Volllast @ Turboboost auch deutlich über die TDP hinausgehen.

 

[Sasch]

Ok Das wußte ich nicht das die im Idle alle gleich sind. Es wird dann später ein Xeon E-2224G reinkommen wenn die mal verfügbar sind. Ein 4 Kerner reicht für meine Sachen. Die werden sich eh die ganze Zeit langweilen.

 

[Trambahner]

Unterschätz das Storage nicht, v.a. bei 10G. Meine ZFS-VM (1 Raidz2 6HDD und 1 Pool aus 3 Mirror SSD-Pärchen) kann z.B. durchaus 2 Kerne (hab nen E3-1240v5 drin) voll auslasten. Je nach Zugriffsaktivität kann aber auch annähernd keine Last auftreten.

Cache-SSD? Nutzt Dir für sequentielles Lesen, also Streaming an Clients, eher weniger. Btw, es gibt bei klassischem ZFS keinen SSD-Write-Cache; das übernimmt das Ram. Cache-SSD kommt nur als Lesecache (L2ARC) zum Einsatz und bringt auch eher was bei Random I/O. Kommt im Detail aber auf das genaue Nutzungsverhalten an.
Einzelne OpenZFS-Versionen (z.B. bei OmniOS ) haben mittlerweile die Möglichkeit sogenannter "Special vdevs"; das sind SSDs die einem Plattenpool hinzugefügt werden und Metadaten und Random I/O kleiner Blöcke speichern. User "gea" kann Dir hier mehr zu sagen.

 

[Sasch]

Ich brauche das NAS ersteinmal als ablage für Filme in Emby und als weiteren einsatz zum Speichern größere Daten . Muß öfters Datenmengen zwischen meinem MacPro und dem Nas hin und her kopieren. Deshalb wird der Mac auch direkt per 10GB angebunden. Das NAS selbst kommt dann noch per 1GB ans normale Netzwerk.

Die 10GB Karte wird eigentlich nur benutzt wenn Daten zum Mac übertragen werden.

Beitrag automatisch zusammengeführt: 06.05.2020

Im Moment mache ich mir auch etwas gedanken ob der 1151 der richtige Slot ist. Das Board kann ja mit ECC Rams nur 64Gb. Das reicht natürlich im Moment. Der server sollte aber sagen wir mal die nächsten 5 Jahre ausreichen. Geplannt ist in zwei Jahren die 8x4TB platten durch 8x 10TB oder Größer zu ersetzen. Da wird es mit den 64GB schon eng oder ??

 

[Gen8 Runner]

Gute Zusammenstellung. Nutze eine ähnliche Kombination, das Mainboard kann 128GB RAM ab, der Prozessor auch. Eventuell direkt auf 2x32er Riegel gehen? Dann kannst du später Upgraden, Mehrpreis gegenüber 16GB müsstest mal prüfen.

Würde vorher nochmal prüfen, ob du genügend Kühlung für die Festplatten bekommst. In meinem Gehäuse hatte ich mit 14 Platten kuschelige Temperaturen erreicht.

 

[Sasch]

Alternative gebe es noch

Motherboard - X11SPM-F mit einem Xeon 3206R zB - würde ca 150 Euro teuere als die andere Konfiguration. Das Board kann auch Registerd Rams. Die sind etwas günstiger

Beitrag automatisch zusammengeführt: 06.05.2020

Stimmt hast recht. Habe irgendwie die Boards vertauscht. Dachte das kann nur 64Gb. - Bin aber trotzdem am überlegen ob gleich auf den Sockel 3647 zu gehen nicht die besser Wahl ist.

 

[v3nom]

Lesecache (L2ARC) zum Einsatz und bringt auch eher was bei Random I/O. Kommt im Detail aber auf das genaue Nutzungsverhalten an.

Wird nicht das gecached was häufig gelesen wird? So wie ich das mal gesehen habe kann bei einer Optane die Rate zum befüllen des Lesecache aufs Maximum gehoben werden und bringt dann schon beim 2. Lesevorgang volle Leistung.

 

[Falo999]

8x 8TB Seagate IronWolf (5x neukauf) -
8x 4TB WD Enterprise (sind vorhanden)
Das ganze soll natürlich Stromsparend sein da es 24/7 laufen soll

Darf ich mal ein wenig Rechnen :

Die 4TB WD enterprise werden sicherlich 7 Watt im Leerlauf ziehen.
Eine neue 16TB Helium HDD liegt bei 5 Watt im Leerlauf.

8 HDD * 7 Watt = 56 Watt
Die 2 16TB liegen bei 10 Watt.

Ersparnis also 46 Watt!

Ein Watt 24/7 kostet ca. 2,60€ im Jahr.

Also spart man durch die 46 Watt rund 120€ im Jahr ein.
In 4 Jahren macht das 480€ die 2 16TB HDD kosten aktuell 900€

Dazu kannst du die 8*4TB noch verkaufen (ich selber habe 2*4TB Wd Red vor kurzen für 140€ hier verkauft).
Selbst wenn du nue 50€ pro HDD bekommst sind das nochmal 400€ und damit wären die 2*16 TB bis auf 20€ bezahlt nach 4 Jahren.

Die Rechnung hat nur 2 'Fehler' :
1.
Laufen die HDD überhaupt 24/7 und da muß ich sagen spinndown über Freenas und an einen HBA-Controller funktioniert meistens wohl nicht (wobei ich da nicht so sicher bin da ich das jetzt die letzten 2-3 Jahre nicht mehr probiert habe.

2.
Hast du mit 2*16 TB im Raid keine 24 TB Nutzkapazität.
Ja, das ist richtig deswegen auch die 8 TB ersetzen da ist die Stromersparnis natürlich nicht ganz so hoch aber auch deutlich und zudem kannst du den 2. HBA dann auch einsparen.



Edit
@All
Wie sieht das aktuell aus mit den Thema Spindown der HDD's über extra HBA und als Raid Zx Verbund ?
Funktioniert das zuverlässig oder eher nicht ?

 

[gea]

Der ZFS Arc readcache arbeitet mit einer read last + read most Kombination. Er cacht keine Files sondern ZFS Datenblöcke - sonst wäre er sofort gefüllt. Die größte Wirkung hat der Cache damit bei Metadaten und kleinen Dateien. Bei großen Files z.B. Videos bringt er garnichts.

L2Arc mit einer SSD arbeitet genauso. Er vergrößert den schnelleren Arc Ramcache um den "langsameren" SSD/NVMe Cache. Die einzige Besonderheit die man bei L2Arc zusätzlich hat ist read ahead das man da aktivieren kann. Das kann auch bei sequentiellen großen Files etwas Performance bringen.

 

[Sasch]

@Falo999

Das mit der Rechnung ist schon korrekt aber selbst wenn ich die 4TB durch die 8TB ersetze habe ich nur 16TB zurverfügung im RaidZ2. Ich müßte dann mindestens 5x 8Tb nehmen. Und da lohnt sich das ganze nicht mehr wirklich. Die 4TB Platten werden in 2-3 Jahren eh ersetzt. Allerdings wird sich an der Anzahl der Platten nichts ändern.

Ich hoffe natürlich das die Platten im Idle herunterfahren. Das habe ich jetzt mit dem Testsystem nicht getestet. Wäre intressant zu wissen ob das Freenas sauber hinbekommt.

 

[Gen8 Runner]

Spindown funktioniert bei FreeNAS zumindest mit dem von mir verwendeten Controller. Allerdings lasse ich teilweise stündlich snapshots anlegen. Hier habe ich nicht kontrolliert, ob die Platten dafür ständig wieder anlaufen... Wäre natürlich nicht das gelbe vom Ei und Dank Helium laufen meine nun 24/7 durch