NAS mit ZFS, Intel Xeon oder Intel Atom-on-board? Brauche Hilfe

[cybtrash]

Hallo an alle,

ich plane ein NAS. Haupteinsatzzweck: Filestorage für PC/Datenbackups und DVD-ISO Backups als Futter für den HTPC/Fernseher.

Bisher habe ich geplant: 6xWD Green als RAIDZ2 (2 HDDs können ausfallen), Gehäuse: Fractal Design Node 304 (Mini-DTX/Mini-ITX)
Die HDDs sollen mit LUKS/dm-crypt verschlüsselt sein, eine Ebene höher läuft dann ZFS; OS: Debian Stable.

Jetzt brauche ich Hilfe bei Motherboard und CPU. Ich brauche ECC Ram Unterstützung.
Ich könnte z.B. dies hier nehmen:

ASRock E3C226D2I (90-SXG180-A0UAYZ)
ASRock Rack > E3C226D2I
6xSATA6, 1xPCI, Intel Xeon, ECC, Mini-ITX

Dazu müsste ich noch eine Xeon CPU holen und eine PCI Karte für 2 zusätzliche SATA Slots.
CPU:
Intel Xeon E3-1230 v3, 4x 3.30GHz, Sockel 1150, boxed ~80W
Intel Xeon E3-1230L v3, 4x 1.80GHz, Sockel 1150, tray ~25W
Beide haben AES-NI und ECC Unterstützung. Preislich ungefähr gleiches Niveau.

Oder es gibt ja auch diese Boards mit Intel Atom "on-board", z.B.
ASRock Rack > C2550D4I

oder weitere:
http://geizhals.de/?cat=mbson&xf=4400_6%7E3760_Intel%7E2962_6%7E494_ECC-Unterst%FCtzung#xf_top

Wo liegen die Unterschiede, was sollte ich nehmen?

Mir scheint, dass beide (Xeon und Atom) ECC unterstützen. Xeon + Motherboard sind teuer, aber scheinbar "viel" schneller, verbrauchen aber auch mehr Strom?

Das Board mit dem Atom hat sogar ~12 SATA Ports, für mich ideal, ist es aber zu langsam? Kann das gar nicht einschätzen. Immerhin sollen die 6 HDDs ja separat per LUKS verschlüsselt sein (und ZFS greift dann auf die einzelnen entschlüsselten Blockdevices zu).

Bei RAM dachte ich an 16GB ECC. Wäre 1x16 oder 2x8GB die bessere Variante?

Freue mich über eure Gedanken.

Grüße!

 

[hominidae]

...wichtig für Deinen UseCase ist auch die AES-NI Unterstützung in der CPU..sonst kostet dm-crypt zuviel Performance und wird zum Bottleneck.

Edit: ...damit das skaliert, sind #cores wichtig.....wenn Du mehr Disks als cores hast, hilft ein höherer Takt. -> XEON
...mehr Strom verbraucht der S1150er XEON im idle nicht.
Wenn Du mehr Ports brauchst, guck Dir zB das X10SL7-F von Supermicro an..

 

[cybtrash]

Die beiden CPUs die ich beispielsweise gelistet habe, haben beide ECC und AES-NI.
Kannst du mir sagen, wo der Unterschied liegt?

Die "1230L" mit 4x3.30GHz hat eine "TDP" von ~25W, die 1230 mit 4x1.80GHz ohne 'L' eine TDP von 80W.

Liege ich richtig, dass die eine CPU langsamer aber stromsparender ist, die andere schneller, aber mehr Strom zieht? Welche würde sich bei mir mehr eignen? Beide sind von dem Motherboard offiziell "unterstützt".

 

[hominidae]

Die "1230L" mit 4x3.30GHz hat eine "TDP" von ~25W, die 1230 mit 4x1.80GHz ohne 'L' eine TDP von 80W.

...äh...hast Du da nicht was verwechselt?

Liege ich richtig, dass die eine CPU langsamer aber stromsparender ist, die andere schneller, aber mehr Strom zieht? Welche würde sich bei mir mehr eignen? Beide sind von dem Motherboard offiziell "unterstützt".

Ja, aber Dein NAS wird i.d.R. im idle sein, oder?...da ist es egal...da sind beide gleich gut...die Variante ohne L hat mehr PS und ist evtl. sogar günstiger....wenn Du nicht ständig auf 120% fährst, merkst Du das in der Stromrechnung mMn nicht bzw. kriegst den Mehrpreis des L nicht wieder raus.

 

[cybtrash]

...äh...hast Du da nicht was verwechselt?

Ja tatsache Natürlich anders herum
Quasi idlen beide CPUs etwa auf gleichem Niveau und die schnellere fährt dann entsprechend hoch, wenn Last ist.

Die "L" Variante kostet aber nur 20 Euro mehr. Auf cpu-world habe ich gerade gelesen "This CPU is 69% more energy efficient than the Intel E3-1230."

 

[hominidae]

ja, mit dem non-L XEON machst Du mMn nichts falsch....der sollte, neben ECC und AES-NI auch vt-d haben...damit hast Du noch ein paar Optionen zur Virtualisierung mehr.

Aber, wie oben schon gesagt, würde ich mir nochmal das Board angucken...ich würde für 24/7 immer ein Server Board mit IPMI bevorzugen.
Es sei denn Du willst Supend/resume (S3/WoL) nutzen, das müssen nicht alle können....aber dann spielt TDP auch eh keine Rolle.
In diesem Fall ist die günstigste Alternative ein ASUS AM3+ board mit FX-CPU.

 

[cybtrash]

Ich kann mich einfach nicht entscheiden

Das ASRock Rack > C2550D4I (mit Atom CPU n board) hatt gleich die nötige Anzahl SATA Ports dabei und auch ECC Unterstützung, dafür etwas langsamer. Wird im freenas Forum auch häufiger erwähnt...

 

[ayhjro]

Wenn die Kiste nur NAS spielen soll, wird der Atom wahrscheinlich nicht dein limitierender Faktor sein. Wahrscheinlich wirst du beim Netzwerk ins Limit kommen. Solltest du das Network-Teaming ausnutzen können, hängst du wahrscheinlich im Disk-Limit.
Benchmark zum C2550 gibt's z.B. bei servethehome

Wenn du mehr als NAS machen willst (Transcoding, Game-Server, Virtualisierung), solltest du wohl zum Xeon greifen.

 

[hominidae]

....ja, leider hat servethehome den truecrypt/AES-Benchmark nicht mehr drin.
Wie gesagt, bei FDE/dm-crypt ist dies mMn nicht ausser Acht zu lassen.

Ich habe ein ZFS-Array auf dm-crypt mit 9 Disks (z3) und nutze einen Opteron 3350HE (ECC, AES) und kriege für ein zfs-send/receive zu
meinem Backup-Server (S1156, XEON 3426L, 32GB ECC, *kein AES*) nur 60MB/sec auf ein verschlüsseltes und 112MB/sec auf ein nicht-verschlüsseltes Array.
Der Opteron läuft dabei beim schreiben auf 100%...der Truecrypt bench des Opteron liegt bei knapp 1GByte/sec.

- - - Updated - - -

Die "L" Variante kostet aber nur 20 Euro mehr. Auf cpu-world habe ich gerade gelesen "This CPU is 69% more energy efficient than the Intel E3-1230."

...20EURO sind auch ein paar Watt .
Und das Statement bezieht sich garantiert auf ein Server-Lastprofil...Dein Heim-Profil wird eher so nicht aussehen.
Ich habe mein NAS im Mittel 1-2h am Tag in Benutzung...hatte es vorher 24/7 laufen (OK, kein 1150er aber Controller und die Disks machen auch Musik).
Bin dann auf desktop mit AM3+ und Einsatz von WoL zurück...im ersten Jahr 550KWh gespart

 

[ayhjro]

Da hier LUKS geplant ist, hab ich mal google gequält: 285 MB/s. Leider kein Xeon E3 dabei :-(

Edit: Ich hätte nen C2750 im NAS laufen und nen E3-1245v2 im Desktop. Falls jemand bestimmte Werte möchte, kann ich das gerne ausprobieren.

 

[hominidae]

Hey, cooler Fund!
Ich denke der XEON mit 8 Threads wird ca. Faktor x4 zum C2550 sein....etwas über dem i7-4770S.

Die 285MB/s sollten also für ein ZFS-Array auf dm-crypt und 1xGBit Link ausreichen.
Ein ZFS-Scrub über alle Disks wird aber damit nicht optimal gehen.

Edit: ...muss ich mit meinem Opteron gleich mal ausprobieren.

-> 530MB/sec (Debian Wheezy, kernel 3.2.0.4-amd64, .8GB ECC, Opteron 3350HE, 4 threads/cores 2.8GHz)

Das ist auch das Ergebnis, was mir mein ZFS-scrub so sagt.

 

[ayhjro]

Hab mal fix in einer VM (8 Kerne, 16GB Ram; Hostsystem: E3-1245v2, 32GB ecc, win8 pro) getestet.

Ergebnis: ~810MB/sec (Debian Wheezy, kernel 3.2.0-4-amd64)

 

[cybtrash]

Ich hab mich jetzt entschieden, ich nehme die Variante mit Intel Xeon ohne L + ASRock E3C226D2I Mobo
Damit sollte ich genug Reserven haben, falls ich doch mal einen Minecraft-Server haben möchte... Wake-On-LAN kann das Mobo auch.

Da ich noch 1-2 weitere SATA Ports brauche, habe ich jetzt folgenden SATA Controller gefunden "SY-PEX40039 Syba PCI-Express-Karte (2 SATA-Ports mit 6 Gbit/s, PCI Express 2.0, PCIe x1)". Gibt irgendwie sehr viele "billige" SATA Controller, der hier hatte aber viele gute Bewertungen und wurde öfters erwähnt bei anderen NAS Builds.

Ich überlege gerade, wie viel Watt das Netzteil haben sollte. Es sollte ja weder zu wenig, noch zu viel sein (dann schlechtere Energieeffizienz). 350W bei 6 HDDs+SSD? Was meint ihr / habt ihr in euren NAS drin?

Ansonsten ist meine Einkaufliste fast fertig (noch das Netzteil und einen leisen CPU Kühler für den Xeon finden ). *juhu*

 

[fsironman]

Noch Input zu cryptsetup mit C2550:
cryptsetup benchmark
# Algorithm | Key | Encryption | Decryption
aes-cbc 128b 342,5 MiB/s 472,1 MiB/s
serpent-cbc 128b 43,9 MiB/s 104,1 MiB/s
twofish-cbc 128b 97,4 MiB/s 96,5 MiB/s
aes-cbc 256b 250,5 MiB/s 479,0 MiB/s
serpent-cbc 256b 45,3 MiB/s 107,9 MiB/s
twofish-cbc 256b 98,4 MiB/s 99,8 MiB/s
aes-xts 256b 460,0 MiB/s 500,0 MiB/s
serpent-xts 256b 102,7 MiB/s 101,5 MiB/s
twofish-xts 256b 93,7 MiB/s 93,4 MiB/s
aes-xts 512b 384,2 MiB/s 395,0 MiB/s
serpent-xts 512b 102,7 MiB/s 101,7 MiB/s
twofish-xts 512b 93,3 MiB/s 95,8 MiB/s


Sata controller:
Digitus DS-30104-1, PCIe x2 in Controllerkarten: SATA-Controller | heise online Preisvergleich
Das marvell chipset wird mit aktuellen kernel direkt erkannt.

Gehäuse werfe ich mal noch das http://geizhals.de/silverstone-ds380-sst-ds380b-a1064122.html in Raum ist wie gemacht für das http://geizhals.de/asrock-c2550d4i-a1040154.html

 

[cybtrash]

Ich finde das andere schöner, ich denke ich bleibe dabei. Ich tu mich immer sehr schwer mit Entscheidungen, also quäl mich nicht ;-)

Ich hänge noch am Netzteil herum. Es gibt im Netz doch lauter "PSU Calculatoren", bei denen kam raus, dass bei mir rund 200-250 Watt verbraucht werden. Wenn aber das NAS die Festplatten ausschaltet und "idled", dann dürfte der Watt-Verbrauch stark sinken oder?

Mal angekommen, ich hätte so ein schicken 500W bequiet "Plus Gold" Netzteil samt Kabelmanagement. Das hätte bei 20% Last (=100Watt) noch 90% Effizienz, die soll aber unter den 20% stark abfallen. Wie viel wird so ein NAS denn beim idlen verbrauchen?

Mein Problem ist, ich finde keine Netzteile die gutes Kabelmanagement haben, leise sind, 6-7 SATA Stromanschlüsse, Gold Plus und in etwa 350W haben...

edit1: Das nächstbeste wäre
be quiet! Straight Power E10 400W ATX 2.4 (E10-400W/BN230)
http://geizhals.de/be-quiet-straight-power-e10-400w-atx-2-4-e10-400w-bn230-a1165465.html
400 Watt, 6xSATA, leise, 80 PLUS Gold (20% Auslastung wären 80 Watt mit 88% Effizienz) nur leider kein Kabelmanagement.

 

[ayhjro]

IDE auf SATA-Adapter und y-Splitter sind keine Option? Ansonsten seh ich das ähnlich, das beQuiet sieht nach der besten Option aus, außer Kabelmanagement ist dir knapp über 40€ Wert: Sea Sonic Platinum Series Fanless 400W

Edit1: und das Sea Sonic hätte noch 80+ Platinum, wobei das glaube nicht mehr den Unterschied macht. Vielleicht findet man irgendwo die genauen Effizienzkurven?
Edit2: Sea Sonic hätte bei 10% Last (40W) ca 82,39% Effizienz (Quelle)
Edit3: Das beQuiet hat bei 10% Last (ebenfalls 40W) erm *Graph ables* ca... 90% Effizienz? (Quelle)
Edit4: Graphen lesen üb ich nochmal... bei 230V input reden wir bei 10% Last eher von 75% Effizienz, allerdings dürfte beim Test zum Sea Sonic ebenfalls eher die 110V input genommen worden sein... Ich würde weiterhin eher aufs BeQuiet setzen :-/
Edit5: "AC input voltage of 115v" beim Test zum Sea Sonic... yeah... ich geh ins Bett, sonst ende ich noch bei Edit80+ :-(

 

[cybtrash]

Hm, also könnte ich auch das "be quiet! System Power 7 300W ATX 2.31 (BN140)" http://geizhals.de/eu/be-quiet-system-power-7-300w-atx-2-31-bn140-a871337.html
mit 300W nehmen, das hat 4x SATA, 2x IDE. Soll aber nicht ganz so leise sein, wie die anderen...
Dazu zwei IDE->SATA Molex Adapter und ein SATA Strom-Y-Kabel, dann würde ich auf 7 Anschlüsse kommen.

Ist halt etwas Bastelei und ich weiss nicht, ob das gut ist für die HDDs, wenn zwei an einem Strang hängen?

Hat auch nur 80 Plus Bronze, aber die geringere Watt Zahl könnte das wieder gut machen....? Echt schweres Thema!


edit: Habe mich entschieden für das be quiet! Straight Power E9 400W ATX 2.4 (E9-400W/BN190). Leise und gute Effizienz, leider kein Kabelmanagement.
Die Bestellungen sind raus^^