ZFS Server: Hardware Überlegungen

[brigadeleiter]

Hallo Zusammen,

nach eigentlich sehr guten Erfahrungen auf Desktop-Hardware, zumindest was Sicherheit und Stabilität angeht, soll demnächst Server Hardware her, damit auch noch etwas Geschwindigkeit aus dem System herausgekitzelt wird.

Die Überlegungen gingen klar in Richtung Supermicro Sockel 1155 Board + passenden Xeon V2 + 32Gb Ram, natürlich aufgrund der Empfehlungen von Gea und den guten Erfahrungen der Forenbenutzer hier. Ein solches System würde ungefähr so aussehen:

1 x Intel Xeon E3-1230V2, 4x 3.30GHz, Sockel-1155, boxed (BX80637E31230V2)
4 x Kingston ValueRAM DIMM 8GB PC3-10667E ECC CL9 (DDR3-1333) (KVR1333D3E9S/8G)
1 x Supermicro X9SCL+-F retail, C202 (Sockel-1155, dual PC3-12800E DDR3) (MBD-X9SCL+-F-O)

Damit ist man bei ca. 600€ und hat einen leistungsfähigen Untersatz, sogar noch für einen All in One (Esxi + Zfs-Nas +VM) (siehe napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris)

Nun habe ich gelesen und auch aus eigener Erfahrung zu spüren bekommen, das RAM ein solches System beschleunigen kann und da möglicherweise auch 32Gb eines Tages nicht ganz ausreichen und die CPU eine nicht ganz so große Rolle für ein reines ZFS-System spielt, bin ich auf Dual-Socket 1366 gekommen. Außerdem müsste in unserem Fall auch noch Geld in größere Festplatten investiert werden, ein extra Controller (Supermicro AOC-USAS-L8i 8-Port SAS) ist vorhanden.

Also habe ich mal ein wenig in der Bucht geschaut und finde Dual-Socket 1366 Systeme sehr interessant. Gerade die CPUs sind meiner Meinung nach ausreichend und günstig. Die Dual-Socket Boards kosten ungefähr wie Single-Socket 1155 und der Speicher ist bei beiden System ungefähr gleich teuer.

Xeon 5503, dualcore, 50€
Xeon 5520, quad+ht, 50€
Xeon 5506, quad, 79€

Intel Server Mainboard S5500BC, 150€, max: 32gb
Intel Server Board S5520HC, 110€, max: 192gb
Supermicro X8DTiF, 151€, max: 192gb
Siemens D2628, max: 92/192gb

sind nur Beispiele, aber was spricht dagegen? Sind diese Systeme nicht ähnlich schnell, wenn wir mal vom All-In-One absehen. Die Cpus hätten sogar vt-d, wäre aber bis auf den Quad mit HT dann doch etwas überfordert. OK der Stromverbrauch ist mit Sicherheit höher, aber dafür wären wir bei folgendem Beispiel um 500€.

Supermicro X8DTiF, 151€
2x Xeon 5520, 100€
=251€
+6x8GB=240€
rund 500€
mit 48GB RAM und es kann noch erweitert werden

möglicherweise möchtet ihr was dazu sagen, im ZFS-Thread geht sowas immer schnell unter..

vielen Dank,
David

 

[millenniumpilot]

Wenns Dir nur um die Hauptspeichergröße geht, tut es auch ein Single-Board wie das X9SRL, siehe meine Signatur. Bei einem Dualsockelboard müssen um alle RAM-Sockel benutzen zu können auch beide CPUs bestückt werden.
Ich habe 64GB bestückt (4x16GB) und es sind noch weitere 4 Sockel frei zum späteren Hochrüsten.

 

[brigadeleiter]

Na klar geht es auch ums Geld, sonst hätten wir schon längst die Desktop Hardware rausgeworfen...
Das System ist auch nicht für AIO vorgesehen und daher denke ich eben, dass man nicht unbedingt auf Sockel 2011 gehen muss. Wenn man Dual Xeon 5520 nimmt könnte man aber trotzdem drüber nachdenken ein paar VMs drauf laufen zu lassen....

EDIT:

Bei einem Dualsockelboard müssen um alle RAM-Sockel benutzen zu können auch beide CPUs bestückt werden.

bei 48GB mit mit 6x8Gb Modulen und einer CPU müsste das doch auch funktionieren, eigentlich bis 6x16Gb=96Gb. ODER? Das Bsp.-System hat ja 12 Speichersockel und nicht nur 6.
Ciao & GN8,
David

 

[-INU-]

Der hohe Rambedarf hat mir gestern auch erstmal einen kleinen Dämpfer bei meinen Planungen verpasst. Durch ZFS bräuchte ich statt der geplanten 32GB mal eben 80GB + System + VMs, damit ist die s1155 Plattform klar raus. Und deine Idee finde ich da garnicht mal so schlecht, immerhin würde nen Board inkl 2 DC so weniger kosten als das X9SRL alleine, rechnen wir die CPU dazu sind das gut 300€ weniger, dafür gibts schon eine Menge Strom

 

[Loopman]

Durch ZFS bräuchte ich statt der geplanten 32GB mal eben 80GB + System + VMs,

Was für ein System mit wievielen Festplatten soll das denn werden, wenn du schon 80(!)GB RAM nur für das ZFS benötigst? Hast du da eventuell ne 0 zu viel dran gehängt?

 

[hominidae]

...eine alternative wäre auch ein AMD Opteron ...das SM H8SCM-F plus ein Opteron 4334 liegen preislich wie das 1155er + IB XEON, das Board kann aber 128GB RAM. (Edit: RAM max. Korrektur lt. SM Specs)

Ich habe mir gerade einen AM3+ Opteron bestellt (3350HE) und werde ihn in einem ASUS Desktop Board testen...weil diese auch ECC können, siehe zB AMD Opteron 3380 Review - Benchmarks and Review - ServeTheHomeServeTheHome – Server and Workstation Reviews

 

[-INU-]

Was für ein System mit wievielen Festplatten soll das denn werden, wenn du schon 80(!)GB RAM nur für das ZFS benötigst? Hast du da eventuell ne 0 zu viel dran gehängt?

24x4TB macht 92TB und damit 92GB RAM, die 80 waren Nettokapazität @RAID Z2, aber egal

 

[Crusha]

24x4TB macht 92TB und damit 92GB RAM, die 80 waren Nettokapazität @RAID Z2, aber egal

mal OT. Mich interessiert wirklich wofür man soviel TB braucht ? XD

Gesendet von meinem MK16i mit der Hardwareluxx App

 

[Loopman]

24x4TB macht 92TB und damit 92GB RAM, die 80 waren Nettokapazität @RAID Z2, aber egal

In ner Firma oder @ home? Bei ersterem wäre die Überlegung mit Sockel 1155 eh katastrophal und die Kosten erst einmal nebensächlich, privat wüsste ich nicht ob man wirklich dafür die vollen 80GB RAM benötigt. Es wird für ZFS zwar ein bestimmter Wert empfohlen, aber bei einem Zugriff von nur sehr wenigen Usern dürften sich die Performancenachteile durch weniger RAM höchst wahrscheinlich in Grenzen halten. Aber grundlegend ist das natürlich ein Wert, der hat mit einem "Home-Server" nicht mehr viel zu tun.

 

[ludwinator]

Schon mal über L2ARC auf SSDs nachgedacht? Würde deinen RAM Bedarf ganz erheblich entlasten und damit die Kosten reduzieren (und wohl 1155 ermöglichen). Schreib doch mal ein bisschen mehr über dein Sizing.

cu

 

[brigadeleiter]

Add a SSD for an additional read cache (L2Arc) but only if you cannot add more RAM. (quelle: napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris)

ich würde auch nicht jede x-beliebige ssd reinbauen, und die besseren sind schon wieder teurerer...

 

[-INU-]

Homestorage mit beruflichen und privaten Daten, erstere haben backups, für letztere hätte ich gerne ohne Backup etwas mehr Sicherheit, daher der Wechsel zu ZFS. Der Aktuelle Server packt knapp 60TB und wird so in 2~3 mon voll sein und spätestens dann muss halt was neues her. Soll dann primär nur die Daten bereitstellen und evtl ~4 Win VMs hosten in denen aber nichts anspruchsvolles laufen würde. Storageperformance muss auch nicht all zu gut sein, wenn die Kiste 250MB/s bei guten Zugriffszeiten schafft reicht mir das.

Ursprünglich hatte ich nen X9SCM-F, 1230V2 und 32GB RAM geplant, aufgrund der RAM Anforderungen dann aber verworfen und an ein X9SRL-F mit E5-2609 und eben 128GB RAM gedacht. Und jetzt mit s1366 dann ein X8DTH-iF/6F mit L5630 und 128GB RAM. Diese Kombination gefällt mir eigentlich sogar am besten, da board und CPU bei Ebay je nur 150€ kosten und das board auf allen 7 PCIe Slots 8 Lanes zur Verfügung stellt.
Dazu dann noch 2 LSI SAS 9201-16i und 24 Seagate Desktop HDD.15 4000GB und evtl SSDs für die VMs.

Das mit der SSD statt RAM ist ganz interessant, kommt aber dann drauf an in wie weit das dann eine Bastellösung ist und wie sich das auf die Performance und den Preis auswirkt.

 

[ludwinator]

Keine Ahnung, wie du auf die Preise kommst, aber du wirst doch nicht Gebrauchtware bei Ebay kaufen wollen?
L2ARC auf SSDs ist keine Bastellösung, sondern seit Jahren bewährte Technik bei ZFS. Gibt auch keinenGrund dafür Enterprise SSDs einzusetzen, die Schreibbelastung wird von ZFS sehr gut kontrolliert und selbst wenn eine ausfallen sollte, kommt ZFS deswegen noch lange nicht aus dem Tritt.
Ganz neu im Source ist übrigens LZ4 Kompression für L2ARC, das bringt nochmal ordentlich was extra. Du hast uns immer noch nicht verraten, wie die Last auf der Maschine aussehen könnte, ergo wieviele Clients und wie das Schreib/Leseprofil aussieht (mehr Random oder mehr Sequentiell, große Dateien oder kleine ...).

cu

 

[brigadeleiter]

Warum soll man denn keine gebrauchte Hardware einsetzen ? Gibt doch auch etliche Angebote mit Gewährleistung.

 

[ludwinator]

Für Heimanwender ist das ja OK, wobei sich da die Frage stellt, ob du deine Wohnung damit beheizen willst.
Gewerblich kommt mir sowas nicht in die Tüte (allein schon wegen Rechnungslegung etc.) und Gewährleistung gilt halt nur solange, wie die den Verkäufer ausfindig machen kannst.

cu

 

[brigadeleiter]

naja bei uns ist es eine Art Homeproject(für 2 esxi Rechner) auch wenns in einem Rechenzentrum steht. für den richtigen Firmeneinsatz würde ich wohl auch nicht unbedingt hier fragen. es gibt übrigens auch Firmen, die sich auf gebrauchte Server spezialisiert haben zb. servershop24.

da gäbe es zB. Xeon L5520 für 80€, ein Board hab ich auf die schnelle nicht gefunden, aber die teile sind geprüft und Garantie gibts auch.

@HOMINIDAE, halt uns mal auf dem laufenden, so ein System käme möglicherweise ja auch in Frage. (immerhin aufrüstbar)

1 x AMD Opteron 4226, 6x 2.70GHz, Sockel-C32, boxed (OS4226WLU6KGUWOF)
2 x Samsung DIMM 16GB PC3-10667R reg ECC CL11-11-11 (DDR3-1333) (M393B2G70BH0-CH9)
1 x Supermicro H8SCM-F bulk, AMD SR5650 (Sockel-C32, dual PC3-10667R reg ECC DDR3)

Ciao,
David

edit:

Supermicro X8DT3-LN4F für 150€, gewerbl. Verkäufer

 

[hominidae]

@HOMINIDAE, halt uns mal auf dem laufenden, so ein System käme möglicherweise ja auch in Frage. (immerhin aufrüstbar)

klar mache ich, aber "mein kleiner" Opteron kann nur max. 32GB, weil AM3+ Sockel.
Die von Dir vorgeschlagene Combo sollte OOTB funktionieren. IMHO ist aber der 4334er der "sweet Spot".
Achtung: die sind zwar "boxed" am Markt, aber als WOL...boxed-Verpackung aber ohne Kühler

...es gibt auch die noch weiter aufrüstbarer Variante, mit Dual board...H8DCL-iF...mit 2xCPU dann bis 256GB RAM.

BTW: Bei so vielen RAM modulen würde ich immer nur Reg-ECC nehmen, keine unbuffered.

 

[brigadeleiter]

.., aber als WOF...boxed-Verpackung aber ohne LÜFTER meinst du bestimmt.

ist ja komisch, was nimmt man dann für einen Lüfter, eine PIB-Version zu dem Opteron find ich irgendwie nicht.

 

[hominidae]

ist ja komisch, was nimmt man dann für einen Lüfter, eine PIB-Version zu dem Opteron find ich irgendwie nicht.

...solche? CPU-Kühler mit Sockel: F/F+/C32 Preisvergleich | Geizhals Deutschland
Ich meinte schon ohne Kühler (Kühlkörper)...Lüfter ist ja eigentlich optional....ohne Kühler gehts nicht

Edit:...grr... ja...Dreckpfuhler/dicke Finger...WOF

 

[-INU-]

Keine Ahnung, wie du auf die Preise kommst, aber du wirst doch nicht Gebrauchtware bei Ebay kaufen wollen?

Ja sind Ebaypreise und ich wüsste nicht was dagegensprechen sollte dort zu kaufen, bei HDDs ok, aber Board und CPU vom Händler, da gibt mMn kein höheres Risiko als beim neukauf.

Du hast uns immer noch nicht verraten, wie die Last auf der Maschine aussehen könnte, ergo wieviele Clients und wie das Schreib/Leseprofil aussieht (mehr Random oder mehr Sequentiell, große Dateien oder kleine ...).

Sry, dachte die MB/s Angabe würde reichen. ~60% sind große Dateien 100~500GB, die dort nur gelagert werden, der Rest ist gemischt, Bilder, Videos, Backups etc. Parallelzugriff max 6 Clients, wenn 3 davon nen HD Stream sehen in dem sie flüssig spulen können und ein 3. dabei noch mit ~100MB/s Daten schreiben/lesen kann reicht das. Großen Dateien >5GB sollte man ohne Parallelzugriff mit ~250MB/s draufschieben können.

EDIT: L2ARC auf SSD scheint nur ein Cache für die regelmäßig aufgerufenen Daten zu sein und sowas bräuchte ich wohl garnicht, da es kaum Daten geben wird auf die Regelmäßig zugegriffen wird.

 

[TheBigG]

haben deine Clients alle ne 10GBit/s Verbindung zum Server oder wie willst du diese Datenraten erreichen?

 

[ludwinator]

Wenn du keine wiederkehrenden Leseoperationen auf identische Blöcke erwartest dann brauchst du auch den RAM-Ausbau nicht.

cu

 

[-INU-]

Und wie viel RAM kann ich dann einsparen bzw wie viel bräuchte ich, 32GB, 64GB ?

@TheBigG
Nö, aber 4x1Gb, wobei auch die 2 onboards für über 200MB/s reichen sollten.

 

[bogomil22]

Bei der Grösse und Anzahl an Platten würde ich mir fast ein raidz3 überlegen. Ob ein raidz3 zu einem z2 bei 24 Platten performance-technisch spürbar schlechter ist, weiss ich aber nicht.

 

[ludwinator]

Ich denke 64GB sollten reichen.
Auf gar keinen Fall darfst du 24 Platten in ein single vdev stecken, die Performance wird grottig schlecht und wegen der Sicherheit hilft auch raidz3 wenig. Ich würde 6 vdevs a 4 Platten im RaidZ1 machen, das wären dann allerdings nur 72GB netto.

cu

 

[-INU-]

6x 4x4TB im RAIDZ sind nach meiner Rechnung ~65TB netto und das wäre deutlich zu wenig, da müsste ich dann wohl auf 8 solcher vdevs aufstocken. Wie sieht es denn mit 8 oder 12 Platten im RAIDZ pro vdev aus, würde das die Performance auch zu weit drücken ?

 

[ludwinator]

Wie kommst du auf 65TB? Bei mir sind 6x3x4TB über 70, aber das wird dir wohl auch nicht reichen.
Du hast relativ hohe Platz und Performanceanforderungen gestellt und willst das mit relativ langsamen Nearline Platten realisieren.
Für den Rebuild einer 4TB Platte musst du >30h kalkulieren (in dieser Zeit darf keine weitere mehr ausfallen), die Performance eines einzelnen vdevs im RaidZx entspricht ungefähr einer einzelnen Platte.
Daraus ergibt sich, das du möglichst viele vdevs anlegen solltest die als Stripe zusammengehängt werden. Das Konstrukt lässt sich auch nachträglich mit weiteren vdevs erweitern. Performance ist dann n mal die Zahl der vdevs. Bei den vdevs musst du beachten, das du 128k Blocksize durch die Zahl der Datenplatten (also ohne Parität) teilbar sein sollte. Beispiel: Raidz1 aus 5 Platten ergibt 4 Datenplatten. 128/4=32.
Entsprechend ins ein RaidZ2 aus 8 Platten (6*Daten) nicht optimal, weil 128/6=21,33 ist.
Eine gute Kombination wären also 4 vdevs mit 6 Platten im Raidz2. Für mehr platz einfach noch ein vdev dazu.

cu

 

[gea]

Also irgendwie komme ich nicht ganz mit.
Die Konfigurationen sind hier auf einem Level, das habe ich oft nicht mal @work

Für einen normalen guten ZFS Fileserver, egal ob beruflich oder nicht liegen die benötigten Werte nicht so hoch. Selbst für ein Storage mit max 24 x 4 TB Platten genügen vielleicht 4 GB RAM für die Funktionsfähigkeit. Mehr bringt dann Performance durch einen entsprechend großen Lesecache. Wieviel da Sinn macht hängt von der Nutzung ab. Für einen reinen schnellen Filer und wenig Nutzer dürften aber 16 GB ausreichend sein. Mehr würde ich nur nach einem Blick auf die ARC-Cache Statistik machen oder wenn von vornerein max Performance angesagt ist.

Von der Organisation der vdevs muss man sich auch die Nutzung genau überlegen. Eine Datenbank mit vielen Nutzern oder ein ESXi Datastore mit vielen VMs kann erhebliche Anforderungen an IO stellen. Dann sind nur viele kleine schnelle Platten im Raid-10 oder besser gleich reine SSD Pools angesagt, insbesondere wenn auch noch schnelles sicheres sync-write gebraucht wird. Dafür taugen 1TB+ Platten aber ohnehin niemals.

Für einen normalen Filer zählt irgendwo auch Kapazitäts-Effizienz.
Bei z.B. bis 20 Platten sind die Hauptoptionen
10 x Raid-1 je 2 Platten je 4 TB = ca 80 TB Raw = ca 40 TB nutzbar
3 x Raid-Z2 je 6 Platten je 4 TB = ca 70 TB Raw = ca 48 TB nutzbar
2 x Raid-Z2 je 10 Platten je 4 TB = ca 80 TB Raw = ca 64 TB nutzbar

Ich sehe keinen wirklichen Vorteil der ersten beiden Lösungen. Ich würde hier 2 x Z2 je 10 Platten machen. Ein Abweichen von der idealen 1,2,4,8,16 Datenplatten-Regel kostet wie bereits gesagt Kapazität.

Die Unterschiede in der I/O Leistung sind bei 2 und 3 eher gering. Bei der sequentiellen Performance bestimmt die Anzahl der Datenplatten die Performance. Rein auf I/O bezogen ist es zwar schon so, dass das mit der Anzahl der Vdevs skaliert (10 vdevs= I/O von zehn Platten.) Ich habe gerade mal wieder eine Benchmark-Reihe gemacht. Bei einem Fileserver Benchmark ist dabei die Latenz von 4 x vdevs vs einem Raid-Z2 aus 4 gleichen Datenplatten gerade mal 50% besser. Die sequentielle Performance von Raid-Z ist am Besten. Eine Raid-10 Lösung mit 4 TB Platten wäre witzlos. Nur 50% Kapazität bei eh relativ schlechten I/O Werten bei Multi-TB Platten.

http://napp-it.org/doc/manuals/benchmarks_5_2013.pdf Seite 5

 

[ludwinator]

@gea Alles gut, aber nach seinen Angaben denke ich, das 2x RaidZ2 zu langsam sein werden. Ich würde nicht unter 4 vdevs gehen, damit die Performance auch nach 6 Monaten und entprechender Fragmentierung noch stimmt. Diese Platten sind bei Random-i/o ziemliche Looser!

cu

 

[brigadeleiter]

möglicherweise könntet ihr ja noch was zur Grundidee (erster Eintrag) sagen, denn da gings ja zunächst einmal darum "preiswert" ein solches System zu erstellen, und zwar mit dual-socket 1366. Ist wohl garnicht so lange her, dass einige von euch selber solche Systeme hatten und sich vielleicht noch erinnern können, dass die Leistungsunterschiede zu den aktuellen gar nicht so groß sind, oder?
Es geht hier in nicht ein ALL-IN-ONE, auch wenn das meiner Meinung nach mit den vorgeschlagenen CPUs möglich wäre. Es ging darum einen preiswerten privaten ZFS-Rechner (für in unserem Fall, zwei Esxi Rechner (core i7-920) mit momentan 18VM) zu erstellen, der weiterhin aufrüstbar und trotzdem günstiger als Sockel 1155 ist.

Ciao,
david