[Kaufberatung] Ablöse Fileserver => ESXi Server mit ZFS Funktionalität

[Macer89]

Hallo!

Da ich in Kürze umziehe, möchte ich auch meinen Fileserver migrieren und um ein paar Features erweitern.

Zur Zeit sieht es bei mir so aus, dass ich einen Windows-Server mit 2x6 HDDs zu je 2TB als reines Datengrab habe.
Der Server hat sonst keine Funktionalität und ist daher auch nicht sonderlich potent (ich glaube es ist ein Core i3/i5 aus der Clarkdale Generation mit 3.0 GHz und wird von 4GB RAM unterstützt).
Die HDDs befinden sich alle an einem ARECA Raidcontroller mit 16 Ports (glaube ein Areca ARC-1160) und das ganze befindet sich in einem Sharkoon Rebel 12 Economy dessen 5.25" Schächte mit HDD-Käfigen belegt sind.
Für die genauen Daten müsste ich noch einmal nachgucken.

Jedenfalls sollte die aktuelle Hardware abgelöst durch etwas, das folgende Features gewährleistet:

- Fileserver (Backups, HTPC versorgen, PC Daten, Streaming, etc. ...)
- Möglichkeit zum Hosten virtueller Maschinen (wenn möglich VMs in VMs)
- Versionierungssystem für Software-Sourcen (GIT)
- Wartbarkeit aus der Ferne (Einschalten, Ausschalten, etc.)
- Vollverschlüsselt
- 24/7/365 => wenig Verbrauch wäre vorteilhaft (sofern es die Leistung halt erlaubt)

Von der Größe her sollte das neue Case ein echtes Rack-Gehäuse werden und so viel Platz wie möglich bieten, bei den Festplatten würden sich die neuen Western Digital RED @ 3TB anbieten.
Da momentan der große Hype um ZFS am laufen ist und auch meiner Meinung nach bei so großen Datenmengen durchaus Sinn macht, möchte ich hier ebenfalls auf dieses setzen.

Gehe ich davon richtig aus, dass als Grundsystem hier das ESXi am optimalsten ist? Dann eine VM die den virtualisierten Fileserver zur Verfügung stellt.
Für den Fileserver würde ich dann ja eigentlich gerne auf Linux inkl. BTRFS setzen, damit habe ich sowohl die ZFS Vorteile als auch eine einfache Möglichkeit zum Verschlüsseln mit dm-crypt.

Welche Hardware verwendet man da am besten? Z77 Board + Core i7 CPU oder doch lieber ein professionelles Serverboard inkl. Xeon CPU?
Beim RAM wird es auf jeden Fall ECC RAM werden, da sonst das Hauptargument für das Filesystem ziemlich wertlos ist.
Leider weis ich nicht wirklich wie "groß" ich diesen Server dimensionieren soll, damit er mit den obigen Anforderungen klar kommt.
Außerdem sollte die Speicherkapazität des Fileservers sehr einfach skalierbar sein.

Danke schon mal für eure Vorschläge/Beratung!

 

[hominidae]

- für einen ESXi basierten ZFS Server solltest Du den Controller durchreichen, also ein Board (und CPU) mit vt-d Unterstützung.
- wenn Du ECC RAM willst - gute Idee BTW - dann wirst Du bei einem i7 IMHO nicht fündig.
- einen HW-Raid Controller brauchst Du nicht...ZFS ist SW-Raid....ein HBA tut es...beliebt ist der umgeflaschte IBM ServerRaid M1015
- für das Gehäuse, guckst Du z.B. hier: http://www.hardwareluxx.de/community/f101/norco-rpc-4224-aka-inter-tech-ipc-4u-4324l-889631.html
- meine Empfehlung für Board und CPU: Supermicro X9SCM-iiF und XEON E3-1230v2

Edit: was die Skalierbarkeit des FS angeht...mit ZFS ist das nicht so einfach wie mit einem HW-Raid.
Wie hast Du vor Backups zu machen?

 

[GuNa]

schau mal hier. Da findest du alles was du brauchst. IMHO die beste Storage-Lösung mit ESXI + ZFS.
Ich betreibe einen seit fast 2 Jahren. Bin sehr zufrieden. Supermicro + Xeon E3-123xv2 + ECC RAM ist eine sehr gute Kombi.
Schau dir auch mal den ZFS-Stammtisch Thread an. Da findest Du noch mehr Infos.

 

[Macer89]

Hallo erstmal wieder, sry für die späte Antwort, aber ich hatte aufgrund eines Umzuges die letzten Tage/Wochen kein Internet ...

@ hominidae
Okay das heißt ein Serverboard mit einer CPU sollte reichen (imho sind 2 CPUs für meine Anforderungen overkill), wegen Xeon (ECC).
Bezüglich Raid-Controller, werde ich dann wohl einfach einen HBA so wie von dir vorgeschlagen verwenden. Umgeflasht heißt manuell? Gibt es dafür unproblematische Anleitungen?

Wegen dem Gehäuse bin ich noch etwas skeptisch, ist für den Heimbereich das Norco ausreichend? Vor allem auch bezüglich Qualität, ich möchte dann nicht, dass ständig Backplanes kaputt sind bzw. das Gehäuse den Großteil der Zeit auf Reparatur ist ...
Ist Supermicro Norco vorzuziehen?

Deine Empfehlung sieht vernünftig aus, ich denke da habe ich auch genug Leistung um meine aktuellen Anforderungen zu erfüllen und auch noch in Zukunft Spielraum!

Wie meinst du das mit der Skalierbarkeit? Dass ein bestehender Pool schwierig/unmöglich zum erweitern ist oder dass es schwierig ist neue Pools hinzuzufügen?

@ GuNa
Auf napp-it bin ich schon früher gestoßen, allerdings ist hier Solaris notwendig und ich habe dann keine schöne Möglichkeit mein Filesystem zu crypten.


Bezüglich Verschlüsselung habe ich eh noch eine Frage, zerstöre ich wenn ich BTRFS auf dm_crypt-Devices aufsetze die Funktionalität des FS?
Auf der BTRFS Homepage habe ich nur am Rande etwas zum Thema Verschlüsseln gelesen und dass wenn nötig so gemacht werden soll, ich möchte da aber doch gerne noch bei erfahrenen Usern nachfragen, ob dem dann auch wirklich so der Fall ist, oder ob ich dann doch das große Killerfeature Checksums damit zerstöre?!
Hat hier womöglich schon jemand so ein Setup am Laufen?

 

[hominidae]

..ich denke ein Supermicro in "-F", also mit IPMI und ein XEON ist die kompakteste, stromparendste Alternative.
Ein Quad mit HT sollte für Vieles reichen...kannst ja auch den 1270v2 nehmen um ganz nach oben zu gehen...ESXi skaliert das schon gut zwischen den VMs...im idle sind die Intels ungeschlagen.
Die S1155 sind aber auf 32GB begrenzt (wie das "freie" ESXi auch)...wenn Du mehr bauchst, dann musst Du auf S2011 gehen (SM X9SRL-F und E5-16xx oder -26xx)..aber deutlich teurer.

Du brauchst auch genug PCIe Slots um HBAs (8 Platten pro Stück, also 3x HBA für das Norco) und evtl weitere Netzwerkkarten reinzupacken.
Den M1015 umflashen geht...gibt es inszwischen kleine Helferlein auf CD im Netz...kritisch ist das Bord..nicht alle gehen immer...das SM sollte klappen, unter UEFI, zB guckts Du hier: M1015 / X9SCM-F USB Firmware Tools
Alternative zu mehreren HBAs wäre ein Expander...die Intel RES2SV240/RES2CV240/RES2CV360 laufen prima mit dem M1015.

Skalierbarkeit ist ne Frage der Definition ;-)
Platte rein und Array reconfigure machen ist bei ZFS nicht.
Du kannst einen Pool nur vergrössern, indem Du die Platten einzeln durch grössere austauscht (jeder Tausch braucht ein rebuild/resilver, was Stress für die verbleibenden Platen ist); Ausnahme: mirror-ed pools...da kannste weitere mirror-ed vdevs ranhängen.
Neue Pools kannste stets reinpacken...aber den Platz nicht mehr mit bestehenden pools/ZFS-Folders da drauf sharen.

Vollverschlüselung geht auch unter Solaris...musst aber das Original nehmen.

BTRFS...keinen Schimmer..ich setze derzeit auf Solaris und napp-it.

---------- Post added at 15:52 ---------- Previous post was at 15:48 ----------

Achso...Gehäuse...

Also das Norco/Intertech hat hier im Forum bislang keine bestätigten, abgefackelten Backplanes ;-)
Aber selbst ein Gehäuse mit 6 Ersatz-Backplanes ist günstiger als das SM.
..laut sind alle...Lüfter-Austaiusch ist eh ein Muss.

---------- Post added at 15:54 ---------- Previous post was at 15:52 ----------

...nochwas zum M1015..in der Bucht gibt es die machmal auch schon geflasht....Service des Anbieters.

 

[Macer89]

Das wäre dann folgende Konfiguration:

S1155:

• Mainboard: Supermicro X9SCM-F retail, C204 (Sockel-1155, dual PC3-10667E DDR3) (MBD-X9SCM-F-O)
• CPU: Intel Xeon E3-1270V2, 4x 3.50GHz, Sockel-1155, boxed (BX80637E31270V2)
• RAM: Kingston ValueRAM Intel DIMM Kit 32GB PC3L-10667R reg ECC CL9 (DDR3L-1333) (KVR13LR9D4K4/32I)

S2011:

• Mainboard: Supermicro X9SRL-F retail, C602 (Sockel-2011, dual PC3-12800R reg ECC DDR3) (MBD-X9SRL-F-O)
• CPU: Intel Xeon E5-2630, 6x 2.30GHz, Sockel-2011, boxed (BX80621E52630)
• RAM: Kingston ValueRAM Intel DIMM Kit 64GB PC3L-10667R reg ECC CL9 (DDR3L-1333) (KVR13LR9D4K4/64I)

Beide Konfigurationen hätten zusätzlich noch:

• Gehäuse: Inter-Tech 4U-4324L, 4HE
• Netzteil: Inter-Tech FSP450-80EVMR 2x450W redundant, EPS12V, 2HE Servernetzteil (88887033)
• System-SSD: ADATA Premier Pro SP900 64GB, 2.5", SATA 6Gb/s (ASP900S3-64GM-C)
• 3x HBA: IBM ServeRAID M1015, PCIe 2.0 x8 (90Y4556)

Kann man das so stehen lassen?

Brauche ich eine Grafikkarte auch um das System anfänglich zu installieren? Die spätere Wartung wird über SSH oder ähnlich funktionieren denke ich mal. Bis dato hatte ich immer CPUs mit integrierter Grafikeinheit weswegen ich wenig Wert darauf gelegt habe ob eine Grafikkarte notwendig ist oder nicht, daher meine Frage.

Stimmt Solaris wäre an sich nicht schlecht, allerdings stört mich hier, dass es nicht mehr weiter entwickelt wird ... und OpenIndiana ist noch nicht so weit, dass es Encryption integriert hat.
Linux hingegen hat in den letzten Monaten einen enormen Fortschritt in der BTRFS Entwicklung gemacht, ich finde daher kann man dem eine Chance geben.

Skalierbarkeit sollte unter BTRFS kein Problem sein, da jederzeit ein neues Laufwerk hinzugefügt (btrfs device add /dev/sd* /mnt) und anschließend auf die maximal verfügbare Größe erweitert werden kann (btrfs filesystem resize max /mnt).
Im Detail muss ich mir das allerdings noch ansehen wie es sich verhält, wenn darunter ein Crypt-Device liegt und sich das ganze in einem LVM befindet, aber sollte auch ohne großen overhead machbar sein.

 

[gea]

Stimmt Solaris wäre an sich nicht schlecht, allerdings stört mich hier, dass es nicht mehr weiter entwickelt wird ... und OpenIndiana ist noch nicht so weit, dass es Encryption integriert hat.
Linux hingegen hat in den letzten Monaten einen enormen Fortschritt in der BTRFS Entwicklung gemacht, ich finde daher kann man dem eine Chance geben.

Bis BTRFS die Reife und den Funktionsumfang von ZFS erreicht kann es noch dauern.
Wahrscheinlich wird da eher ZFSonLinux verbreiteter sein (und universeller da kompatibel zu BSD und Solaris).

ansonsten
Natürlich wird Solaris von Oracle weiterentwickelt (aktuelle Version 11.1). Es ist halt nicht frei nutzbar, http://www.oracle.com/technetwork/server-storage/solaris11/downloads/index.html

daher der Illumos Fork von OpenSolaris (OpenSource) mit diversen Distributionen.
Distributions - illumos - illumos wiki


die Supermicroboards haben ansonsten onboard Grafik

 

[millenniumpilot]

Hallo,

ich habe nur eine Bermerkung zu den Ram-Kits. Ich würde nur Einzelmodule kaufen. Im Defektfall darfst Du nämlich das gesamte Kit einschicken und stehst dann ohne Speicher ganz dumm da. Bei Einzelmodulen.... Meist bekommt man sogar trotzdem Module mit fortlaufenden Seriennummern.
Ansonsten für das X9-SRL gleich zu 1600er Modulen greifen, die Module bringen das in diesem Board auch und werden auch nicht runtergetaktet.

 

[MrDeluxe]

Offtopic:
Ist das Teil für den Heimgebrauch? Wenn ja, braucht man 24/7 solche großen Kapazitäten? Das frisst zum einen viel Strom und zum anderen die Langlebigkeit der Hardware (vor allem der HDDs). Daher würde ich ESXi und Fileserver trennen. ESXi kann dauerhaft rennen mit sparsamer Hardware und das Datengrab wird nach belieben mal eingeschaltet, wenn was drauf gepackt werden muss. Ich lass mich aber gerne vom Gegenteil überzeugen

 

[LichtiF]

*grins* Es gibt hier viele Sammler und Jäger

 

[hominidae]

...hmmm, mal sehen...

S1155 -> KEIN reg ECC !!! ...nur UDIMMs möglich !!
S1155 -> das X9SCM-iiF ist auch ne Alternative..etwas teurer aber gleich beide NICs werden unter ESXi ohne Fremdtreiber funktionieren (beim -F nur einer)

...Graka brauchst Du keine, beide Boards haben eine, dank IPMI (das -F im Modell ;-)

Mit dem Netzteil wirst Du keine 24 Platten anlaufen lassen können...Du brauchst etwa 2A pro Disk plus Reserve für mobo, CPU, RAM, Sys-Platte und HBA/Controller (ca. 4A würde ich sagen).
Ich würde auch immer ein single Rail nehmen (also eines mit nur einer 12V Leitung)....das Intertech hat 2x18A...ich würde auf mind. 50A gehen...650W oder grösser.

---------- Post added at 23:56 ---------- Previous post was at 23:37 ----------

...wenn DU noch ein bischen sparen willst, dann vergleiche Preise für die bulk versionen der boards.

Kein Karton (hmm..ok, nicht hübsch), keine Treiber CD (brauchste nicht), kein Papier-Handbuch (download) und keine Sata-Kabel (brauchste die?..haste schon, oder?).
Die Blende für die Rückseite ist auch bei bulk aber immer dabei.

Bulk versionen heissen bei SM "-B", die kompletten Kartons / retail heissen "-O". zB "X9SCM-iiF-O" für retail.

---------- Post added at 23:58 ---------- Previous post was at 23:56 ----------

...Kabel für die HBAs zur Backplane sind i.d.R. bei den Controllern nicht dabei.
Du brauchst mind. 60cm SFF8087 Kabel....siehe auch den Thread zum Gehäuse.

 

[Macer89]

@gea
Kann gut sein, dass ich mich noch einmal umentscheide und dann doch zu napp-it greife, aber zur zeit ist Solaris für mich Neuland und in Linux bin ich doch versierter

@milleniumpilot
Oh stimmt, danke! Daran habe ich in der ganzen Euphorie gar nicht gedacht, das ist ein guter Einwand, werde ich berücksichtigen!

@MrDeluxe
Ist nur für den Heimgebrauch. Wie wäre es denn wenn ich das so entkoppeln würde wie du es vorschlägst? Ein eigener Fileserver, der vom ESXi-Server eingeschaltet wird?
Ich habe ein paar ESXi-Server aus dem Forum verfolgt und da bei denen alles in einer Maschine war erschien es mir am sinnvollsten, wenn es natürlich bessere Ansätze gibt bin ich gerne für alles offen

@hominidae
Danke! Bezüglich dem Board, wo sieht man das mit dem RAM (UDIMM oder ECC)? Ich glaube ich bin blind ...
Hast du ein bestimmtes Netzteil/Marke im Auge, die ich nehmen sollte? Gehen hier normale Desktopnetzteile auch?
So gesehen wären BULK-Versionen mehr als ausreichend, Kabel habe ich genug und den Rest braucht man nicht, wie du schon sagtest.
Die SFF8087 Kabel müsste ich mir noch besorgen, aber auf die kommt es bei so was auch nicht drauf an.
Den Gehäuse-Thread werde ich nochmal genauer studieren.


Gibt es so einen ungefähren Richtwert wie viel so ein System im IDLE ziehen sollte/wird?

 

[underclocker2k4]

Supermicro | Products | Motherboards | Xeon® Boards | X9SCM-F

Und dann mal bei RAM schauen, da steht es schwarz auf weiß.

 

[hominidae]

Ja, das Thema ECC kann verwirrend sein.
Man muss auch aufpasen, welche Steinchen man kombiniert..ist manchmal ncht einfach, zB dual/quad rank).
Das Handbuch hilft.

Der 1155 chipsatz braucht ECC, aber kann eben nur unbuffered (UDIMMS).
Das sieht man in den specs der boards, direkt auf der SM site.
Vergleiche mal das S2011er mit dem S1155er...dann fällt es ins Auge.

S2011:

System Memory
Memory Capacity
8x 240-pin DDR3 DIMM sockets
Supports up to 256 GB DDR3 ECC Registered memory (RDIMM)
Supports up to 64 GB DDR3 ECC and non-ECC UDIMM

S1155

System Memory

Memory Capacity
4x 240-pin DDR3 DIMM sockets
Supports up to 32 GB DDR3 ECC Un-Buffered memory (UDIMM)

Desktop-Netzteile gehehn auch...das Intertech kommt i.d.R. schon mit der ATX-Blende montiert. Allerdings redundante ATX wird IMHO nicht gehen.
Ich empfehle ein single Rail, 80+Platinum.
Die Leistung brauchst Du beim starten...dann nur noch 10-20% davon, wenn Du Platten schlafen legst...je besser die 80+ Kategorie, umso effizienter das NT in den Randbereichen der Leistung.
Sowas zB:
Netzteile mit Leistung ab 500W, Anzahl 12V-Ausgänge: 1x, 80 PLUS: 80 PLUS Platinum Preisvergleich | Geizhals Österreich

Ich habe das SuperFlower 600W...keine abnehmbaren Anschlüsse, aber bei dem Gehäuse egal.
Seasonic sind einfach super, aber teurer.

Habe erst kürzlich bei mir gemessen....
Intertech mit 6x 80mm Lüter (Lepa70D), SM X8SIL mit 32GB RDIMMs, L3426, 1x M1015, 1x RES2CV240, 1x DigitalDevices Octopus dual CI+2xDual-DVB-S2, 1x SSD, 12x Seagate 7200.14 3TB und 7x WD-EARS 2TB)

-> alles im idle: 75W
-> Start/Peak: 330W (die Platten scheinen sehr effizient zu sein, besser als das Datenblatt)
-> Normal: 135W (ein 11 disk-Array und DVB aktv)

...mein NT scheint für meine Disks doch überdimensioniert ;-)

 

[Macer89]

Danke für die Mühe!
Damit kommt dann ohnehin nur der 2011er Chipsatz in Frage, ohne ECC wäre es sinnfrei.

Dann werde ich wohl zum Seasonic 600W Netzteil greifen.
Die 55A auf der 12V Schiene werden bei der hohen Anzahl an Platten hoffentlich reichen.
Kann man bei so einem HBA ein "Staggered Spinup" konfigurieren oder geht das nur bei RAID-Controllern?

Wow, deine Werte klingen für mich jetzt ziemlich super, scheint bei der Menge an Hardware sehr effektiv zu sein.
Hast du auch ESXi in Verwendung? Siehst du bei den 32GB einen Engpass oder reicht das eigentlich eh locker?

Mir wäre halt irgendwie wichtig ein relativ zukunftssicheres System für ein paar Jahre zu erstellen.

P.S.
Sry mein Internet war mal wieder die letzten Tage nicht verfügbar ...

 

[hominidae]

Danke für die Mühe!
Damit kommt dann ohnehin nur der 2011er Chipsatz in Frage, ohne ECC wäre es sinnfrei.

????...öh, also ECC können beide, S1155 und S2011...nur der 1155er kann halt nur max. 32GB.
Das "freie" ESX kann übrigens auch nicht mehr als 32GB.

Dann werde ich wohl zum Seasonic 600W Netzteil greifen.
Die 55A auf der 12V Schiene werden bei der hohen Anzahl an Platten hoffentlich reichen.
Kann man bei so einem HBA ein "Staggered Spinup" konfigurieren oder geht das nur bei RAID-Controllern?

Ja, staggerd spinup ist bei mir drin.
Habe auch mal an den Einstellungen gedreht.
Standard ist "2sec Pause und je 8 Platten gleichzeitig".
Mehr als 15 Platten gleichzeitig kann man nicht setzen...und minimum Pause sind 0 sec.
Bei mir machen die Settings aber keinen Unterschied beim Verbrauch (boot).
Mein Messgerät misst den max/peak in einem eigenen register...aber evtl ist der peak ja zu kurz für das messinterval des Gerätes.
Evtl liegt es auch an meinem Expander.

Wow, deine Werte klingen für mich jetzt ziemlich super, scheint bei der Menge an Hardware sehr effektiv zu sein.
Hast du auch ESXi in Verwendung? Siehst du bei den 32GB einen Engpass oder reicht das eigentlich eh locker?

Mir wäre halt irgendwie wichtig ein relativ zukunftssicheres System für ein paar Jahre zu erstellen.

....also meine Hochrechnung (macht mein Messgerät) sind ca. 1000KWh pro Jahr für das System...nach so 2 Wochen Messzeit.
Das ist schon ne Menge Geld.
Idle sind es knapp 700KWh...auch ne Menge "Kohle".

Ja, ich habe ESXi...deswegen rennt der Hobel ja 24x7 und braucht im Idle halt schon ne Menge ;-)

Evtl wäre es sinnvoller statt eines grossen Arrays mehrere kleine "NAS" zu haben und die Hosts immer mit Sleep/WOL "anzusteuern".
Dann sind immer nur die Platten und Systeme an, die man braucht...damit käme man bestimmt auf 400KWh oder weniger runter.

Also für meine Zwecke komme ich mit den 32GB sehr weit....bei mir läuft auch alles gut mit 16GB, wenn ich etwas quetsche
sogar mit 8GB (z.B. läuft meine Solaris VM mit 2.5GB auch noch ohne Mucken, sie hat aber nun 16GB, weil das die allg. Empfehlung ist).
Aber das muss jeder selber wissen, was zukunftsfähig bedeutet...technisch wird es gut durchhalten...Deine Ansprüche für die Zukunft musst Du entscheiden.

 

[millenniumpilot]

Hallo,

aus aktuellem Anlass gerade eben gemessen:

Bord SM X9SRL-F mit 64GB, Samsung 840pro als Datastore, 3x M1015, 12 Hitachi 2TB 7,2k, 5 kleine Platten, 10G-NIC

verbraucht mit Platten im Idle 92W, Platten nicht schlafen gelegt 158W.

Platten starten im staggerd spinup , aber immer nur 2 Platten gleichzeitig, da nur 400W-Netzteil, dabei Peeks laut Messgerät bis 250W, bei 3 Platten waren es glaube ich knapp über 300W. soo genau habe ich mir diese beiden Zahlen aber nicht gemerkt, also nur ca.