Home Server mit ESXi und RAID-Z2

[whatson]

Hey!

Ich plane mir einen Home Server anzuschaffen.

Dieser soll insbesondere für Storage Zwecke, aber natürlich auch andere Server-Dienste, verwendet werden.

Dabei möchte ich folgende Anforderungen erfüllen:

.) Am besten sollte der Server eine Virtualisierungsschicht mit VMware ESXi 5.5 haben.
.) Ich möchte durch ZFS mit RAID-Z2 eine höchstmögliche Redundanz für meine Daten erreichen.
.) Je nach Performance-Impact sollen die Storage-Festplatten verschlüsselt werden.
.) Ich möchte dann einen großen Share für meine Clients im Netzwerk als Speicherort bereitstellen.

Derzeit habe ich mir schon folgendes Hardware Konzept überlegt.

Case: Cooler Master HAF932 schwarz (HAF-932-KKN1) Preisvergleich | Geizhals Österreich --> muss ich nicht extra kaufen, habe ich zuhause lagernd, natürlich hätte ich lieber einen Rackmounted-Server, allerdings spare ich so Kosten
CPU: Intel Xeon E3-1225 v2, 4x 3.20GHz, Sockel-1155, boxed (BX80637E31225V2) Preisvergleich | Geizhals Österreich --> würde wahrscheinlich auch ein normaler i7 tun, aber ich hätte gerne einen Server-Prozessor
Mainboard: ASUS P8B-X (90-MSVDG0-G0UAY00Z) Preisvergleich | Geizhals Österreich --> eigentlich hätte ich lieber einen 2011 Sockel, da ich so mehr RAM und PCIe Slots habe, aber aus Kostengründen würde ich mich auch mit 1155 zufrieden geben
SATA-Controller: 2x HighPoint Rocket 640L, low profile, PCIe 2.0 x4 Preisvergleich | Geizhals Österreich --> ist leider der einzig preisgünstige SATA-Controller den ich gefunden habe - möchte möglichst für SATA3 Anschlüsse, hab aber auch gehört das man stattdessen auch einfach SAS-Controller nutzen kann, stimmt das?
Netzteil: be quiet! System Power 7 700W ATX 2.31 (BN146) Preisvergleich | Geizhals Österreich --> wobei das nur ein erster Vorschlag ist, habe mich da noch nicht genau festgelegt
Festplatten: 4x Seagate Constellation ES.3 2TB, SATA 6Gb/s (ST2000NM0033) Preisvergleich | Geizhals Österreich --> sind leider etwas teuer, haben dafür aber recht gute Spezifikationen
RAM: Kingston ValueRAM DIMM Kit 32GB, DDR3-1600, CL11, ECC (KVR16E11K4/32) Preisvergleich | Geizhals Österreich --> fällt aber für meinen Geschmack etwas sehr teuer aus, wäre für andere Vorschläge offen

Das Hardware-Konzept ist nur eine Erstfassung und ich bin mir sicher, dass ich nicht alles beachtet habe, wobei ich für eure Hilfe und Vorschläge sehr dankbar wäre.

Am liebsten wäre mir das mein Storage-Server in einem auf VMware ESXi 5.5 virtualisierten CentOS 6.4 läuft (da ich damit schon am meisten Erfahrungen habe --> habe jedoch auch gelesen das ZFS besser auf FreeBSD laufen soll, stimmt das?).

Zusätzlich würde ich gerne noch Deduplizierung nutzen, wobei ich aber gelesen habe, dass dieses Feature derzeit bei ZFS sehr viel RAM braucht --> pro TB 5GB RAM.

Wichtig wäre mir auch das ich mein Diskpool einfach durch neue Festplatten erweitern kann.

Vielen Dank im voraus für eure Hilfe.

 

[gea]

ESXi + virtuelles ZFS NAS/SAN nutze ich seit Jahren als napp-in-one (all-in-one mit napp-it) und bin wahrscheinlich weltweit der erste der sowas vorgeschlagen hat.
Damit das sauber funktioniert braucht man idealerweise:

- ein Serverboard das VT-d kann mit genügend schnellen pci-e Slots
- idealerweise ECC RAM (ab 16GB besser mehr) + Xeon
- einen zweiten Controller (idealerweise einen LSI HBA, eher weniger/garnicht einen Highpoint)
Sata wird für ESXi gebraucht, den LSI nimmt man für ZFS.

- ein ZFS-OS. Entwickelt wird ZFS nach wie vor im Wesentlichen auf Solaris (Oracle bzw Illumos). Hinsichtlich Stabilität, Performance und Features gilt für mich Solaris/Illumos > BSD > Linux wobei mein Favorit OmniOS mit Illumos als Basis ist (freier Solaris fork)

Meine Idealhardware wäre ein SuperMicro Serverboard Sockel 1150 oder 2011 mit integriertem LSI Controller z.B. Supermicro | Products | Motherboards | Xeon® Boards | X10SL7-F - da kostet der Controller LSI 9207 separat gekauft sovlel wie hier das Board.

bzg. Dedup: Nein- nur ganz selten sinnvoll, besser eine Platte mehr kaufen und lz4 compress machen
bzg. Verschlüssellung: Da gibt es leider keine kompatible Option bei ZFS:
- Oracle Solaris 11: hat integrierte ZFS Verschlüssellung, leider nicht frei für andere Plattformen
- BSD: hat Geli, nur BSD
- Linux: hat Luks, nur Linux
- freie Solaris: haben lofiadm, nur Solarisartige

muss man selber entscheiden.

Ich habe dazu auch ein pfd als howto http://www.napp-it.org/doc/downloads/napp-in-one.pdf
- die Vorgehensweise gilt auch bei anderem OS

 

[whatson]

Hey!

Vielen Dank für deine Rückmeldung.

Ist wirklich sehr hilfreich.

Wenn ich folgendes Mainboard nehmen würde: Supermicro X9SRH-7F retail (Sockel-2011) (MBD-X9SRH-7F-O) Preisvergleich | Geizhals EU

Bräuchte ich dann aber zusätzlich keinen Controller mehr oder?

Benötige ich dann für das ZFS SAS Festplatten, oder passen normale SATA, bzw. für den ESXi dann einfach einen Hardware RAID1 mit SSDs?

Eigentlich möchte ich ja SATA3 Festplatten an das Mainboard anschließen und keine SAS, aber das sollte trotzdem funktionieren, die sind ja untereinander kompatibel, oder?

Und das oben beschriebene Mainboard ist VT-d tauglich, oder?

Könntest du mir vielleicht auch einen bestimmten RAM empfehlen?

 

[gea]

Wenn schon so ein teures 2011 Board, dann würde ich eventuell gleich das Supermicro | Products | Motherboards | Xeon® Boards | X9SRH-7TF nehmen. Das hat dann gleich 10 Gbe onboard. Das kostet separat ab 300 Euro, hier aber nur ca 80 Euro Aufpreis. 10 GBe wird bald Standard und ist bei Terabytes an Daten auch notwendig.

Ein extra SAS/Sata Controller wird da nicht benötigt. Man sollte aber für ZFS den Controller auf IT (ohne Raid) umflashen http://www.napp-it.org/doc/manuals/flash_x9srh-7tf_it.pdf

Der SAS Controller unterstützt auch Sata 2/3 Platten

Das Board läuft sehr gut mit ESXi, vt-d und ECC (mit Xeons), habe ich selber

Speicher (ECC Server Speicher):
siehe Kompatibilitätsliste bei Supermicro oder Speichersuche | Kingston

 

[hominidae]

.) Ich möchte durch ZFS mit RAID-Z2 eine höchstmögliche Redundanz für meine Daten erreichen.
.) Je nach Performance-Impact sollen die Storage-Festplatten verschlüsselt werden.

Wenn Du eine CPU hast, die AES Instructions nativ unterstützt, dann sollte das gehen.
Ich habe da mit Solaris keine guten Erfahrungen gemacht, was die Performance anging..FreeBSD war da deutlich besser...Linux mit LUKS/dm-crypt läuft perfekt.

Wichtig wäre mir auch das ich mein Diskpool einfach durch neue Festplatten erweitern kann.

Das geht bei ZFS nur bei einem mirrored pool "einfach".
Bei RaidZx nur indem Du Platten einzeln, Stück für Stück, gegen solche mit grösserer Kapazität austauscht
oder ein ganzes, (am besten) identisches vdev dem Pool hinzufügst.

Bist Du sicher ob Du so ein (teures) 2011er System überhaupt brauchst?...für Storage allein, mit einem Linux auf Debian/CentOS und LUKS/dmcrypt braucht es nicht viel.
Was willst Du für VMs? Brauchst Du überhaupt vt-d? Man kann die VMs über KVM auch auf dem Host laufen lassen, der das Storage bereitstellt.

Ich bin aufgrund des Stromverbrauchs eines 24/7 (der hat so garkeinen WAF )wieder weg von einem all-in-one.
Mein Storage läuft inzwischen auf einem Desktop Board (Asus S-AM3+ mit nem Opteron 3350 und ECC-RAM, kann S3/WOL) mit ZoL, LUKS/dm-crypt auf Debian.
Mein TV-Recoder auf einem kleinen Cel-847 unter Win7, ebenfalls mit S3/WOL und einem DrivePool von 3x3TB für Aufnahmen..sichert sich auf ein iSCSI ZVOL auf das Storage mit snapraid.
Mein alter 1156er Server hat ne GraKa bekommen und werkelt unter Win8.1 und 32GB ECC als Workstation und VMs laufen da unter Hyper-V.
Alles was ich wirklich 24/7 brauche läuft auf meinem Router ;-)
Stromersparnis im letzten Jahr ca. 500KWh.

 

[gea]

Eigentlich hoffe ich auch auf KVM. SmartOS ist ja auch eine ZFS-Spezial Distribution die darauf setzt.

Im Moment ist aber halt ESXI das Maß der Dinge (zumindest im kommerziellen Berech) - und das sind ja auch die Kenntnisse die man erwerben möchte wenn man privat soviel Geld ausgibt.

 

[hominidae]

ESXi ist nur das Mass der Dinge für x86 Plattformen, aber da das die Masse ist, hast Du sicher recht.
Der Lerneffekt mit *einem* Server ist mMn doch eher beschaulich, solange man auf die kostenlose Version setzt...das bischen vmx kann man mit mit VMWare Player auch lernen.
Proxmox VE ist für KVM auch eine gute Alternative.

 

[GrafikTreiber]

Greif lieber zu einem Server-Mainboard von Supermicro und nicht zu einem Asus, ECC-Speicher sollte es auf jeden Fall sein. Und kein Sockel 1155, der ist outdated. Entweder Sockel 1150, oder wenn du mehr als 16 PCIE-Lanes und 32GB Ram benötigst ein Sockel 2011 System mit v2-Prozessor, ein E5-1620 v2 bietet sich da an.

Aber wenn du das nicht benötigst gibt es keinen Grund mehr Geld auszugeben. 10GbE macht zum Beispiel überhaupt keinen Sinn wenn deine Clients dies überhaupt nicht benötigen oder du keinen entsprechenden Switch hast usw.

Bis 24 Festplatten (3x 8-Port SAS-Controller) reicht auch Sockel 1150.
Wenn du mehr Festplatten anschließen willst ist die günstigste Variante ein Sockel 2011 Mainboard mit bis zu 7 günstigen 8-Port-Controllern, beim X9SRL-F wären dann dann also bis zu 66 Festplatten, bei Verwendung von 16-Port-Controllern (die 3x kosten wie ein 8-Port-Controller) 122 Festplatten.
Von SAS-Expandern zusammen mit SATA-Festplatten sollte man Abstand nehmen, das kann zu Problemen führen. Mit Expandern sollte man auf jeden Fall SAS-Festplatten (die 3x soviel wie eine Consumer/SOHO NAS HDD kosten) verwenden.

Für ZFS brauchst du HBAs, also ganz simple Controller ohne Hardwareraid die die Festplatten nativ an das Betriebssystem übergeben können. Der LSI 9207 der auch auf dem IBM M1015 zu finden ist wäre da die günstigste Variante.

Wenn Du eine CPU hast, die AES Instructions nativ unterstützt, dann sollte das gehen.
Ich habe da mit Solaris keine guten Erfahrungen gemacht, was die Performance anging..FreeBSD war da deutlich besser...Linux mit LUKS/dm-crypt läuft perfekt.
.

Richtig, wenn du Verschlüssen willst und dabei noch eine halbwegs brauchbare Performance haben willst solltest du definitiv zu ZFSonLinux mit LUKS/dmcrypt greifen, ansonsten hat gea schon völlig recht wäre omniOS die beste Wahl.

Lies dir mal den Thread http://www.hardwareluxx.de/community/f101/medienserver-932622.html vollständig durch, dort findest du auch noch weitere Links zum Thema ZFS&Verschlüsselung und das Thema wurde dort eigentlich hinreichend besprochen. Redudanz, passende Hardware, konkrete Umsetzung, wie viele Festplatten fürs Z2 oder Z3... kommen da auch zum Thema. Zum Schluss auch konkrete ganz aktuelle Hardware, da letzter Post vor ein paar Tagen.

 

[whatson]

Hey Danke für eure zahlreichen Rückmeldungen.

Habe jetzt bisschen überlegt und schon genauere Hardware fixiert.

Mein Setup würde jetzt folgendermaßen aussehen:

4 x Seagate SV35.5 3TB, SATA 6Gb/s (ST3000VX000)
2 x Samsung SSD 840 Pro Series 256GB, 2.5", SATA 6Gb/s, retail (MZ-7PD256BW)
1 x Intel Xeon E3-1220 v3, 4x 3.10GHz, Sockel-1150, boxed (BX80646E31220V3)
1 x Kingston ValueRAM DIMM Kit 16GB, DDR3-1333, CL9, ECC (KVR1333D3E9SK2/16G)
1 x Supermicro X10SL7-F retail (MBD-X10SL7-F-O)
1 x Cooler Master VS-Series V450S 450W ATX 2.31 (RS450-AMAA-G1)

Dabei werde ich den Mainboard internen Raid-Controller für Hardware Raid1 auf den SSDs nutzen.

Darauf installiere ich dann den ESXi und meine VMs (unter anderem entweder CentOS, oder FreeBSD für mein ZFS).

Diesen reiche ich dann durch VT-d die 4 Festplatten nativ weiter.

Dann sollte ich doch 6TB freien Platz haben, oder? Bei Raid6, oder eben RAIDZ-2 fällt doch dann insgesamt der Plattenplatz von ca. 2 Platten weg, oder?

Den RAM lasse ich derzeit auf 16GB und stocke ihn später wenn nötig auf 32GB auf.

Wie gesagt benutze ich dieses Case: Cooler Master HAF932 schwarz (HAF-932-KKN1) Preisvergleich | Deutschland - Hardwareluxx - Preisvergleich

Sollte sich doch vom Platz drinnen ausgehen oder?

Bitte schreibt mir ob ihr dieses Setup vernünftig findet?

 

[Kampfwurst_Hugo]

Du kannst nicht den ESXi und die VMs auf die selbe SSDs installieren. Würde den ESXi auf einen USB Stick installieren.

Auserdem kannst du nicht über den Chipsatz ein Raid1 erstellen welches unter ESXi erkannt wird. Unter ESXi werden nur Hardware Raids erkannt.

Und wenn du Festplatten durchreichen willst macht man das mit RDM. Ausser man reicht einen ganzen Raid Controller (z.B M1015) an eine VM dann kommt VT-d zum Einsatz.

Am besten ist du liest dich nochmals durch verschiedene Threads.

 

[daisho]

Auf 10 Gbit LAN würde ich erstmal verzichten, "so schnell" wird das wohl nicht Standard werden. RJ45 Stecker gibt es (bis auf irgendwelche proprietären Stecker) nicht, da die Leitungen lt. Norm zu nah beieinander liegen - sprich du bräuchtest andere Stecker/Dosen, entsprechende Hardware (Switch: Schau dich mal um wie viel das Zeug kostet ...) und deine anderen Geräte im Haus brauchen natürlich auch 10 Gbit Netzwerkkarten/-Controller ... hat praktisch kein haushaltsübliche Gerät.

Daher "imho" sinnlos wenn man schon an der Server-Hardware bissl sparen will.

Supermicro Boards sind weltklasse, habe seit kurzem auch eines und das IPMI Feature alleine rechtfertigt die Kosten dafür schon. Dass da gleich ein LSI Controller drauf ist vereinfacht die Sache um Welten.

/Edit: Besten Anlaufstellen waren für mich:

napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris downloads
All-In-One with SmartOS/OI on mirrorred ZFS bootdisks (Mirror the OmniOS from Napp-it)
OpenSolaris derived ZFS NAS/ SAN (Nexenta*, OpenIndiana, Solaris Express) - [H]ard|Forum (Top-Thread mit vielen Links zu weiterführenden Infos)

 

[hominidae]

Du kannst nicht den ESXi und die VMs auf die selbe SSDs installieren. Würde den ESXi auf einen USB Stick installieren.

Klar kann man das...ESXi legt auf dem Install-Laufwerk einen Datastore an....man verliert etwas Platz, aber es geht ohne Weiteres.

Auserdem kannst du nicht über den Chipsatz ein Raid1 erstellen welches unter ESXi erkannt wird. Unter ESXi werden nur Hardware Raids erkannt.

Das ist richtig.
Das X10SL7-F hat aber neben dem on-board ports schon einen LSI2308 drauf....mit IR-Firmware sollte ein Raid-1 problemlos gehen. ESXi sollte mMn. den Controller unterstützen

Noch ein Tipp: beim installieren von ESXi *nur* die Disks im System, auf die man instalieren will...ESXi macht alles platt was es findet/unterstüzt und macht ein Datastore draus

Und wenn du Festplatten durchreichen willst macht man das mit RDM. Ausser man reicht einen ganzen Raid Controller (z.B M1015) an eine VM dann kommt VT-d zum Einsatz.

Na das ist Ansichtsache....mMn ist vt-d die erste Wahl, RDM nur wenn man kein vt-d hat.
Der TE hat wohl die Absicht auf dem LSI den ESXi zu installieren und dann die on-board ports durchzureichen.

 

[whatson]

Hey!

Klar wieso sollte ich die VMs nicht auf der gleichen Disk wie den ESXi installieren. Das macht man sowieso eigentlich überall so wo man keinen externen Storage hat. Also benutz ich einen großen internen Datastore (also 256GB SSD im RAID1) als Speicher. Der große Storage soll dann wie schon beschrieben durchgereicht werden. Dieser befindet sich auf dem LSI SAS2308, sprich meine 4x SATA Disks werden da drangehängt und der VM nativ zur Verfügung gestellt. Der RAID1 Verbund auf dem die VM und der ESXi laufen soll befindet sich am C222 Controller.

Es wäre ja vollkommene Verschwendung und unnötig wenn ich nur den ESXi auf einer 256GB SSD installiere und dann nichts anderes mehr draufspiele. Dann bleiben über 200GB für die Luft...

Ist mein Konzept also OK, bzw. sinnvoll für das was ich vorhabe?

 

[hominidae]

Naja, Du musst es andersrum machen...die on-board C222 ports können kein echtes RAID..die gehen so mit ESXi eben *nicht*.
Den LSI mit IR-FW im RAID nehmen für die SSDs..da drauf ESXi...die C222 ports durchreichen.

 

[whatson]

Hey!

Der C222 bietet aber leider nicht genug Platz für meine 4x SATA 3TB Platten. Dann mache ich am besten kein RAID1 sondern benutze nur eine SSD für meinen ESXi und die VMs. Dann reiche ich den LSI an die VM durch, so sollte das dann funktionieren oder? Dann kann ich meinem ZFS die ganzen 8 Anschlüsse vom LSI nativ zur Verfügung stellen.

Ich werde einfach ein Abbild meiner VM Installation machen, sodass ich falls die SSD kaputt wird einfach einen neuen ESXi auf einer neuen Platte installiere und das Abbild reinspiele. Dann sollte alles wieder funktionieren, oder?

 

[hominidae]

Also das kannst Du latuernich machen....aber das Board hat 6 ports, nicht 4 im chipsatz (C222), wo ist das jetzt zuwenig für 4 disks?

 

[whatson]

Ich möchte ja später noch mehr Disks zum ZFS Pool hinzufügen. Die 4 Disks mit jeweils 3 TB reichen mir nur auf bedingte Zeit. Außerdem sind ja 4 davon nur SATA2 und 2 SATA3. Ich möchte alle mit SATA3 anbinden. Derzeit habe ich ja dann mit RAIDZ-2 eine Kapazität von 6TB, weil ja zwei Disken wegfallen, wie sieht es aus wenn ich zu dem Pool weitere 4 Disken hinzufüge habe ich dann insgesamt 12TB (also 4 aktiv nutzen, anderen für Ausfallsicherheit durch RAIDZ-2), oder werden nur insgesamt die 2 Platten abgezogen und ich habe dann 18TB? Es sollte aber keine schwierigkeiten geben wenn ich SATA PLatten an den LSI SAS Controller anschließe, oder?

 

[hominidae]

Also, solange Du im Consumer-Bereich bleibst und Platten mit Spindeln/Motor verwendest, bringen Dir die SATA3 Ports nullkommagarnix.

Du kannst ein raidZx nicht einfach um Platten erweitern, das geht nur bei mirrored/single-disk pools.
Das habe ich weiter oben schonmal geschrieben.

Die Kapazität des Arrays, die Dir für Daten netto zur Verfügung steht ist nicht so einfach zu berechnen.
Insbesondere bei ZFS sollte man den Platz eh nicht voll nutzen ...mMn wird ZFS einen Teil (? 20% ?) für solche Zwecke prövisionieren.

 

[whatson]

Ja, stimmt, dass hast du geschrieben. Aber ich kann das pool schon in dieser hinsicht erweitern, dass ich nochmal 4x 3 TB Platten hinzufüge und die dann in gleicher Konfiguration laufen lasse, sprich nochmal ein RAIDZ-2 mache. Ich habe gelesen, dass ich dann nach außen hin, die beiden Pools als einen großen Share weitergeben kann z.B. mit NFS, oder? So sollte ich dann eben ein großes 12TB Pool haben. Und das ZFS speichert dann die Daten dorthin, wo es ihm gerade am besten passt, oder? Und sollte mir das irgendwann nicht mehr reichen, hast du ja auch geschrieben das ich Platte für Platte z.B. gegen 4TB Disks tauschen kann und jedesmal auf einen rebuild warte.

 

[hominidae]

Ja, stimmt, dass hast du geschrieben. Aber ich kann das pool schon in dieser hinsicht erweitern, dass ich nochmal 4x 3 TB Platten hinzufüge und die dann in gleicher Konfiguration laufen lasse, sprich nochmal ein RAIDZ-2 mache. Ich habe gelesen, dass ich dann nach außen hin, die beiden Pools als einen großen Share weitergeben kann z.B. mit NFS, oder?

...ja, nein,...jein, nicht ganz.
Da solltest Du dich mal einlesen, was ein vdev, was ein pool und was ein ZFS-Folder ist.
Im wesentlichen baust Du in Schritt 1 ein vdev - als raidz2 - aus deinem ersten Satz Platten und machst einen Pool draus, zB "tank".
Wenn der "voll" ist bzw Du den nächsten Satz Platten hast, machst Du ein zweites vdev - wieder raidz2 - und dann..macht Du da *keinen* zweiten Pool draus, sondern fügst dieses dem ersten Pool hinzu.
Wichtig zu verstehen dabei ist, dass ZFS nur "neue" oder "geänderte"(wg. copy-on-write) Daten auf der neuen Konfiguration "verteilt",
d.h. am Anfang bleibt der Pool nicht-ausbalanciert...das erste vdev voll, dass andere füllt sich dann durch Benutzung.

- - - Updated - - -

...auch ist nicht der Pool das Share, sondern immer ein ZFS-Folder.
Ein Pool kann beliebig viele ZFS-Folder, auch verschachtel in einem Baum, haben

- - - Updated - - -

...und wenn Du so vorgehst, hast Du zwei vdevs zu je raidz2...also 4 Platten fürs Parity "geopfert"...sozusagen ein raid60.
Wenn Du Backups hast, wäre es evtl besser, den alten Pool plattzumachen, aus allen Platten einen neuen raidz2 aufzusetzen und so 2 Platten mehr für Daten zu "gewinnen".

- - - Updated - - -

z.B..lies mal das...auch die Kommentare: http://www.itsacon.net/computers/unix/growing-a-zfs-pool/