Storage Server für Hyper-V (ZFS vs. Tiered Storage)

[teqqy]

Hallo zusammen,

ich möchte mir für ein Testlab ein Storage Server für Hyper-V hinstellen, welcher die VHDX-Dateien sowie die normalen Bewegdaten hosten soll. Hierbei schwanke ich derzeit zwischen zwei Varianten.
1. Server mit ZFS Dateisystem - Je eine Freigabe für VMs via iSCSI an den Server gereicht und eine Freigabe für Bewegdaten
2. Windows Server mit Tiered Storage

Als Hardware möchte ich die derzeitig vorhande nutzen:

• InterTech 4088 4HE Gehäuse im 19″ Format
• FSP Fortron Aurum Gold 400 W Netzteil
• Supermicro X9SCM-F Sockel 1155 Mainboard
• Intel Xeon E3-1225 – 4 x 3,1 GHz mit Hyperthreating
• IBM 1015 HBA
• 16 GB Kingston ECC Ram
• 1 x Intel SSD 330 60 GB (System)
• 2 x Toshiba DT01ACA 500 GB (Raid1 für /var)
• 3 x WD Red 2 TB (mdadm Raid5 für Daten)

Es werden hier lediglich die Toshiba HDDs gegen zwei Samsung 840 Pro SSDs mit 256 GB Kapazität ausgetauscht.

Nun stellt sich mich die Frage was mehr Sinn macht? Geplant ist ein Netzwork Teaming mit 4 GB Ports (Switch werde ich dafür noch anschaffen - derzeit wohl ein TP-Link TL-SG424). Zumal ich schon eine HP Quard-Port Netzwerkkarte hier liegen habe. Preislich sind diese ja auch nicht wirklich teuer. 10 GBe ist auf Grund der Preise mir (noch) zu teuer.

Wichtig ist mir nur, dass ich annähernd die theoretisch Möglichen 450 MB/s der Netzwerkauslastung zw. Hyper-V und Storage Server hinbekomme.

Das ganze ist ein reines Testlab und wird definitiv nicht in die Produktion gehen! Daher wären Fertigsystem etc keine Option.

Hoffe ihr könnt mir bei meinem Vorhaben noch den einen oder anderen Tipp geben. Vielen Dank.

 

[GrafikTreiber]

Ich persönlich würde heutzutage kein Teaming mehr einsetzen, viel zu aufwendig. 10GBe mit Kupfer ist doch mittlerweile recht günstig, ca. 290€ je Karte, einen Switch für ca. 650€.
Intel X540-T1, 1x 10GBase-T, PCIe x8, low profile
Netgear ProSafe Plus XS708E, 8-Port

Die höhere Performance wirst du auf jeden Fall mit einer ZFS-Lösung erreichen. Tiered Storage wird von mir oft auch scherzhaft als Tired (zu deutsch "müde") Storage bezeichnet.

Für SSDs im Raid solltest du SSDs mit einer hohen Performance-Konsistenz wählen, also z.B. eine richtige Enterprise SSD ala Intel 3700 oder Samsung SM843T. Wenn dafür das Geld nicht da ist wäre eine SanDisk Extreme II wohl die bessere Variante.
AnandTech | SanDisk Extreme II Review (480GB, 240GB, 120GB)
Wenn dir der für Testzwecke eigentlich völlig unwichtige Performanceunterschied nicht so wichtig ist, greif zu einer Samsung Evo, denn alles andere wäre völlige Geldverschwendung.
AnandTech | Samsung SSD 840 EVO Review: 120GB, 250GB, 500GB, 750GB & 1TB Models Tested

 

[teqqy]

10 GBe in Ehren. Würde ich auch gerne haben. Aber das sind knapp 1000 Euro zusätzliche Kosten. Ich werde damit auch nicht indirekt Geld verdienen, daher ist das mir doch zu viel.

Bez. der Intel SSDs (zumindest die 3500er) war ich zugegeben auch schon am Überlegen. Sehe aber für ein privates Testlab da nicht die Sinnhaftigkeit. Bei einer produktiven Umgebung käme bei mir auch selbst schrauben nicht in Erwähgung.

Deine Empfehlung - auf das Storage selbst bezogen - ZFS zu nehmen?!

 

[GrafikTreiber]

Ja, ZFS grundsätzlich einfach was es gut funktioniert, viel mehr Features hat und schneller ist. Storage Spaces / Tiered Storage muss sich an ZFS messen, nicht umgekehrt.

Und eine Samsung Evo und keine 840 Pro da es für Testzwecke völlig egal ist ob die SSD mal ein paar Millisekunden mehr herum derpt oder nicht.

Aber beim Einsatz von Nicht-Enterprise SSDs mit nicht ausreichend Spare-NAND definitiv manuell Overprovisionen in dem man nicht die gesamte SSD verwendet sondern nur eine Partition mit 75% der Gesamt-Kapazität. Den Rest unpartitioniert freilassen, sollten zuvor Daten darauf gewesen sein einen Secure Erase durchführen.
Das ist nötig weil ZFS leider noch nicht TRIM kann. Es wird daran gearbeitet, es dauert aber noch etwas. Bei Enterprise-SSDs ist dies nicht notwendig, die haben genug Spare-NAND.
Siehe Features - OpenZFS und AnandTech | Exploring the Relationship Between Spare Area and Performance Consistency in Modern SSDs.

For drives on the market today that don't already prioritize consistent IO, it is possible to deliver significant improvements in IO consistency through an increase in spare area. OCZ's Vector and Samsung's SSD 840 Pro both deliver much better IO consistency if you simply set aside 25% of the total NAND capacity as spare area. Consumer SSD prices are finally low enough where we're no longer forced to buy the minimum capacity for our needs. Whatever drive you end up buying, plan on using only about 75% of its capacity if you want a good balance between performance consistency and capacity.

FreeBSD kann TRIM mit ZFS, aber scheidet aufgrund der aktuell unbrauchbaren iSCSI-Implementation aus. Istgt brauch einen Neustart wenn man eine LUN verändert/löscht und dabei werden alle aktuellen Verbindungen beendet. Eventuell löst die neue in FreeBSD 10 kommende Implementation die aktuellen Probleme.

Wenn es für 10GbE nicht reicht, warum nicht einfach einen All-in-One Server mit virtueller Storage-Appliance? Siehe geas napp-it All-in-One-Konzept. Dann hast du intern auch eine 10Gbe oder mehr, zwar virtualisiert, kommt aber am Ende doch aufs selbe raus.

Ich habe für Tests und Zuhause auch kein echtes 10GbE, nur ein virtuelles.
Tests die so etwas wirklich erfordern macht man dann direkt mit richtiger Hardware so wie es später auch produktiv genutzt werden soll, alles andere bringt nur nicht relevante Ergebnisse hervor.

 

[teqqy]

Interessanter Artikel zu dem provisionieren der SSDs. Danke dafür!

Du meinst also ein ESXi mit Storage VM und darauf dann ein Hyper-V installieren. Ist das denn überhaupt möglich eine Virtualisierung in einer Virtualisierung zu installieren?

Ich muss zugeben, dass diese Lösung den Charme hätte, dass ich mir nur eine dicke Kiste daheim hinstellen muss und nicht zwei "normale".

 

[LichtiF]

Also Hyper-V unter ESXi habe ich bei mir mit meinem ML310e Gen8 auch schon mal getestet das geht einwandfrei habe aber auch nur Hyper-V Cluster usw getestet und nicht großartig viel mit VMs unter Hyper-V.

 

[teqqy]

Das wäre auch so ein Vorteil den ich von einer virtualisierten Virtualisierung hätte. Da die oben drauf liegenden VMs alles nur Test-Maschinen sind brauch ich auch keine 100 %ige Kompatiblität. Der Thread war mir nur wichtig, dass ich Datenträgertechnisch nicht verzweifel wenn ich mit dem Testen beginne.

 

[LichtiF]

Ja das mit dem Storage ist dann so eine Sache da bei mir das alles nur Testumgebung ist langt mir da normale Festplatten und 1 GB Netzwerkkarten (Hier auf der Arbeit haben wir noch 1GB Netzwerk und Storage mit 4 GB FC und es Arbeiten ca 500 Leute hier ohne Probleme ok Beamte arbeiten auch nicht so viel ............. *grins*)

Werde mir aber auch bald mal SSD besorgen wenn mal wieder Geld dafür da ist

 

[GrafikTreiber]

Du meinst also ein ESXi mit Storage VM und darauf dann ein Hyper-V installieren. Ist das denn überhaupt möglich eine Virtualisierung in einer Virtualisierung zu installieren? .

Ja, das Stichwort dazu ist Nested Virtualization. Du kannst also ganz Inception-mäßíg vorgehen und ein Proxmox in einem Proxmox in einem ESXi installieren und darin selber wieder VMs erstellen. So kann man sich auch riesige Clusteraufbauten testen, natürlich sollte man dafür mehr Ram haben und ausreichend SSD-Storage für die ganzen VM-Images.
Klar geht dabei etwas Performance verloren, für einen Test ist es aber nicht so wichtig, die Funktionalität zählt.

Ich selber nutze dafür Proxmox, ESXi kann auf jeden Fall auch Nested Virtualization, Hyper-V meines Wissens auch, habe ich aber damit getestet da Hyper-V immer am unteren Ende war und nichts weitergeben musste.

Dafür braucht die CPU EPT (Intel) oder RVI (AMD), bei Intel sind das alle Xeons ab Nehalem (2009, Intel Xeon 55xx), deiner also eingeschlossen. Und man muss es natürlich noch im Hypervisor einstellen, da ist überall unterschiedlich, dazu einfach googlen.

 

[teqqy]

Proxmox wäre da auch eine gute Idee. Zumal ich dafür kein Windows Client benötige (hab als Clients derzeit nur das MacBook Air).

Okay, dann eine Frage zur Storage VM: Wieviel RAM sollte man dafür veranschlagen?

Der Server den ich mir dann vorstelle hat ungefähr diese Komponenten
4 x Samsung SSD 840 EVO 120GB, 2.5", SATA 6Gb/s (MZ-7TE120BW)
1 x Intel Xeon E5-2603 v2, 4x 1.80GHz, Sockel-2011, boxed (BX80635E52603V2)
2 x Kingston ValueRAM DIMM 16GB, DDR3-1600, CL11, reg ECC (KVR16R11D4/16)
1 x Supermicro X9SRL-F retail (MBD-X9SRL-F-O)

Rest (Netzteil, Gehäuse, WD Red) würde aus dem jetzigen Server übernommen werden.

 

[GrafikTreiber]

Wieso 4 SSDS? Mach lieber zwei 250GB daraus. Du könntest auch eine 500GB verwenden und diese als L2ARC verwenden, also als Lesecache. Frequently Asked Questions About Flash Memory (SSDs) and ZFS. Wie schon gesagt, Overprovisioning nicht vergessen!

Schreibperformance im Vergleich zum SSD-Only ist dann natürlich nicht so der Hit und der Cache auch erst schnell wenn die Daten erst mal von der Platte geladen sind. Also ist der SSD-Only-Pool vielleicht doch besser für deinen Anwendungszweck.

Ich würde zum Intel Xeon E5-1620 v2, 4x 3.70GHz, Sockel-2011, tray (CM8063501292405) raten, doppelte Performance für nicht mal 100€ mehr. Ist die CPU mit der besten Preis/Leistung, habe ich auch in meinem privaten Fileserver (v1), im Testserver steckt ein Intel Xeon E5-1650 v2, 6x 3.50GHz, Sockel-2011, tray (CM8063501292204).

Dann brauchst du noch einen ordentlich Kühler, auf das X9SRL-F passen nur Narrow-ILM-Kühler, gibt also nur ein paar Kühler zur Auswahl.

Supermicro SNK-P0050AP4
Noctua NH-U9DX i4 oder Noctua NH-U12DX i4, Bauhöhe beachten, bei 4HE 19" Gehäusen passt nur der U9 und nicht der U12!
Ich würde zu einem Noctua raten, ich selber habe den Supermicro, aber einfach nur weil es den Noctua zum Kauf noch nicht gab.

4GB wären für die Storage-VM ausreichend, mehr bedeutet einfach nur mehr Cache und kann dadurch mehr Performance bringen. Wenn du den Ram also über hast, spendier der VM mehr, wenn nicht dann halt nicht.

Du kannst dein bestendes Debian einfach zum Proxmox machen. Verwende am besten den neuen 3.10 RHEL7-Kernel aus pve-test, oder den normalen Debian Backports Kernel 3.13 (verwende ich) oder verwende direkt die Promox 3.2 Beta, da ist der RHEL7-Kernel gleich mit drin. Bloß nicht den steinalten 2.6.32 RHEL6 Kernel.
Install Proxmox VE on Debian Wheezy - Proxmox VE

Als Router in solchen Testaufbauten verwende ich genau so wie in Produktivumgebungen pfSense.

Folgende Links wirst du brauchen:
Proxmox Wiki - PCI Passthrough
proxmox.com Forum - nested proxmox - SOLVED - Post #7

 

[teqqy]

Ich hätte aus den 4 SSDs ein RaidZ1 gemacht, daher. Du empfiehlst also eher ein Raid1 aus den beiden Platten? Raid0 ist mir selbst für ein Testsystem zu heikel.

Die CPU wäre zumindest ein Gedanken wert. Zumal die im Gegensatz zu meiner Variante auch HT hat. Kühler wird dazu vorgemerkt.

Ich werde das jetzige System dann wohl ersetzen und SM Board, Xeon und RAM veräußern und dafür nur noch das große nutzen. Einzig spannende während der Migration ist mein derzeitiger Mail-Server.

Als Firewall / Gateway werde ich wohl eher auf Sophos UTM setzen, da wir dieses Produkt vertreiben und ich somit damit auch "spielen" kann. Vor allem was Intrusion prevention und QoS betrifft.

Die Hardware-Liste würde dann so aussehen:
2 x Samsung SSD 840 EVO 250GB, 2.5", SATA 6Gb/s (MZ-7TE250BW)
1 x Intel Xeon E5-1620 v2, 4x 3.70GHz, Sockel-2011, tray (CM8063501292405)
2 x Kingston ValueRAM DIMM 16GB, DDR3-1600, CL11, reg ECC (KVR16R11D4/16)
1 x Supermicro X9SRL-F retail (MBD-X9SRL-F-O)
1 x Noctua NH-U9DX i4

 

[GrafikTreiber]

Habe meinen oberen Post noch mal editiert, schau ihn dir noch mal an.

Ein Raid0 würde ich auch nicht machen.
Heutzutage noch 120GB SSDs? Finde das ist fast schon Slotverschwendung, die 250GB Evo ist auch etwas schneller als die 120GB. Preis pro GB ist auch nicht so der Hit.
Siehe Samsung Evo sortiert nach Preis pro GB.

Dann kommt noch was anderes dazu: 4 SSDs für ein Z1 ist suboptimal, siehe: ZFS Stammtisch Post #2437 (Optimale Festplattenaufteilung im RaidZ und Ausfallwahrscheinlichkeit), zweiten Spoiler ausklappen.

Meine Empfehlung wäre also ein Z1 aus 3x 250GB oder wenn das Geld knapp ist ein Mirror aus 2x 250GB. Die Performance vom Z1 wirst du für Tests wohl aber nicht brauchen, wenn wir also unserem Sparschema mit den Evos weiter folgende reicht also auch ein Mirror aus.

Snort und QoS hat pfSense auch.

Für deinen Mailserver empfehle ich dir gleich den Umstieg auf Kolab 3, da hast du dann gleich Kalender (calDAV), Kontakte (cardDAV) und Filecloud (WebDAV) in einer vernünftigen und vollständig freien und kostenlosen Open-Source Lösung ohne abgespeckte Community-Scheiße mit Nerv-Popups und sonst was. Ist meiner Meinung nach alternativlos. Ansonsten siehe Proxmox Wiki - Migration of servers to Proxmox VE - Proxmox VE oder halt eine neue VM und Configs und Mails übertragen.

 

[teqqy]

Danke dir für die zwei Proxmox Links. Ersteren habe ich auch schon gefunden.

Werde dann wohl bei 2 SSDs im Mirror bleiben. Wenn ich irgendwann mal wesentlich mehr Platz brauchen sollte, löse ich halt das Raid auf und baue eine neue ein. Oder ich kaufe größere SSDs.

Mailserver nutze ich mit dovecot und postfix und bin damit auch ganz zufrieden. Aber danke dir für die Kolab Empfehlung.

das pfSense oder IPfire oder wie sie auch alle anderen heißen natürlich auch QoS und soweiter können, ist ja nix neues. Die UTM wie gesagt deswegen, da ich auch direkt ein weiteren praktischen Nutzen habe.

 

[GrafikTreiber]

Kolab verwendet auch Postfix, für Imap Cyrus. Du verwaltest das alles per Hand? Wahrscheinlich ist der Mailserver nur für dich selbst und du hast keine weiteren Nutzer? So etwas tue ich mir nicht mehr an, wir leben im Jahr 2014.
Ein Kolab ist in 15 Minuten installiert und eingerichtet, dann kann mal alles bequem im Webinterface machen. Kolab ist eine Groupware mit Enterprise-Features und nicht nur ein simpler Mailserver.

Noch ein Vorteil von Proxmox: Du kannst dann das neue ZFS-Plugin verwenden dass ZFS Snapshots für die VM-Snapshots verwendet.
http://pve.proxmox.com/wiki/Storage:_ZFS