Hardware Raid 6 oder ZFS RaidZ2?

[Gohst_oc]

tl;dr

Ist Raid mit guten Hardware-Controllern für Server mit eigenem Storage (ca. 8 HDDs) noch zeitgemäss?
Oder ist gutes Software Raid wie ZFS es implementiert flexibler und performanter?

Besonders für gemischten Workload aus Datenserver und Host für virtuelle Maschinen. Besonders sind auch die Raid Modi 5,6,10 und software-äquivalent gemeint.


Für diejenigen die alles lesen:

Hallo zusammen

Leider ist mein IT Wissen in Sachen Storage nicht mehr ganz auf dem neusten Stand.
Als ZFS und dessen Software Raid gerade in Opensolaris populär wurden, habe ich aufgehört mich für diesen Bereich zu interessieren (das müsste so anno 2010/11 gewesen sein).

Da ich nun einen performanten (und "sparsamen") Home-Server bauen will, habe ich einen Dell H710p mit BBU gekauft (ca. 60€).

Nun ja, ich werde ein schnelles Storage aus voraussichtlich 6 oder 8 2.0TB SAS Fesplatten (allerdings nur 7200U/min) aufbauen wollen.
Die Platten sind schon vorhanden.

Als erstes kam mir da RAID 6 oder 6 in den Sinn...
Früher hatte ich sowas an einem 3Ware 9690-4i laufen - die Performance war anno 2011 recht gut.

Auf dem Storage sollen primär Daten aber auch VHD's diverser virtuellen Maschinen lagern die auf dem selben Server auch betrieben werden.
Das Storage soll möglichst performant, aber auch genug verfügbar (1 HDD soll mindesten ausfallen dürfen) sein.
Die VM's müssen nicht eine SSD-Like Performance haben (das geht logisch nicht auf HDD's), aber mehr wie 3 aktive Systeme sollten dennoch responsiv bleiben - gleichzeitig das Storag als Netzwerkspeicher schnell genung sein um GBit LAN auslasten zu können (also seq. muss mehr wie 100MB/s noch drin sein).

Nun gibt es ja auch ZFS mit recht performanten RAID's - der Server hat 48 GB ECC RAM und 2x Xeon CPU's.
Ist das heute zeitgemässer und schneller als gute Hardware-Raid Controller?

 

[Holt]

ZFS ist wegen der eingebauten Sicherheit nicht unbedingt performanter als z.B. ein Linux md SW RAID, welches eben keine Prüfsummen hat und die Parity nur liest wenn sie gebraucht wird. Du hast aber den Controller und die Platte schon also verstehe ich nicht wieso man erst kauft und dann fragt.

Bedenke das RAIDs keine Backups ersetzen und HDDs nur auf eine Nutzungsdauer von 5 Jahren ausgelegt sind, solltest Du gebrauchte Platten gekauft haben. Alten Modelle werden zuweilen mit zurückgesetzten S.M.A.R.T. Werte als angeblich neu und unbenutzt angeboten, aber selbst wenn es stimmten würde so sind HDDs nur maximal ein Jahr lagerbar und man muss bei solchen Modelle mit Problemen rechnen. Statt 8 2TB im RAID 6 hätte ich vielleicht ehr 2 x 12TB im RAID 1 genommen.

 

[Gohst_oc]

Nun ja die Platten sind vorhanden und stammen aus Servern die ich kenne.
Also aus der Arbeit und waren max. 3 Jahre in Betrieb.

S.M.A.R.T meckert nicht, sind Hitachi Enterprise SAS HDDs.

Die 5 Jahre Lebensdauer... Ich habe noch ne Kiste mit HDDs zurück anno 1995... Die gehen noch, sind aber eher "archiviert/antiquittiert".

Einzig den Controller habe ich gekauft.
2 HDDs gäben nie die gewünschte Leistung.

Bei Neukauf hätte ich sicher ein paar SSDs dazu genommen für die virtuellen Maschinen - sagen wir 2 VMs pro SSD.

Aber eben jetzt rödeln halt 4-5 VMs auf HDD Storage rum.
Das muss jetz möglichst performan sein + Datengrab.
Da drängt sich Raid 10 oder 2x Raid 5 auf..?
Ein Pool für VMs und ein Pool für Daten.
Oder auch Raid 10 und Raid 5.

Dass ein Raid kein Backup ersetzt höre ich sicher schon seit 10 Jahren - das wäre klar.
Darum schreibe ich ja, Verfügbarkeit.

Backup passiert auf LTO4 Tape, da ist auch ein Sack voll inkl. Autoloader da. Das Backup (LTO 4 macht 120-240MB/s) eher der Flaschenhals sein.

Ich höre immer wieder dass Raid Conter je obsoleter werden und HBA Controller die elegantere Lösung sein sollen.

Oder noch wichtiger für mich:
Kann der HP710p (LSI SAS2208) zum Bottleneck werden bei 8 HDDs in einem x-Beliebigen Raid verglichen zu Software Raid mir ZFS oder mdRaid ?

 

[gea]

Bei Hardware-Raid vs ZFS muss man ganz klar Controller, Dateisystem und ZFS Features trennen.

Beginnend mit der letzten Frage (Controller) kann man ganz klar sagen, dass eine moderne CPU auch bei Raidberechnung schneller ist als ein Raidcontroller. Dazu ist Mainboard-RAM viel schneller und man hat mehr davon als bei einem Controller. Wenn es also keine alte Gurke ist, dannn sind HBA immer schneller. (Wobei ein Hardware Raid-Controller bei ZFS auch aus anderen Gründen falsch ist).

nur als Ergänzung, was ein aktuelles Single Xeon System so per Software so aus ZFS herausholt:
http://napp-it.org/doc/downloads/optane_slog_pool_performane.pdf

Hauptpunkt bei ZFS ist das Dateisystem. Dank CopyOnWrite ist es crashsicher und es bietet Versionierung/ Snaps. Die Prüfsummen auf Daten und Metadaten machen es auch zuverlässiger - allerdings langsamer. Auch ist die Fragmentierung bei CopyOnWrite höher als bei älteren Dateisystemen. Mehr als ausgeglichen wird das durch die in ZFS integrierten Caches wie RAM-Schreibcache (default 10% RAM, max 4GB) und RAM Lesecache. Damit wird fast alles aus dem RAM bedient - sofern man ausreichend hat. ZFS wird erst mit RAM richtig schnell. Wenn man sicheres Schreiben möchte (wie BBU bei Hardwareraid) kennt ZFS ZIL und Slog devices zum Protokollieren über einen Crash hinweg.

Zuallerletzt skaliert aber ZFS sehr gut über Platten und vdevs. Petabytes und mehrere GB/s Datentransfers sind da kein Problem. ZFS ist auf Datacenter Storage ausgelegt.

Zuletzt ist ZFS aber mehr als ein Dateisystem. Es integriert Volume- und Raidmanagement, Quotas und Reservierungen und zumindest bei Solarish (dafür wurde ZFS entwickelt) auch komplettes Share Management (Kernel NFS und SMB) sowie iSCSI Unterstützung.