[Kaufberatung] Neuer Raid-Controller/Raid-Lösung gesucht

[Martin7]

Halloo,

Mein vorheriger Controller 3ware 9690sa-8i hatte vor geraumer Zeit einen Defekt erlitten und habe seitdem meine sämtlichen Daten auf einer HDD - möchte jetzt wieder gerne auf eine Hardware Raid-Lösung umsteigen (ausser es gibt bessere Alternativen). Externe Lösungen wie Lian-Li EX 503 hab ich gesehen aber mal außen vor gelassen da ich genug Platz in meinem Rechner habe.

Vorhandene Hardware:

• 6x 2TB Samsung HD204UI stehen zur Verfügung - Angestrebt wird Raid6

Verwendung:

• Hauptsächlich für persönliche Daten (Fotos, Filme, Unterlagen etc).
• Filme werden davon auf den Fernseher gestreamed via Plex MediaServer oder PS3 Mediaserver.

Welchen Controller würdet ihr hierfür empfehlen?

Danke&Lg
Martin

 

[Martin7]

Hopp - hat niemand einen Tipp für mich?!

 

[Holt]

Die HD204UI sind keine geeigneten HDDs für das Vorhaben und dürfte inzwischen alt sein, denn die geplante Nutzungdauer von HDDs ist nur 5 Jahre und HDDs sind auch nur beschränkt lagerbar, denn sie altern auch wenn sie nicht benutzt werden. Nimm zwei 8TB NAS HDDs (am Besten Seagate Ironwolf wegen der UBER von 1:10^15) in RAID 1 und Du hast die gleiche Kapazität und mehr Sicherheit wie bei 8 alten HD204UI im RAID 6 bei weniger Leistungsaufnahme.

 

[Martin7]

Hi,

Danke für die Antwort. Ja es waren sicher nicht die optimalen Festplatten für den Verwendungszweck aber man lernt dazu. Aber welcher Controller? Vorteil bei den Festplatten ist dann auch das man nen Controller mit weniger Anschlüssen verwenden kann ohne Expander.

Folgende hätte ich jetzt rausgesucht:

• SAS 9271-4i,
• SAS 9361-4i,
• SAS 9341-4i

Gibt es bessere Alternativen?

 

[mika2004]

Ja, einen M5014 oder M5015 von IBM kann man auf ebay gut schiessen.
Mit einem Preis von max 150€ ist es eine günstige Alternative.

Und die haben 8 Ports. Deine Beispiele haben alle 4 Ports.

Viele Infos findest du hier:

[Sammelthread] IBM M5014 Raid-Controller [ Flash-Anleitung, Benchmarks, etc. ]

 

[gea]

Halloo,

möchte jetzt wieder gerne auf eine Hardware Raid-Lösung umsteigen (ausser es gibt bessere Alternativen).

Ja, Software Raid.
Ist (bis auf Windows) mit aktuellen CPUs schneller und flexibler.
Mit ZFS auch viel sicherer (wg CopyOnWrite, Prüfsummen auf Daten und kein WriteHoleProblem, "Write hole" phenomenon in RAID5, RAID6, RAID1, and other arrays.).

Bis 6 Platten ginge das mit Sata + Boot via USB.
Ideal wäre aber ein HBA (ohne Raid Funktionalität) mit LSI 2008 oder 3008 Chipsatz.
LSI 9211 oder 9300 bzw OEM wie Dell H200, H310, IBM 1015 etc

 

[Assurjan]

Ist immer eine Preisfrage. Wenn du kein Problem mit gebrauchten Controllern hast würde ich dir einen LSI Megaraid 9261-8i mit BBU empfehlen.
Vorteile:
- Treiber für so ziemlich alle Plattformen
- ausgereifte Firmware, ca. 70% Marktanteil im Servermarkt (mit allen OEM controllern von HPE, Intel, Dell, Lenovo,...)
- Dank Consistency Check und Patrol Read fallen Festplattenfehler meist vor einem Totalausfall auf. Bei dir sollte ein 60 Tage Zyklus reichen
- Bei Controllerdefekt kann normal jeder andere gleiche oder neuere LSI(Broadcom) Megaraid die VD übernehmen.
- So ziemlich der schnellste Controller bei Multilast im R5/R6 Betrieb. Singlelast auch sehr gut.
- gute Verwaltungsoberfläche (leider Java) und sehr leistungsfähiges Kommandozeilenprogramm.

Habe über Ebay bei einem Serverhändler schon mehrfach eingekauft, der gibt auch beschränkte Garantie. Den gibt es da für ca. 150 Euro mit BBU. BBU auf alle Fälle nehmen, denn der Unterschied gecashed und ungecashed ist gewaltig. Und ohne BBU droht bei Ausfall Datenverlust. Mein Medienserver hat 7x 4 TB an einem i5-Skylake und braucht bei 4k Wiedergabe über Intel HD Graphics 85W. Da sind auch noch 2 SSD für das System mit dabei. Schreiben Single ab 200GB 340MByte/s, bei weniger schneller. Bei Schreiben aus 5 Quellen (USB-3) stabil 5x 130MByte/s.
Bei Bedarf kann ich dir ja den Händler schicken.

P.S. ALLE R5/R6 Raidcontroller setzen zur Kühlung eine Strömungsgeschwindigkeit von 200 lfm (Linear Feet per Minute) voraus. Das ist ca. 1m/s. In einem normalen Tower bitte einen kleinen Lüfter auf dem Kühlkörper platzieren. Sonst stirbt der Controller und die BBU schnell den Hitzetod.

 

[Digi-Quick]

Naja, 256 MB (oder 512MB /1GB) Controllercache stinkt gegen ZFS mit "Ramgröße minus ca. 2GB für das OS" gewaltig ab.
Ein ZFS-Filer mit 16 GB RAM hat folglich ca. 4 GB Schreibcache und ca. 10 GB Lesecache.

Im übrigen sind 256 MB Controllercache eigentlich ein Witz, deckt der doch kaum den Cache aktueller HDDs ab, die ja selbstschon 64 oder 128 MB Cache haben (wobei die Angabe eigentlich irreführend ist, da ein Teil durch die Firmware belegt ist)

 

[mika2004]

Naja, 256 MB (oder 512MB /1GB) Controllercache stinkt gegen ZFS mit "Ramgröße minus ca. 2GB für das OS" gewaltig ab.
Ein ZFS-Filer mit 16 GB RAM hat folglich ca. 4 GB Schreibcache und ca. 10 GB Lesecache.

Im übrigen sind 256 MB Controllercache eigentlich ein Witz, deckt der doch kaum den Cache aktueller HDDs ab, die ja selbstschon 64 oder 128 MB Cache haben (wobei die Angabe eigentlich irreführend ist, da ein Teil durch die Firmware belegt ist)

Was schafft denn so ein ZFS, damit es so stinkt?

 

[Martin7]

Danke für eure Antworten - ich denke das die empfohlenen Festplatten von Holt und die Empfehlung von Assurjan hinsichtlich des gebrauchten 9261 eine gute Kombi für mich sind und sich die Kosten mit dem gebrauchten Controller gut in Grenzen halten.

Ja das mit dem Lüfter auf dem Kühler hatte ich damals auch, hab zuvor sogar noch Bilder mit ner Wärmebildkamera gemacht um die Abwärme aufzuzeichnen. Eventuell teste ich diesmal noch den Lüfter vor dem Controller zu setzen damit die Luft über den gesamten Controller geblasen wird.

 

[mika2004]

oft für die Kühlung von Raid-Controllern angewendet, und eine bewährte Lösung:

 

[Martin7]

Jo so hatte ich das auch schon - nur möchte ich diesmal den Lüfter eben vorne am Anfang anbringen das die Luft horizontal über den Controller geht so wie in den Servern.

 

[mika2004]

wo definierst du vorne? Vorne am Gehäuse reicht nicht.

 

[Assurjan]

Ein 9261-8i hat 512 MB Cache. Es ist nicht besonders viel, aber die Logik dahinter hat es in sich. Stelle ich meinen LSI beim Schreiben auf Write-Trough, fällt die Schreibrate auf unter 50 MByte/s. Genau das richtige Timing bei der gleichzeitigen Ansteuerung der Schreibblöcke auf die verschiedenen Platten machte LSI zum Marktführer. Adaptec hat es erst mit der letzten Generation geschafft im Singlezugriff heranzukommen und im Multizugriff Serverbetrieb ist Adaptec noch immer 20% langsamer. Denn die Parity Blocks müssen ja dazu auch erst erstellt werden. Mach das mit einem Softwareraid und die Schreibrate fällt auf 30MB/s bei großen Datenmengen (>100GB).
Es ist "nur" ein 6G Controller. Wenn man einen 9361-8i nimmt so kostet der ca. 500 Euro, der hat auch keine Batterie mehr. Die Flash Backup Einheit kostet dann nochmals 180 Euro. Gebraucht mit Garantie sehr selten zu finden. Aber wenn Geld keine Rolle spielt.....Habe schon HPE im Betrieb mit den 9261-8i gehabt, darauf laufen über 80 VMs und die laufen gut. Zum Flaschenhals wird der Controller erst mit SSDs. Bis 16 2,5" Serverplatten mit 15k UpM merkt man keine Leistungseinbrüche. Die kommen erst ab 20+ Platten an der Backplane. Aber bei solchen Servern ist ja dann schnell im 6-7 stelligen Bereich von HPE... abzüglich deren Rabatte.

 

[mika2004]

Hier mal die Einstellungen für optimale Performance:

 

[Digi-Quick]

Mach das mit einem Softwareraid und die Schreibrate fällt auf 30MB/s bei großen Datenmengen (>100GB).

Dann habe ich bei meinem Filer wohl irgenwas falsch gemacht.
NAS4Free mit 16 GB RAM und 'nem i3 4150
Und ich habe sogar SMR HDDs drin (19x8TB Seagate Archive im Raidz3), Die Transferrate via GBIT-LAN fällt selten mal unter 60 MB/s (und auch nur bei kleinen Files), im Schnitt liege ich bei knapp 100 MB/s

 

[mika2004]

dann habe ich aber richtig was verkehrt gemacht

Datentransfer zwischen 2xRAID5 über 10Gbe:

 

[gea]

Mach das mit einem Softwareraid und die Schreibrate fällt auf 30MB/s bei großen Datenmengen (>100GB).

Mit einem 40G Netzadapter und 4 NVMe Platten habe ich mit ZFS Softwareraid und Videos unter Solaris ohne Anstrengung über 3000 MByte/s über SMB erreicht. Lokal geht Softwareraid nahe an die physikalische Leistung der Platten. ZFS Softwareraid skaliert problemlos auf Petabyte Storage mit Dutzenden bis Hunderten Platten.

Softwareraid bis auf die Windows/ Fakeraid Varianten ist erheblich schneller als Hardwareraid. Die Zeiten sind vorbei als eine Raid-CPU schneller war als eine Mainboard CPU bei einfachen Raid/Bitoperationen. Die können heute Echtzeit 3D und selbst mit ZFS Pools und Dutzenden Platten ist die CPU Last geradezu marginal. Dazu kommt daß Softwareraid den Mainboard Speicher nutzt. Der ist erheblich schneller und größer und der freie RAM wird bei einem guten Softwarraid nahezu komplett als Lese-Schreibcache genutzt. Wir reden hier teils von mehreren Hundert Gigabyte Cache per RAM der mit SSDs und read-ahead ergänzt werden kann. (Gigabyte nicht Megabyte wie bei Hardwarraid, Faktor 1000 also)

Dazu kommt dass ein Raid-6 selbst mit Cache+BBU Write Hole Probleme nicht ganz verhindern kann, ganz im Gegensatz zu ZFS Softwarraid mit seinem CopyOnWrite Verhalten. Ein ZFS ZIL/Slog ist dem Cache/BBU Ansatz eh überlegen da damit selbst bei sicherem Schreiben eine erheblich bessere Performance möglich ist.

Hardwareraid ist schneller oder besser als Softwarraid gilt seit mindestens 10 Jahren nicht mehr.

 

[Holt]

Schon jedes moderne OS nutzt sonst unbelegtes RAM als Diskcache, dies ist also kein spezifischer Vorteil von einem SW RAID und auch einer der Gründe warum diese RAM Caches für SSDs wie RAPID von Samsung eben im Alltag gar nichts bringen, da sie nur den einen Cache, den Benchmarks aber eben zu umgehen versuchen um die wahre Performance der SSDs zu ermitteln, durch den anderen ersetzen, der sich von Benchmarks nicht umgehen lässt.

 

[Anarchist]

Hier mal die Einstellungen für optimale Performance:

Ja optimale Performance vielleicht, aber würd ich so nie machen.

Always write back -> fällt die BBU aus oder keine vorhanden und Strom weg, ist vielleicht alles korrupt.
Disk Cache Policy -> sollte ebenfalls deaktiviert sein bei Verwendung einer BBU, denn den Disk Cache sichert dir keine BBU ab im Falle eines Stromausfalls.

USV ist immer zu empfehlen, trotzdem kann ja auch der Server aufgrund eines anderen Defekts einfach ausgehen.


Außerdem gelten diese Einstellungen auch nicht für SSDs, hier sollte man FastPath nutzen, und dafür gibt LSI ganz bestimmte Einstellungen vor (Write Through/Direct IO/No Read Ahead)


LSI MegaRAID Controller Benchmark Tips (1891 KB)

 

[mika2004]

Mit einem 40G Netzadapter und 4 NVMe Platten habe ich mit ZFS Softwareraid und Videos unter Solaris ohne Anstrengung über 3000 MByte/s über SMB erreicht.

......

Hardwareraid ist schneller oder besser als Softwarraid gilt seit mindestens 10 Jahren nicht mehr.

Bist du dir sicher, das du das richtige Vergleichsszenario gewählt hast?

 

[gea]

Bist du dir sicher, das du das richtige Vergleichsszenario gewählt hast?

Natürlich bin ich mir sicher.
Es gibt zwar noch das eine oder andere Szenario wo Hardware Raid Sinn macht (alte Hardware, Windows ohne SS und SSD) aber insgesamt ist Hardware Raid obsolete Technik, wie vor 100 Jahren Schiffe mit Dampfmaschine vs Dieselantrieb.

Aber anzunehmen dass Softwareraid generell langsamer wäre als Hardwareraid ist schlicht falsch. Das Gegenteil ist inzwischen der Fall.

 

[Digi-Quick]

Always write back -> fällt die BBU aus oder keine vorhanden und Strom weg, ist vielleicht alles korrupt.

Die BBU verringert die Wahrscheinlichkeit, aber wirklich verhindern kann sie es nicht - Wenn die Dateigröße größer als der Controllercache ist, dann ist zumindest die Datei korrupt, wenn das gerade die MFT betrifft, "gute Nacht und Tschüß" Dateisystem.

Disk Cache Policy -> sollte ebenfalls deaktiviert sein bei Verwendung einer BBU, denn den Disk Cache sichert dir keine BBU ab im Falle eines Stromausfalls.

Schonmal gemacht?
Die Performce des Raids bricht dir gnadenlos weg!
- Keine Burst Transfers, jeder Sektor wird schön brav einzeln gelesen / geschrieben
- Kein NCQ

Im Regelfall arbeitet der Disk Cache im Write Through Modus. (Ich frage mich gerade, wann eine Schreibanforderung vom Laufwerk committed wird)
(Bei gebrandeten HDDs mit angepasster Firmware von z.B. HP an einem HP Controller mag das evtl. anders sein)

USV ist immer zu empfehlen, trotzdem kann ja auch der Server aufgrund eines anderen Defekts einfach ausgehen.

Eben, eine USV schützt nur vor Stromausfall! Wenn dir das (Single-) Netzteil abraucht oder das Betriebssyystem mit einer Kernel Panic aussteigt (BSOD, Pink Screen etc.), hilft keine USV, eine BBU greift da aber schon - im Rahmen ihrer Möglichkeiten.

 

[yetisports]

Ich habe noch einen LSI 3ware 9650SE mit 12 Ports und BBU abzugeben. Der ist ja deinem 9690sa sehr ähnlich. Mit Ryzen bekomme ich den nicht zum Laufen, daher benötige ich den nicht mehr. Hat sehr gut gearbeitet mit RAID6 und 12x4TB. Einfach melden bei Interesse .

 

[mika2004]

Tja, da reden wir gefühlt über 1000 Posts: Raid ist kein Backup, sorge für Backup und dann muss ich das hier lesen.
Ich würde ganz sicher diese Konfig nicht in einem Warenwirtschaftssystem 365d/24h einsetzen,
aber für Privat ist es aber alle mal ok.

 

[Anarchist]

Schonmal gemacht?
Die Performce des Raids bricht dir gnadenlos weg!
- Keine Burst Transfers, jeder Sektor wird schön brav einzeln gelesen / geschrieben
- Kein NCQ

Im Regelfall arbeitet der Disk Cache im Write Through Modus. (Ich frage mich gerade, wann eine Schreibanforderung vom Laufwerk committed wird)
(Bei gebrandeten HDDs mit angepasster Firmware von z.B. HP an einem HP Controller mag das evtl. anders sein)

Also ich hab den Disk Cache bei meinem RAID10 von Anfang an auf disabled und den Write Back an mit BBU.
Konnte keine Performance Einbrüche feststellen, weder in Lese- noch Schreibtests.

Deswegen hab ich es so konfiguriert:

Disk Cache Policy
Disk Cache Policy determines whether the hard‐drive write cache is enabled or disabled. When Write
Policy is set to Write Thru mode, Disk Cache Policy can have very big impact on write performance.
When Write Policy is set to Write Back mode, impact of Disk Cache Policy is much smaller and in many
cases negligible.
When Disk Cache Policy is enabled, there is a risk of losing data in the hard drive cache if a power
failure occurs. The data loss may be fatal and may require restoring the data from a backup device.
It is critical to have protection against power failures. Using a UPS with redundant system power
supplies are highly recommended. RAID Backup Battery Unit can provide additional protection.
Note: A RAID Backup Battery Unit does not protect the hard drive cache. Impact of RAID Settings on
Performance Configuring RAID for Optimal Performance Read Ahead Policy.

Information on Configuring for Optimal RAID Performance - Open-E :: Knowledgebase, Knowledge Database

Ich hab bei meinem SSD-RAID1 und HDD-RAID10 immer konfiguriert:

- Write Back (mit BBU)
- No Read Ahead (VM Host macht nicht unbedingt viele sequenzielle Zugriffe)
- Direct IO (generell immer empfohlen)
- Disk Cache Policy "disabled"

Unter Windows hatte ich mit "FastPath" bei den SSDs die beste Performance, unter ESXi muss ich hier aber auch mit Write Back den Cache nutzen, sonst wirds sehr langsam.

Dem HDD-RAID10 habe ich zur Entlastung noch eine ältere Crucial M4 512GB SSD als Cache Cade 2.0 gegeben, im Write Thru. Also nur Lese-, kein Schreibcache, da nur Single SSD. Das macht sich bei VMs auch sehr positiv bemerkbar.

 

[Digi-Quick]

When Write Policy is set to Write Thru mode, Disk Cache Policy can have very big impact on write performance.

Zumindest bei einem Raid5 an einem Perc5/i traf dieses zu, die sequentielle Schreibrate auf das Raid (5x2TB) brach auf etwa 30 MB/s ein...

 

[mika2004]

das ist auch immer noch so.
Selbst mit dem geilsten LSI-Controller