Neuer Fileserver - Fragen SAS und RAID

[ichkriegediekri]

N'Abend

Wir werden demnächst einen neuen Server für unsere Daten benötigen.
Die Primäre Aufgabe ist Daten zu speichern. Gleichzeitig läuft ein DB-Service der das alles katalogisiert.

Eckdaten der Anforderungen:

• Aktuell Daten ca 14TB in 14 Millionen Dateien - Durchgeschnittsgröße ca 240KB mit 95%-KI ca. 100 bis 300kb (das kann ich aber nochmal berechnen wenn die Dateiliste fertig ist)
• Schreiben pro Tag ca 8-10GB
• Lesen pro Tag ca 100GB
• zu 80% random reads oder writes
  

geplante Kapazität: 30 bis 40TB

Geplantes Setup:
RAID 10 mit 12 oder 10 6 oder 8 TB Platten.
RAID 1 oder 10 SSDs für DB und neue Daten (Tiering)
RAID 1 SS für OS
AVGO oder Adaptec RAID
Netzwerk: 10GBe oder 40Gbe
64GB ECC RAM
16c CPU
OS: Windows Server 2019, da sind wir gebunden

Fragen:

• Ist SATA eine Option oder eher nicht - das SAS full duplex hat war der Wunsch SAS, aber SATA könnte man ein paar Kröten sparen.
• Kann man das RAID optimieren um möglichst eine hohe Leserate zu erhalten - zB. anstellen 12 x 6TB 16 x 4TB HDDs, kleinere Stripe-Size? NTFS Clustergröße?
• Benötige ich besonderes Backplane für dual-port SAS SSDs?
• Andere Ideen?

Danke für Euer Feedback

 

[butcher1de]

Moin

Das ist schon eine anständige Maschine, daher rate ich dir das du dich an ein Systemhaus wendest und da nichts selber bastelst.

Durchgeschnittsgröße ca 240KB mit 95%-KI ca. 100 bis 300kb

Bei solchen Dateigrößen bist du mit normalen Festplatten auch SAS immer am Sack. Wenn das Zeug nicht im Ram/Flash gecached wird gute Nacht.

Ich würde da auch keinen Raidcontroller mehr nehmen sondern nur noch recht große NVME/Sata SSD und die per Software als Raid 1 laufen lassen. Für wenig ändernde Daten oder als Zwischen Backup vor der endgültigen Sicherung auf Externe Medien, kannst du natürlich ein paar große (Enterprise) Sata Platten nehmen.

 

[ichkriegediekri]

Moin

Das ist schon eine anständige Maschine, daher rate ich dir das du dich an ein Systemhaus wendest und da nichts selber bastelst.

Bei solchen Dateigrößen bist du mit normalen Festplatten auch SAS immer am Sack. Wenn das Zeug nicht im Ram/Flash gecached wird gute Nacht.

Ich würde da auch keinen Raidcontroller mehr nehmen sondern nur noch recht große NVME/Sata SSD und die per Software als Raid 1 laufen lassen. Für wenig ändernde Daten oder als Zwischen Backup vor der endgültigen Sicherung auf Externe Medien, kannst du natürlich ein paar große (Enterprise) Sata Platten nehmen.

Was meinst Du mit Systemhaus? Also schrauben wollte ich nicht - Wir hatten vor das online inklusive 5 Jahres NBD bei Server-Händlern zu ordern.

Die Firma welche die Software stellt nickt die HW nur ab - da ich aber schon länger in der Materie bin weiss ich dass andere da auch nur mit Wasser kochen und wenn man die HW mit der Software vom Anbieter kauft ist der Aufschlag in der Regel 100 bis 150% - wofür?

Voll SSDs Setups habe ich bisher noch nicht im Angebot gesehen, egal von welchem Anbieter - früher nahm man 10k RPM SAS disks, so für 2-10TB und danach langsame.
Daher war mein Plan 2-4TB SSDs und dann auf SAS 7200rpm HDDs - Backup geht dann auf Band (offline).

Ein voll SSD Setup wird denke ich zu teuer - mit Micron ION oder Barracuda SSDs ist der Aufpreis knapp 6000€ - mit 1 DWPD (Micron 5200) sind es nochmal 1000€ mehr.
Klar rein theoretisch geht das, ggf. auf mit günstigeren SSDs da Daten die einmal geschrieben werden in der Regel nicht mehr geändert werden.

An was für ein Software RAID denkst Du da? Mit Windows habe ich da gemischte Erfahrungen gemacht.

EDIT:

Wenn man natürlich ein RAID 6 mit SSDs mit HDD SAS RAID 10 vergleicht sieht es preislich natürlich anders aus - da ist der Aufpreis ca 1000-1500€ - aber hat das schonmal jemand gemacht ein RAID 6 mit 18 SSDs !?

 

[VirtuGuy]

Mit Server 2019 würde sich ein simples 3-Tier Setup mit Storage Spaces anbieten:

2x NVME mit 2tb
8x SSD mit 4Tb
16x HDD mit 4Tb


Eines noch, 14 Mio Files mit 240kb => 14Tb?

 

[gea]

12G SAS SSD wie WD Ultrastar DC SS530 würden sich da anbieten,
die gibts je nach Schreibmenge (dwd1-dwd3) bis 15TB je SSD und Schreib iops (bis 300k write 4k).

dazu bei Windows mit einem Broadcom/LSI HBA mit Flashsicherung des Raid-Caches,
damit bei einem Crash der Schreibcache nicht verlorengeht.

Das Raid als Raid-1 oder Raid-10

Wenn man die SAS dualport anbinden möchte, braucht man eine dualport Backplane die beide SAS Anschlüsse führt oder mit Expander eine dual-Expander Lösung. Aber auch mit single 12G SAS ist man gut dabei und hat die benötigten iops. Dualport SAS nimmt man eher für HA/ Failover Cluster oder wenn man extra sequentielle Performance möchte.

 

[butcher1de]

@Te alles klar, für mich sah es nach der üblichen HW Bastelbude Anfrage aus ^^

Hier mal etwas zum einlesen für All-Flash-Arrays Erbarmungslos nahe - Der Verzicht auf RAID-Arrays
Flash storage: Guide to all-flash storage arrays


Systeme Best All-Flash Arrays (AFA) Hardware in 2019 | G2 PURESTORAGE Webseite NVMe-Performance, So funktioniert NVMe | Pure Storage WD https://www.westerndigital.com/products/storage-systems/intelliflash-nvme-all-flash-arrays

 

[ichkriegediekri]

Mit Server 2019 würde sich ein simples 3-Tier Setup mit Storage Spaces anbieten:

2x NVME mit 2tb
8x SSD mit 4Tb
16x HDD mit 4Tb


Eines noch, 14 Mio Files mit 240kb => 14Tb?

Nee das war ein Tippfehler, das war nur eines der Verzeichniss. Wie viel es genau sind weiss ich nicht. Letzte Liste waren ca 60M.

Was das Tiering angeht muss ich die Software-Firma nochmal fragen wie dediziert die Regeln erstellt werden können.

- - - Updated - - -

Also wenn ich das mal so grob durchrechne komme ich auf folgende Speicherkosten für ca 36TB Netto (jeweils 1 Hotspare):

• RAID 10 HDD SAS - 13 x 6TB - 2210€
• RAID 6 oder 2x RAID 5 - Micron ION 5210 1,92TB 22 Stk - 5000€
• RAID 6 oder 2x RAID 5 - Micron ION 5210 3,9TB 13 Stk - 5200€

Die ION 5210 ist nun eher eine Billiglösung. Da wir jetzt ja über SSDs reden muss ich die Angaben korrigieren da TBW ja relevant wird.
Wir schreiben 2x pro Woche ein DB Backup eines anderen Servers auf das RAID je 0,4 TB - also aufgerundet 1 TB.

Das ergibt aufgerundet 1,1TB an TBW auf das Array - geteilt durch die Anzahl der SSDs würde ich sagen dass wir keine schreibintensive SSD benötigen.

Daher sollte prinzipiell eine Micron ECO 5200 ja ausreichen. Damit käme man auf:

• RAID 6 oder 2x RAID 5 - Micron ECO 5200 1,92TB 22 Stk - 6200€
• RAID 6 oder 2x RAID 5 - Micron ECO 5200 3,9TB 13 Stk - 7100€

Die ECO hat wzar mit 17k wenige random writes in 4K, allerdings ist das immer noch 100x schneller als eine SAS HDD - und in unserem Umfeld sicherlich spürbar.
Das nie mehr als 5 User gleichzeitig rumturnen werden, eher 3, sollte das eigentlich reichen.


Die nächste Steigerung wären Intel D3-S4150 oder Kingston DC500M - da kommen dann nochmal 2500€ dazu.


Wenn ich mit dann bei SSDs auf SAS wechsel kommen zunächst in Frage:

• RAID 6 oder 2x RAID 5 - Toshiba PM5-R 3,84TB 13 stk - 13650€
• RAID 6 oder 2x RAID 5 - Samsung PM1463 3,84 TB 13 Stk - 11570€

Und spätestens hier rechnet sich das nicht mehr, das ist einfach zu teuer.


EDIT:
So ich habe gerade unser aktuelles RAID 10, 8x6TB getestet - random read rate beim Kopieren ist schlappe 15MB/s im Durchschnitt - davon wegzukommen wäre schon ganz nett

 

[VirtuGuy]

Nee das war ein Tippfehler, das war nur eines der Verzeichniss. Wie viel es genau sind weiss ich nicht. Letzte Liste waren ca 60M.

Was das Tiering angeht muss ich die Software-Firma nochmal fragen wie dediziert die Regeln erstellt werden können.

Das Tiering läuft transparent, da braucht man keinerlei Basteleien um die Objekte ggf auf den "langsamen" Speicher zu verschieben.

Ich würde auch keinen Raidcontroller/Cache mehr vorsehen, das Geld würde ich eher in NVDIMM`s stecken => dann geht richtig die Post ab.

 

[ichkriegediekri]

Das Tiering läuft transparent, da braucht man keinerlei Basteleien um die Objekte ggf auf den "langsamen" Speicher zu verschieben.

Ich würde auch keinen Raidcontroller/Cache mehr vorsehen, das Geld würde ich eher in NVDIMM`s stecken => dann geht richtig die Post ab.

Wie soll das automatisch gehen - kannst Du das kurz erläutern?

Die Software, welche wir betreiben muss doch wissen was wo und wann abgelegt wurde.

NVDIMM, da muss ich mal realistisch bleiben. Es bringt nix schneller zu Sende als die Clients empfangen können

EDIT:
Ich nehme an Du meinst das direct über Windows abzuarbeiten:

Storage Spaces: How to configure Storage Tiers with Windows Server 2012 R2 | Ask Premier Field Engineering (PFE) Platforms

OK, ja das wäre mit nem HBA ja einfach machbar. Es wirkt ein wenig komplex im Vergleich zu einfach RAID X mit einem Volume und feritg - ob das Pflegeleicht in der geplanten Umgebung ist
muss ich mir mal überlegen.

 

[VirtuGuy]

Wie soll das automatisch gehen - kannst Du das kurz erläutern?

Die Software, welche wir betreiben muss doch wissen was wo und wann abgelegt wurde.

Deine Platten werden als Pool zusammengefasst, am Ende sieht deine Software ein simples Volume das wie jede andere Platte aussieht.

1. die NVME´s dienen als reiner Cache für Schreib oder Lesevorgänge
2. die SSD`s dienen als "Hotzone" für aktuelle Daten
3. die HDD´s dienen als "Coldzone" für ältere Daten


Sofern deine Software Windows Cluster unterstützt, kannst du die Performance mit mehreren Knoten erheblich in die Breite skalieren.

 

[ichkriegediekri]

Ok, danke, verstanden.

Zusätzliche Cluster werden wir nicht benötigen. Ist interessant, an Storage spaces hatte ich bisher nicht gedacht.

- - - Updated - - -

Wie sieht es denn mit ReFS aus - macht das Sinn? Oder ist das noch Buggy?

 

[gea]

ntfs hat zwei prinzipielle Nachteile gegenüber ReFS

- es kann nicht garantieren, dass ein atomarer Schreibvorgang (Daten + Metadaten schreiben) komplett auf Platte ist. Ein Absturz beim Schreiben und der Zustand ist sagen wir mal nicht definiert. Erst ein offline chkdsk schafft Sicherheit.

- es kann mangels Prüfsummen auf Daten oder Metadaten nicht überprüfen, ob Daten oder Metadaten wirklich valide sind

ReFS übernimmt dazu von ZFS CopyOnWrite. Damit ist ein atomarer Schreibvorgang entweder komplett auf Platte oder er wird verworfen. Ein defektes Dateisystem wird dadurch per Design vermieden - sofern nichts buggy ist. Chkdsk ist nicht mehr notwendig.

ReFS erstellt auch Prüfsummen auf Metadaten damit zumindest strukturelle Fehler sicher erkannt werden. Prüfsummen auf Daten wie bei ZFS muss man extra aktivieren.

Bisher war das Hauptproblem bei ReFS
- Performance ist deutlich geringer als bei ntfs (daher auch keine Prüfsummen auf Daten)
- weniger Features als ntfs

ReFS gilt aber als stabil. Ich habe die Weiterentwicklung bei Windows 2019 nicht verfolgt. ReFS ist aber wohl die Zukunft bei Windows. Ntfs ist aktuell nicht konkurrenzfähig und bei großen Arrays zu unsicher (ein offline chkdsk eines größeren Arrays dauert Tage und kann ab und an notwendig sein). Es sei denn ZoW (ZFS on Windows) wird als Alternative fertig und verbreitet.

 

[ichkriegediekri]

Ok, danke.

Das letzte mal als ich mich mit RefS auseinandergesetzt hatte war ca. 2014 - damals wurde davon abgeraten.

Das einzige für uns relevante Feature ist eigentlich CoW damit wäre das CHDSK Problem passe - dauert bei unserem aktuellen Volume über 24h.
Prüfsummen funktionieren nach meinem Erinnerungsstand nur mit Storage spaces und Parity/RAID 1 - wenn man ReFS auf einem Hardware RAID 5/6 verwendet entfällt das.

Ich habe mir eben mal Storage Spaces angesehen und so wie das aussieht kommt man um die Powershell hin und wieder nicht herum (u.a. Plattentausch)- das bekomme ich zwar hin, ist aber per se nicht so meine Welt.
Wenn es mal Probleme gibt muss jemand in der Lage sein die Platten zu tauschen und mit Powershell wirds da schon schwierig und das WebGUI der Raid Controller kann ja im Grunde jeder bedienen.

Mal zu SSDs generell, also jetzt egal ob Storage Spaces oder HW RAID:
Mit unseren 1,1TB writes pro Woche müsste doch eine 1DWPD SSD locker reichen bei einer Größe von 2 oder 4 TB und einem RAID 1 - bei RAID 5 oder 6 wird es ja auf mehrere disks verteilt und sollte auch unter Anbetracht der parity overheads etwas geringer sein als beim RAID 1

 

[gea]

Bei einem Raid 5/6 verteilt sich die Schreiblast auf die Anzahl der Datenplatten. Die Redundanz kann man da außen vor lassen. Bei einem Mirror geht jedes Write auf jede Platte. Da müßte eine 4TB SSD 1 DWPD erlauben wenn man darauf 4 TB/Tag schreiben wollte.

1 TB pro Woche also 140 GB/Tag sollte für Enterprise SSD vollig unkritisch sein.

 

[ichkriegediekri]

Bei einem Raid 5/6 verteilt sich die Schreiblast auf die Anzahl der Datenplatten. Die Redundanz kann man da außen vor lassen. Bei einem Mirror geht jedes Write auf jede Platte. Da müßte eine 4TB SSD 1 DWPD erlauben wenn man darauf 4 TB/Tag schreiben wollte.

1 TB pro Woche also 140 GB/Tag sollte für Enterprise SSD vollig unkritisch sein.

Zu dem Schluss bin ich auch gekommen.
Man könnte theoretisch sogar consumer SSDs mit einer DWPW von 0,5 und einer MTBF von 1,8M nehmen, Bsp: WD Blue 4 TB mit 600 TBW hält so 8 Jahre - aber das würde ich mir nochmals gut überlegen, aber rein von der Datenlast her ginge es.

 

[gea]

Gegen Desktop SSDs sprechen 3 Punkte

- Die Schreibperformance bricht bei "dauerhaftem Schreiben" massiv ein.
Die sind nur schnell wenn sie leer sind und dann nur für kurze Zeit.
Datenblatt Angaben kann man daher oft in die Tonne treten.

Enterprise SSDs sind da oft generell besser, nicht zuletzt durch hohes Overprovisioning.

- meist sehr geringe write iops bei 4k und qd1.
Desktop SSDs haben meist unter 10k reelle write iops, gute Enterprise SSDs 40k,
Enterprise 12G SAS SSDs bis 300k und NVMe wie Intel Optane 500k.

- keine Powerloss Protection.
Stürzt ein Desktop Rechner ab und ist dabei ein Dokument verloren,
ist das entweder egal oder ein Programm wie Word hat den letzten Stand behalten.


Ist man auf Transaktionssicherheit angewiesen, z.B. dass eine bestätigte
Datenbankaktion wirklich auf Platte ist, benötigt man bei SSDs plp.

Man kann zwar einen Hardware Raidcontroller mit Cache und BBU/Flashsicherung nehmen
um den Schreibcache des Controllers abzusichern oder bei ZFS ein Slog. Der ist aber letztlich
auch darauf angewiesen dass ein Schreib-Commit wirklich bedeutet, dass die Aktion auf Platte ist.

Bei SSDs gibt es zudem die interne Garbage Collektion die die SSD im Hintergrund optimiert.
Soll das 100% sicher ohne Datenverlust beim Crash ablaufen, brauchts auch dafür plp.

 

[ichkriegediekri]

Gegen Desktop SSDs sprechen 3 Punkte

- Die Schreibperformance bricht bei "dauerhaftem Schreiben" massiv ein.
Die sind nur schnell wenn sie leer sind und dann nur für kurze Zeit.
Datenblatt Angaben kann man daher oft in die Tonne treten.

Enterprise SSDs sind da oft generell besser, nicht zuletzt durch hohes Overprovisioning.

- meist sehr geringe write iops bei 4k und qd1.
Desktop SSDs haben meist unter 10k reelle write iops, gute Enterprise SSDs 40k,
Enterprise 12G SAS SSDs bis 300k und NVMe wie Intel Optane 500k.

- keine Powerloss Protection.
Stürzt ein Desktop Rechner ab und ist dabei ein Dokument verloren,
ist das entweder egal oder ein Programm wie Word hat den letzten Stand behalten.


Ist man auf Transaktionssicherheit angewiesen, z.B. dass eine bestätigte
Datenbankaktion wirklich auf Platte ist, benötigt man bei SSDs plp.

Man kann zwar einen Hardware Raidcontroller mit Cache und BBU/Flashsicherung nehmen
um den Schreibcache des Controllers abzusichern oder bei ZFS ein Slog. Der ist aber letztlich
auch darauf angewiesen dass ein Schreib-Commit wirklich bedeutet, dass die Aktion auf Platte ist.

Bei SSDs gibt es zudem die interne Garbage Collektion die die SSD im Hintergrund optimiert.
Soll das 100% sicher ohne Datenverlust beim Crash ablaufen, brauchts auch dafür plp.

Danke, gute Punkte.

Insbesondere die PLP hatte ich ganz vergessen obwohl das ja immens wichtig ist zB.LSI den Cache bei SSDs deaktiviert - somit wäre eine BBU da ja auch keine Hilfe.

Was die IOPs angeht wäre das bei uns mit der geringen Schreibrate echt ziemlich egal. Solange es 10k IOPs bei 4k ist das immer noch knapp 100x schneller als ne rostige HDD.

Also wenn ich mir das ganze preislich ansehe kommt eine voll SSD Lösung schon in Frage. Da man auf die zuerst fürs Tiering geplanten SAS SSD verzichten kann und der RAID Controller mit wenig bis kein Cache und ohne BBU auskommt spart man etwas und der Aufpreis insgesamt relativiert sich.

Preislich ist ein SSD RAID 10 aber raus, wenn dann ein RAID 5 mit HS oder 6 mit HS - bei 3,84TB SSDs würden es 12 Stück in einem RAID 6 sein.
Da wir ja wenig schreiben kommt die Micron 5200 ECO in Frage, die hält bei unserem Datenvolumen schreibend inklusive Parity-Overhead über 20 Jahre bis die 5PB TBW erreicht sind (hiermit ausgerechnet: SSD Useful Life Calculator - WintelGuy.com)

Lieber wäre mir ja ein SAS Interface in Bezug auf die Gesamtauslastung des Backplane aber ehrlicherweise sind wir eigentlich über die 10GBe Verbindung limitiert und für alles was auf dem Server passiert reichen die 4 oder 8 SATA Kanäle der Backplanes schon aus.

 

[gea]

Ich habe die Micron nirgends im Einsatz, ist mit weniger als 10k write iops auch eher unteres Level für eine Enterprise SSD, dafür aber unschlagbar billig. Ist aber sicher viel schneller als ein Plattenpool wo man je Platte eher von 100 iops reden kann.

Ich würde aber zu einem Raid-6 statt Raid-5 gehen. Bei Raid-10 skalieren die iops per Mirror, man hat aber halt nur 50% der Kapazität. Ein Raid-6 SSD Pool ist sicher viel schneller als ein Multi-Raid 10 aus 15k Platten.

 

[ichkriegediekri]

Ich habe die Micron nirgends im Einsatz, ist mit weniger als 10k write iops auch eher unteres Level für eine Enterprise SSD, dafür aber unschlagbar billig. Ist aber sicher viel schneller als ein Plattenpool wo man je Platte eher von 100 iops reden kann.

Ich würde aber zu einem Raid-6 statt Raid-5 gehen. Bei Raid-10 skalieren die iops per Mirror, man hat aber halt nur 50% der Kapazität. Ein Raid-6 SSD Pool ist sicher viel schneller als ein Multi-Raid 10 aus 15k Platten.

Ja die IOPs sind wenig, nächte Option nach oben wären die Intel D3 für 50€ mehr pro Stück - das wäre noch machbar.

Was wäre denn Deiner Ansicht die höchste Anzahl an Platten im Pool bei einem Raid 6 und einer Plattengröße von 4TB - ich würde ja aktuell auf 12 kommen, passt das noch oder ist da ggf noch Luft nach oben, zB 16?
Bei einer AFR von 0,25% oder so und 3M Stunden MTBF würde schätzen das man auch mit 20 Platten in einem RAID 6 noch "sicher" unterwegs ist - sprechen Erfahrungen dagegen?

 

[Sir Diablo]

Also bei 20 Platten nur zwei Platten redundanz find ich jetzt etwas wenig. Du kannst ja auch überlegen, ein freenas zu installieren und mittels bhyve das Windows zu virtualisieren - und dann ein RAID-Z3/4 einzusetzen.

 

[gea]

Also bei ZFS ist bei mir die Grenze für Z2 (Pendant zu Raid-6) bei ca 10 Platten und Z2 ist erheblich robuster als Raid-6. Ich würde daher eher zur Micron mit 6.5T per Platte gehen und schauen ob man mit 8 Platten hinkommt.


Am Rande
Man sollte bei Raid-6 idealerweise einen Hardware-Raid Controller mit Cache und BBU/Flashsicherung nehmen damit man nicht ins Write Hole Loch fällt (halb geschriebene Raid Stripe sets beim Absturz beim Schreiben). Auch sollte man idealerweise bei Sata keinen Expander sondern einen Controller mit ausreichend Ports nehmen.

Bis 8 Port weniger ein Problem, darüber schon.

 

[VirtuGuy]

Ich habe mir eben mal Storage Spaces angesehen und so wie das aussieht kommt man um die Powershell hin und wieder nicht herum (u.a. Plattentausch)- das bekomme ich zwar hin, ist aber per se nicht so meine Welt.

Standard Tasks wie der Tausch einer Platte kannst du per Powershell, Gui am Server oder Windows Admin Center (Windows Admin Center | Microsoft) erledigen. Es ist im Grunde nicht wirklich anders als bei gängiger Raidcontroller Software. Wenn du einen Server mit entsprechender Zertifizierung kaufst, wird idR auch ein Techniker geschickt der damit zurechtkommt. Zumindest bei Dell und Fujitsu ist es kein Problem.

 

[ichkriegediekri]

Also bei ZFS ist bei mir die Grenze für Z2 (Pendant zu Raid-6) bei ca 10 Platten und Z2 ist erheblich robuster als Raid-6. Ich würde daher eher zur Micron mit 6.5T per Platte gehen und schauen ob man mit 8 Platten hinkommt.


Am Rande
Man sollte bei Raid-6 idealerweise einen Hardware-Raid Controller mit Cache und BBU/Flashsicherung nehmen damit man nicht ins Write Hole Loch fällt (halb geschriebene Raid Stripe sets beim Absturz beim Schreiben). Auch sollte man idealerweise bei Sata keinen Expander sondern einen Controller mit ausreichend Ports nehmen.

Bis 8 Port weniger ein Problem, darüber schon.

Primär bin ich auch bei HW-RAID mit Cache und BBU ausgegangen. Ich habe aber gelesen dass u.a. LSI den Cache bei SSD automatisch deaktiviert, und dann brauch in auch keine BBU - muss später mal sehen ob das stimmt.

Also das mit SATA drives und Problemen bei SAS Backplanes ist ja eher ein altes Problem mit SAS Gen1, zumindest bei 12GB/S Backplanes, wenn nicht sogar ab 6Gb/s, habe ich davon nichts mehr gehört - man kann inzwischen ja überall Server konfigurieren die bis zu 36 Ports haben mit Sata Platten - wenn das noch ein Problem wäre würden die das gar nicht anbieten bei der Supportarbeit.

Welche Micron hat 6,5TB? Ich sehe nur 7,68.

- - - Updated - - -

@VirtualGuy
OK, danke.

 

[gea]

Ja 7.68T

Prinzipiell tut Sata natürlich mit Expander.
SAS Platten sind aber deutlich unproblematischer, nicht zuletzt weil es längere/ schlechtere Kabel verträgt. Auch ist es unkritischer wenn mal eine Platte nicht so will wie sie soll. Ab und an gibt es Berichte (hatte ich auch einmal schon selbst vor ein paar Jahren) bei dem eine defekte Sata Platte den Expander blockierte/ resettete. Kann man zwar leicht dadurch lösen dass man die defekte Platte zieht. Nur welche von den 36 oder mehr wenn alle oder viele Probleme zeigen. Ich sehe Sata + SAS Expander daher im Produktivbereich nach wie vor kritisch. Manche professionelle Storageanbieter schließen Sata + Expander eh aus.


Zum Cache/BBU
Der ist nicht nur dafür da, den Plattencache abzupuffern, sondern auch das Raid selber. Ein Schreibvorgang für einen Raid-Stripe schreibt diese nacheinander auf die Platten. Bei einem Crash ist ein Teil der Writes auf den Platten und ein Teil nicht. Es ist ja nicht so wie bei ZFS Raid Z2 wo ein atomarer Schreibvorgang wie Raidstripes schreiben komplett ausgeführt wird oder komplett verworfen wird. Dies leistet ein Hardwareraid erst mit Absicherung über Cache+BBU/Flash (hoffen wir mal). Software Raid-6 ignoriert dieses Problem einfach.

"Write hole" phenomenon in RAID5, RAID6, RAID1, and other arrays.


Man kann natürlich wie bei allen Sicherheitstechniken diskutieren, brauche ich das (so wie Helm bei Fahrradfahren) oder leiste ich mir das (so wie den Aufpreis beim Auto für ABS oder ESP) abhängig davon wie wichtig einem das ist oder wie hoch die Wahrscheinlichkeit eines Schadens ist.

 

[ichkriegediekri]

Ja 7.68T

Prinzipiell tut Sata natürlich mit Expander.
SAS Platten sind aber deutlich unproblematischer, nicht zuletzt weil es längere/ schlechtere Kabel verträgt. Auch ist es unkritischer wenn mal eine Platte nicht so will wie sie soll. Ab und an gibt es Berichte (hatte ich auch einmal schon selbst vor ein paar Jahren) bei dem eine defekte Sata Platte den Expander blockierte/ resettete. Kann man zwar leicht dadurch lösen dass man die defekte Platte zieht. Nur welche von den 36 oder mehr wenn alle oder viele Probleme zeigen. Ich sehe Sata + SAS Expander daher im Produktivbereich nach wie vor kritisch. Manche professionelle Storageanbieter schließen Sata + Expander eh aus.


Zum Cache/BBU
Der ist nicht nur dafür da, den Plattencache abzupuffern, sondern auch das Raid selber. Ein Schreibvorgang für einen Raid-Stripe schreibt diese nacheinander auf die Platten. Bei einem Crash ist ein Teil der Writes auf den Platten und ein Teil nicht. Es ist ja nicht so wie bei ZFS Raid Z2 wo ein atomarer Schreibvorgang wie Raidstripes schreiben komplett ausgeführt wird oder komplett verworfen wird. Dies leistet ein Hardwareraid erst mit Absicherung über Cache+BBU/Flash (hoffen wir mal). Software Raid-6 ignoriert dieses Problem einfach.

"Write hole" phenomenon in RAID5, RAID6, RAID1, and other arrays.


Man kann natürlich wie bei allen Sicherheitstechniken diskutieren, brauche ich das (so wie Helm bei Fahrradfahren) oder leiste ich mir das (so wie den Aufpreis beim Auto für ABS oder ESP) abhängig davon wie wichtig einem das ist oder wie hoch die Wahrscheinlichkeit eines Schadens ist.

Danke, das mit dem Write-Hole kenne ich alles da wir aktuell ja auch eine BBU haben.
Ich hatte bei RAID-Controllern und SSDs eben nur oft gelesen dass der Cache ausgeschaltet wird, dann braucht man auch keine BBU - muss ich dann, wenn es soweit ist mal in manual des Modells nachlesen.

 

[Burnz84]

Wenn du noch an einem Full-SSD Setup interessiert bist, kenne ich da ein Systemhaus. Einfach melden

 

[ichkriegediekri]

Ja 7.68T

Prinzipiell tut Sata natürlich mit Expander.
.

@'gea'

Weisst Du ob es 2,5" Backplanes gibt die über 2x MiniSAS angeschlossen werden können damit man auf 8 Kanäle / 96Gbit kommt?
Mir ist klar dass es per se schwer ist dass auch nutzbar zu machen da selbst eine 40Gbit NIC da nicht mitkommt aber wenn man zB SATA SSDs nimmt sind es ja statt 12 gbit pro Kanal so oder so nur 6 und wenn server intern Verarbeitet wird können 8 Kanäle ja schon hilfreich sein.

Bei dem Supermicro Backplane 216be1c ist nur 1 MiniSAS erkennbar und in der Dokumentation de r2c Variante steht nur Failover über das zweite Tochterboard.
Hingegen gibt es beider 846BE1C Variante 2x MinSAS als Eingang - sowas suche ich primär als 2,5" Backplane - hat jemand eine Idee?

 

[gea]

Das sind die dual-Expander/SAS Lösingen z.B. SC216BE2C-R920WB | 2U | Chassis | Products | Super Micro Computer, Inc.

Wobei man Dual SAS z.B. mit 24 x Dual 12G SAS natürlich weniger wegen der theoretisch doppelten Performance nimmt wenn man die über zwei Datenpfade der HBA Controller anschließt sondern für HA/Failover Lösungen mit zwei physischen oder virtuellen Servern die je mit einem HBA darauf zugreifen, siehe http://www.napp-it.org/doc/downloads/z-raid.pdf

Ohne Expander und billig sind das Cases wie das Silverstone CS 380 oder Wechselplattengehäuse wie das ICY Dock IB 554SS oder IB-2222 SSK

 

[ichkriegediekri]

Das sind die dual-Expander/SAS Lösingen z.B. SC216BE2C-R920WB | 2U | Chassis | Products | Super Micro Computer, Inc.

Wobei man Dual SAS z.B. mit 24 x Dual 12G SAS natürlich weniger wegen der theoretisch doppelten Performance nimmt wenn man die über zwei Datenpfade der HBA Controller anschließt sondern für HA/Failover Lösungen mit zwei physischen oder virtuellen Servern die je mit einem HBA darauf zugreifen, siehe http://www.napp-it.org/doc/downloads/z-raid.pdf

Ohne Expander und billig sind das Cases wie das Silverstone CS 380 oder Wechselplattengehäuse wie das ICY Dock IB 554SS oder IB-2222 SSK

Ja bei SAS ist es dann failover. Da wir SATA HDDs nehmen wäre der Dual Expander schon interessant da SATA ja eh nur 6Gb sind, damit kann man ander Bandbreite schon was rausholen. Failier geht bei SATA ja eh nicht.
Danke

 

[gea]

Nur SAS Platten haben zwei Anschlüsse die man entweder zur Erhöhung der Bandbreite, zur Redundanz oder für Cluster/Failover nutzen kann. Sata hat nur einen Anschluß. Steckt man eine Sata Platte in eine Dual-SAS oder Dual Expander Backplane so wird nur an einem Anschluß die Platte gezeigt.