30TB+ aber bitte nicht so laut

DocSilly

DocSilly

Enthusiast
Thread Starter
Mitglied seit
01.12.2004
Beiträge
168
Mein derzeitiges Datengrab mit gut 20TB Nutzkapazität füllt sich langsam aber sicher, zur Zeit sind gut 76% belegt mit "hust" Linux ISOs "hust". Also stell ich es mal kurz vor:

Case: Fractal Design Define XL
Mobo: ASUS M4A89GTD Pro
CPU+HS: AMD Phenom II X6 1090T + Scythe Mugen 2 Rev.B
RAM: 16GB (4x4GB) Kingston KVR1333 ECC Memory
PSU: Enermax MODU82+ II 625W
NIC: Intel Gigabit CT Desktop Adapter, PCIe x1
Controller: Intel SASUC8I, PCIe x8, 8x SAS/SATA with LSI non-RAID firmware
HDD: 14x Western Digital Caviar Green 2000GB (WD20EARS), die obersten 4 im Sharkoon HDD Vibe Fixer
1x 40GB OCZ-VERTEX2 (OS drive)
1x 128GB Super Talent STT_FTM28GX25H (als cache drive, ist eine RMA die ich nicht im Zocker PC nutze)
OS: Oracle Solaris 11
Fans: ersetzt mit be quiet! Silent Wings USC, 2x 120mm + 2x 140mm an der Lüftersteuerung des Gehäuses

nas-loaded.jpg


Alle 2TB Platten sind in einem einzigen ZFS raidz2 vdev, inklusive Encryption für den ZFS-Folder. Die SMB Share liefert um die 90 MB/s, also ausreichend für GBit. Das System ist recht leise, z.B. kann ich klar hören ob meine externe 1TB Seagate FreeAgent läuft oder nicht. Die Kiste steht im gleichen Zimmer wie mein Zocker PC, welcher trotz GTX570 auch ziemlich leise ist. Es läuft jetzt seit einem knappen Jahr, die erste Festplatte habe ich vor kurzem ausgetauschen müssen. Heute würde das Gesamtpaket so um die 3000 € Kosten wobei die Festplatten gut die Hälfte ausmachen.

Gesucht wird jetzt eine Lösung für ein neues, größeres NAS, das aber bitte nicht in einem Serverraum gesperrt werden muss. Am einfachsten wäre sicherlich das Setup zu kopieren und größere Festplatten zu verwenden. Mir schwebt aber etwas Richtung 19" Rack NAS vor. In den USA sind da bei den NAS Bastlern die NORCO Gehäuse recht beliebt, z.B. das Norco RPC 4224 (4U, 24x hotswap) für $400, aber die gibt es hier leider nicht. Die Auswahl hier ist nicht gerade riesig, vergleichbar wäre z.B. das Supermicro 846TQ-R900B für schlappe 1000 € :eek:
Neben dem Preis sorgt auch die Serienlüftung für Kopfschmerzen mit 5x 5000 RPM Lüfterturbinen.

Ich benötige kein Hotswap aber es wäre schon schön die Option auf mehr Festplatten zu haben für einen späteren Ausbau. Mir schwebt da vor einen Pool aus mehreren kleine vdevs zu nutzen, sowas in Richtung 4+1 oder 4+2. Da kann man mit 2 vdevs anfangen und bei Bedarf jeweils ein weiteres vdev zum Pool hinzufügen.

Als Basis müsste dann auch eine andere Mobo/CPU Kombo her weil ein dritter PCI-e x8 HBA gebraucht wird, eventuell ein "einfaches" Serverboard mit aktuellem "kleinem" Xeon? Wichtig wäre die ECC Speicher Unterstützung - und laut Oracle blog soll in Solaris 11 ja jetzt auch AES-NI acceleration der Intel CPUs unterstützt werden.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Davon rate ich ab, der verbaute JMS539 Chipsatz ist der letzte Müll und sorgt für heftige Kompatibilitätsprobleme und ab und an auch mal für Datenverlust. Ist in diversen Foren aber auch schon bekannt (Gigabyte, Fantec, etc.). Lässt sich nur einigermaßen zuverlässig an JMicron-Controllern betreiben.
 
Zuletzt bearbeitet:
<-- bis jetzt Glück gehabt. Was aber auch egal wäre, gibt ja Backups^^
 
Da der verbaute JMS539 Chipsatz kein Solaris unterstützt fällt diese Option eh flach.
Warum Solaris? Wegen ZFS mit Encryption. ZFS ist eines der wenigen Dateisysteme dem ich eine so große Datenmenge anvertraue.

Wohin zieht man Backups von einem großen NAS? Auf ein zweites großes NAS ... in einer kommerziellen Umgebung eventuell anschließend auf eine Bandsicherung.
 
Zuletzt bearbeitet:
Wobei ich nicht glaube das ein zweites NAS in dieser Größe bei HisN rumsteht. Und nach einer kommerziellen Umgebung sieht es auch nicht wirklich aus.
 
max ca 50 TB ZFS, eigentlich ganz einfach:

1. ein 19" Case 3 HE mit 16 x 3,5" von Supermicro, Chenbro, Norco etc
(wobei die ersten zwei professioneller sind, bzw. 24 x 3,5")

2. Lüfter austauschen oder mit Temperatursteuerung oder 7V betreiben (zwischen 5 und 12 V Leitung)

3. 3 TB oder 4 TB disks nehmen (5400er, langsam aber wenig Stromverbrauch)
max Kapazität: 13 x 3 TB = 39 TB bzw. 13 x 4 TB = 52 TB
Rest geht für Parität drauf (Raid-Z3), eventuell aber besser 2 Raid-Z2/Z3 vdevs wg besserer performance,

4. Controller
2 x LSI 9211 mit LSI 2008 Controller
oder billigere Kompatible (SuperMicro oder IBM), etwas fummelig

5. kleines Servermainboard
z.B. Supermicro X9 Serie

Das teuerste ist das Case, vor allem bei redundantem Netzteil
 
Zuletzt bearbeitet:
Also eine sehr variable lösung ist einfach ein Serverschrank. den kann man mit 19" gehäusen vollstopfen und alle über einen zentralen PC starten lassen. glücklicherweise verkaufe ich gerade solch ein Konstrukt. Chenbro Case mit 11 3,5" Slots, 4 2,5" und weitere Cases für 12 3,5" und 8 2,5" HDDs.
Voll verkabelt für zentralen start und mit stromsparenden netzteilen versehen.)
kannst ja mal reinschauen und dich inspirieren lassen...
 
Danke hotzen, den Holländer kannte ich noch nicht, hatte auf der NORCO Seite nichts in der Richtung EU-Distributor gefunden. Das ist vom Preis her schon eher nach meinem Budget, zudem gibt es ein 120mm Fanbracket für 10€ Aufpreis. Das Xcase ist ja auch "nur" ein re-branded Norco das schon mit 120mm Fans kommt. Supermicro oder Chenbro sind mir einfach eine Nummer zu teuer für den Heimgebrauch.

Dann stellt sich noch die Frage der vdevs. 24 Festplatten auf einmal zu kaufen ist dank der letztjährigen Flut in Taiwan eine sehr teure Investition. Leider sollen die Preise auch im laufe diesen Jahres nicht so schnell fallen wie sonst gewohnt. Dafür würde man bei einem entsprechenden raidz3 "nur" 3x Kapazität verlieren.

Hat jemand schon mal eine Platte in einem entsprechend großen NAS gewechselt? Wie lange dauert da das resilvering? Ich hab vor kurzem eine in meinem NAS ersetzt, das resilvering dauerte Tage. Zudem wäre es interessant wie lange ein "scrub" dauert wenn das halbwegs gefüllt ist. Mir ist schon klar das es abhängig von der Datenfülle ist, auf meinem NAS dauert es etwas über einen Tag bei 13TB Nutzdaten.

Kleinere vdevs wären eine Option, jetzt nur halb bestücken und dann bei Bedarf nachstecken. Ein Festplattentausch dürfte da schneller abschließen aber auch der scrub? Nur leider verliert man dann mehr Festplatten für die Parität.
 
Also Best Practice sind 4*6 Platten im RaidZ2.
6 Platten kann man durchaus mal auf einen Schlag kaufen, RaidZ2 ist Pflicht angesichts der Resilvering-Last und 4 mal das Ganze um dein Norco vollzustopfen :d
 
Das war auch grob meine Planung mit 4x 4+2 raidzs .... schnief, nur das man da am Ende ACHT Festplatten an Parität "verliert" ist schon heftigst.
 
Der Verlust der Daten ist wohl höher als der Preis von 8 HDDs. Nebenbei hast du dann ein Raid0 über vier Raid6. Es kommt noch der Tag, da werden in kleinen NAS Systemen 3way mirrors verwendet. Weil die HDDs einfach zu unzuverlässig sind/werden.
 
DocSilly schrieb:
Da der verbaute JMS539 Chipsatz kein Solaris unterstützt fällt diese Option eh flach.
Zum Vergrößern anklicken....

Davon sieht das Betriebssystem nichts, sondern nur eine per eSata oder USB3 angeschlossene logische "HW-RAID5"-Festplatte, wenn man so wie ich oder HisN das Ding als RAID5 betreibt. Und Solaris wird ja wohl am Sata-Controller angeschlossene 7,4TB Festplatten (5x2TB RAID5) erkennen können (zumindest kann das ein 64bit Windows 7 ohne Probleme)? Theoretisch könnte man sich auch den Spass machen und aus mehreren 5-Bay RAID5 wiederum nen RAIDX zu basteln^^ - muss man nur gucken, wie es mit der Kabel-Länge und SATA->eSATA Adaptern aussieht und der Unterstützung von Festplatten mit Übergröße bei den RAID-Controllern.

mfg Oli
 
Zuletzt bearbeitet:
Damit ein OS einen Hardware RAID-Verbund erkennen/nutzen kann benötigt man entsprechende Treiber. Wenn ein OS keine passenden Treiber hat dann sieht es
1. kein RAID Volume
2. keine Festplatten ODER alle Festplatten einzeln. Letzteres kann oftmals böse überraschen wenn man mit einer Live-Linux CD mal kurz was auf einem RAID retten muss.

Sicherlich erkennt dein WINDOWS ohne Probleme das RAID denn dafür gibt es ja auch Treiber ;)

Bei mir soll aber Solaris eingesetzt werden zwecks ZFS, dem Dateisystem bei dem Datenintegrität die höchste Priorität hat. Unterstützung für RAID mit Parität (bis dreifach) ist im Dateisystem integriert, ebenso die Möglichkeit für Deduplication und Verschlüsselung. Solaris ist aber, im Gegensatz zu Windows, sehr eingeschränkt bei der Hardwareunterstützung. Das ist nicht so verwunderlich, immerhin ist es ein dediziertes OS für Solaris Server.

Zur optimalen Nutzung braucht ZFS aber direkten Zugriff auf die einzelnen Festplatten, ideal sind reine SATA / SAS etc. Controller. Man kann auch RAID Controller nutzen, dann aber ohne RAID Verbund, nach Möglichkeit sollte man diese dann mit einer non-RAID Firmware flashen.
 
Auch ein stinknormales Ubuntu kann ohne Problem mit dem Ding umgehen, es benutzt ja nur SATA-Treiber vom eSATA-Chip. Das da irgendwo ein Jmicron hängt, bekommt das OS doch gar nicht mit, weil es nur bis zum eSATA-Chip kommt. Also ist es in Deinem Kontext nicht "optimal", weil der Jmicron nicht ein Deinem PCI(e)-Slot steckt?
 
Zuletzt bearbeitet:
Wenn es jemand unter Solaris zuverlässig am laufen hat kann man es als eine mögliche Alternative akzeptieren. Aber vorher werde ich es nicht weiter verfolgen. Zudem bin ich eh mehr der Fan einer großen einzelnen Box statt vieler kleiner.
 
Anmelden, um zu antworten.

Ähnliche Themen

D
[Guide] Mein neuer Home-Server / NAS im kleinsten Server-PC der Welt [Mini-PC mit Xeon und ECC RAM]
2
Antworten
33
Aufrufe
4K
landu89
L
L
Beratung zu Selbstbau: Sparsamer Homeserver mit Desktop-Hardware?
2
Antworten
57
Aufrufe
7K
LonerLost
L
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh