[Kaufberatung] Größeres Storage geplant [40+ TB]

AG1M

Legende
Thread Starter
Mitglied seit
19.04.2012
Beiträge
5.936
Hallo,

ich plane derzeit einen größeren ZFS Storage, wo I/O und Schreibleistung nicht hoch sein muss - Ziel ist es Backupdateien (Voll und inkrementelle von verschiedenen Windowsystemen), zu lagern.

Idee bisher:

Supermicro 846BE16-R920B Gehäuse mit redundanten Netzteilen (24x 3,5" Slots für HDDs)
Festplatten noch nicht ganz klar, auf jeden Fall 24/7 und SATA mit 3 TB Kapazität, Preis/Leistung sollte stimmen
RAM 32 bis 64 GB ECC RAM
CPU ein Quadcore Xeon
Mainboard, am besten auch von Supermicro, gibt es da eine Möglichkeit ohne zu viele extra HBA's das direkt anzuschließen ala Expander und Co.? Da bin ich am meisten überfragt
10 Gb FC Karte ? (nur von Storage zu Storage direkt Verbindung ohne Switch), normaler Zugriff soll über mehere 1 GbE erfolgen, wo die Leistung nicht im Vordergrund steht

Dann 2x vdevs RAID-Z6 a 12x 3 TB HDDs mit ingesamt 60 TB netto (?). Oder eine andere Idee für die Aufteilung von max. 24 Festplatten um das ganze sinnvoll einzurichten?

Als OS ist OmniOS + napp-it Pro geplant, oder eine andere Alternative?

Thema Backup bzw. Redundanz vom Storage, die Idee aktuell - einfach 2x das ganze zusammenstellen und Intern (über 10 Gb FC direkt) mit Rsync und Co. abgleichen lassen? Oder andere Ideen Vorschläge?

Bin ganz gespannt :wink:
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Das SM Gehäuse mit miniSAS Backplane ist ok. Ich würde dazu ein SM Mainboard mir Sockel 2011 kombinieren,
z.B. das SRH-7TF. Das hat einen LSI 9207 onboard sowie bereits 2 x schnelle 1/10 GbE (= Intel X540-T2).
Kanalbündelung würde ich eher vermeiden, lieber gleich auf 10Gbe gehen.

Der SAS Controller muss noch auf IT mode geflashed werden.
http://www.napp-it.org/doc/manuals/flash_x9srh-7tf_it.pdf
Daran kann man einen Expander anschließen, würde ich aber nur mir SAS Platten machen. Bei Sata Platten würde ich immer diskrete Anschlüsse bevorzugen, z.B. mit 2 weiteren 9207 oder mit 2 x IBM 1015 oder 1 x LSI 9201-16i

Ich würde auch eher 4 TB Platten nehmen und die als 2 x Raid Z2 je 10 Platten oder 2 x Raid-Z3 je 11 Platten konfigurieren. (64 TB nutzbar). Eventuell dazu noch eine SSD als L2Arc cache, muss aber nicht sein - RAM ist wichtiger.

Um Windows Maschinen zu sichern, kann man robocopy nehmen (oder rsync bei Linux) und dann per Snapshots vorherige Versionen halten.
 
Zuletzt bearbeitet:
Privat oder Firma?

Gesendet von unterwegs mit der Hardwareluxx App

Zweites Standbein, ist aber noch in der Projektplanung, geht auch direkt ins RZ. Habe auch schon fertige Systeme gefunden ala Infortrend EonNAS 5120, aber da bewegt man sich schon in ganz anderen Preisregionen, auch wenn ich weiß das Support und Co. auch Geld kostet.

Das SM Gehäuse mit miniSAS Backplane ist ok. Ich würde dazu ein SM Mainboard mir Sockel 2011 kombinieren,
z.B. das SRH-7TF. Das hat einen LSI 9207 onboard sowie bereits 2 x schnelle 1/10 GbE (= Intel X540-T2).
Kanalbündelung würde ich eher vermeiden, lieber gleich auf 10Gbe gehen.

Der SAS Controller muss noch auf IT mode geflashed werden.
http://www.napp-it.org/doc/manuals/flash_x9srh-7tf_it.pdf
Daran kann man einen Expander anschließen, würde ich aber nur mir SAS Platten machen. Bei Sata Platten würde ich immer diskrete Anschlüsse bevorzugen, z.B. mit 2 weiteren 9207 oder mit 2 x IBM 1015 oder 1 x LSI 9201-16i

Ich würde auch eher 4 TB Platten nehmen und die als 2 x Raid Z2 je 10 Platten oder 2 x Raid-Z3 je 11 Platten konfigurieren. (64 TB nutzbar). Eventuell dazu noch eine SSD als L2Arc cache, muss aber nicht sein - RAM ist wichtiger.

Um Windows Maschinen zu sichern, kann man robocopy nehmen (oder rsync bei Linux) und dann per Snapshots vorherige Versionen halten.

Danke gea klingt gut. Die Sicherung der phy. und virt. Windows Maschinen passiert schon mit einer Image Backup Software, nur diese Backdateien sollen auf dem Storage liegen und dann auf ein zweites (gerne Identisches) Storage Intern repliziert werden, daher die Frage wegen dem asynchronen abgleichen untereinander, wie das sinnvoll eingesetzt werden könnte.
 
Zweites Standbein, ist aber noch in der Projektplanung, geht auch direkt ins RZ. Habe auch schon fertige Systeme gefunden ala Infortrend EonNAS 5120, aber da bewegt man sich schon in ganz anderen Preisregionen, auch wenn ich weiß das Support und Co. auch Geld kostet.


Danke gea klingt gut. Die Sicherung der phy. und virt. Windows Maschinen passiert schon mit einer Image Backup Software, nur diese Backdateien sollen auf dem Storage liegen und dann auf ein zweites (gerne Identisches) Storage Intern repliziert werden, daher die Frage wegen dem asynchronen abgleichen untereinander, wie das sinnvoll eingesetzt werden könnte.

Zwei ZFS Server syncron halten/replizieren, geht am schnellsten (vor allem bei kleinen Dateien) mit zfs send - zumal damit auch alle Dateieigenschaftten und ACL erhalten bleiben. Für Vorversionen kann man auf beiden eine unterschiedliche Snaphistory fahren.

Server 1: z.B. Snaps täglich, behalte 30
Server 2: z.B. Snaps monatlich, behalte 24
 
Die Abgleichung von einem Server auf den anderen machst du am besten mit ZFS Snapshots, also send/receive. Einfach ein Script regelmäßig (gerne auch alle 10 Minuten) ausführen dass die Snapshots dann von System A auf System B synct.

Als Festplatte empfehle ich die HGST Deskstar 7K4000 4TB, SATA 6Gb/s (HDS724040ALE640/H3IK40003272SW).
Ich würde auch zu 2x Z3_4TBx11 raten, du hast dann noch zwei Slots für Hotspares frei. Da es sich um reine Backup-Maschinen handelt würde ich auf SSD-Cache verzichten.

Für das System würde ich zwei kleine SSDs im Mirror verwenden, da tun es auch Consumer-SSDs, das mehr an Spare-NAND der Server-SSDs brauchst du hier wirklich nicht
2x Intel SSD 335 Series 80GB, 2.5", SATA 6Gb/s (SSDSC2CT080AK5).

Das von dir genannte Gehäuse hat einen Expander integriert. Expander mit SATA-Festplatten sind eventuell problembehaftet, es gab dazu vereinzelnt Berichte, ich habe dazu auch selbst viel recherchiert. Offen bleibt bei all diesen Berichten aber ob sich dass nur um Treiber-Probleme irgendeinener alte Version des Solaris-Kernels handelte und ob das heutzutage vielleicht gar nicht mehr so ist. Berichte über solche Probleme unter Linux konnte ich nämlich nicht finden.

Ich setze zu Hause SATA-Festplatten mit SAS-Expandern und ZFSonLinux ein, ohne Probleme.
Um auf Nummer sicher zu gehen sollte man Expander mit SATA-Festplatten also meiden, gerade im Unternehmensumfeld. Bei mir zu Hause ist es nicht so relevant, aber wenn dann später mal im Produktivsystem gerade deshalb was schief geht möchte man nicht die Person sein die diese Berichte als nicht mehr relevant abgetan hat.

Supermicro 846BA-R920B schwarz, 4HE, 920W redundant
Vorne 24 3,5" Slots, hinten optional 2x 2,5" Slots für die System SSD.

Denk eventuell auch gleich über eines der 36-Slot Gehäuse von Supermicro nach. So kannst du später einfach erweitern.
Supermicro - 847-Serie
Die gibt es mit 4x FF + 3 LP (UIO) oder 7x LP PCI-Slots. Würde hier dann auch wieder das Modell mit dem kleinsten redundanten Netzteil empfehlen.

Ich würde dir grundsätzlich zum 36-Slot Gehäuse raten, man weiß nie was die Zukunft bringt und in der Anschaffung sind das nur jeweils 400€ mehr, ich denke das geht völlig in Ordnung.

Für das Mainboard gibt es zwei Möglichkeiten.

Möglichkeit A:
1x Supermicro X9SRL-F retail, C602 (Sockel-2011, dual PC3-12800R reg ECC DDR3) (MBD-X9SRL-F-O) - 270€
2x IBM ServeRAID M1015, PCIe 2.0 x8 (90Y4556) - 240€
1x Intel X540-T1, 1x 10GBase-T, PCIe x8, low profile - 320€
Alternativ 1x Intel X540-T2, 2x 10GBase-T, PCIe x8, low profile, retail - 470€
= 830€ (1x 10GBase-T) oder 980€ (2x 10GBase-T)

Warum hier nur zwei LSI HBAs? Weil das Mainboard 10x SATA onboard hat und man 8 dieser Ports mit einem Reverse Breakout-Kabel an die Backplane anschließen kann.

Möglichkeit B:
1x Supermicro X9SRH-7TF retail, C602J (Sockel-2011, dual PC3-12800R reg ECC DDR3) (MBD-X9SRH-7TF-O) - 520€
2x IBM ServeRAID M1015, PCIe 2.0 x8 (90Y4556) - 240€
= 760€
Problem: Das Board ist aktuell wohl nicht lieferbar, musst du mal anfragen.

Beide Möglichkeiten sind für 24 Slots konzipiert. Wenn du bei Möglichkeit A mehr brauchst steckst du einfach weitere LSI HBAs nach. Bei Möglichkeit B kannst du noch eine LSI HBA nach stecken und verwendest dann noch ein Reverse Breakout-Kabel für die 4 der 6 SATA-Ports.

Die Sache ist folgende: Wenn es bei 24 Slots oder 36 Slots bleibt, ist Möglichkeit B, sofern verfügbar, günstiger. Wenn du allerdings eventuell auf mehr Slots schielst, rate ich zu Möglichkeit B da du hier 6x eine 8-Port LSI-HBA einbauen kannst und eine Netzwerkkarte. Klar kann man auch die 16-Port oder mehr HBAs nehmen, die sind dann aber gleich wesentlich teurer so dass Möglichkeit A wieder günstiger ist.

Den passenden RAM suchst du dir in der Kingston Speichersuche aus, du benötigst PC3-12800R reg ECC, auch DDR3-1600 reg ECC genannt. Nimm gleich 16GB Module und keine 8GB. 32GB insgesamt sollten eigentlich mehr als ausreichen, aber mehr kann natürlich auch nicht schaden. ;)

Als CPU empfehle ich einen Intel Xeon E5-1620, 4x 3.60GHz, Sockel-2011, tray (CM8062101038606).

Eventuell solltest du auch darüber nachdenken die Hardware komplett gefertigt mit Wartungspaket von einem IT-Systemhaus zu kaufen.
Gerade wo du schreibst "zweites Standbein", geht das in Richtung Selbstständigkeit? Ich bin auch selbstständig und kann dir eins sagen: Mit der Hardware selbst ärgere ich mich nicht rum, die kaufe ich fertig gebaut von einem IT-Systemhaus ein.
Das kostet zwar mehr, aber sobald mal irgendwas nicht in Ordnung ist kostet dich das selbst viel mehr weil du nicht wie ein IT-Systemhaus mal eben ins Lager gehst und einen riesigen Pool an Ersatzteilen und Test-Hardware zur Verfügung hast. Die meisten und gerade die effektiven Reparaturmethoden fallen so nämlich total flach wenn man nicht gerade eine große Firma mit viel Umsatz, entsprechendem Lager und Personal ist.

Ich hatte das Glück eine sehr gute Ausbildung bekommen zu haben und habe währenddessen Tausende PCs und Hunderte Server gewartet, fast alles Einzelstücke und keine Stangenware, steinalte Hardware als auch ganz neue Hardware, und weiß daher wie aufwendig, zeitraubend und nervig so etwas sein kann.
Klar mache ich auch selbst noch Wartung hier und da, aber nur wenn es sich nicht vermeiden lässt. Mit anderen Sachen kann man nämlich mehr Geld verdienen. ;)

Leicht OT: Hat jemand schon mal die 72 Slot Supermicro-Gehäuse in Aktion gesehen? Ich finde die Gehäuse sehr interessant, aber anscheinend werden sie nicht einzeln verkauft sondern nur im Komplett-Paket mit Mainboard & Co.
So richtig hotswappen kann man da ja nicht, man muss ja im Wartungsfall immer gleich zwei HDDs auf ein mal rausziehen, oder täusche ich mich da? Das heißt für die meisten Anwendungsszenarien dass man einen Teil des Storage komplett offline nehmen muss. Das schreckt mich etwas ab.
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh