Homeserver Raid mit dediziertem Backuprack

[etamitlu]

Hallo zusammen,

einmal vorweg: ich konnte bisher sehr viel Gutes hier im Forum lesen und habe auch schon sehr gute Hilfe bekommen auf meine bisherigen Fragen, Danke dafür.

Kurze Schilderung der Situation und dann meiner Frage:
1. MB: Supermicro X9SRL-F mit Intel XEON E5-2609 2.40GHZ
2. ich baue gerade einen Homeserver auf mit einem HW Raid Controller (Adaptec 71605) für ein Raid 6 und fange an mit 10+2 (Hot Spare) Platten a 3 TB Toshiba (DT01ACA300)
3. als OS werde ich Windows Server 2012 Essentials einsetzen
4. da ein Raid nun einmal kein Backup ist, soll das zukünftig noch hinzukommen und zwar möchte ich das gerne in einem weiteren Gehäuse/Rack (19 Zoll) unterbringen, so und nun

die Frage wo ich momentan vielleicht das ganze nicht verstehe oder gerne Eure Hilfe haette wie das alles zusammenspielt:

1. meine Idee war, Raidcontroller macht alles intern mit Ports und das soll auch so bleiben, d.h. ein 71685 (der auch externe Ports hat) ist für mich momentan ein wenig ueber Budget + ich konnte nirgends finden, ob der 71685 die Ports alle unterschiedlich aussteuern kann oder nicht + ob das OS dass dan auch hinbekommt, mit dem Controller das Backup darüber regelmässig durchzuführen und für Jugend forscht sind mir >800 Euro zu viel.
2. somit bleibt mir die Option ein HBA Controller parallel zum 71605 Raidcontroller, nur hierzu finde ich auch nichts bei Adaptec oder in Netz, wo einer genau diese Konstrukt verbaut hat und funktioniert. Ich finde sehr wohl Themen, wo 2 Raidcontroller verbaut wurden oder 2 HBA zu unterschiedlichen Zwecken (ZFS,....), also vermute ich, dass das ohne Probleme gehen muesste. Nur wenn ja, welcher HBA funktioniert harmonisch mit dem 71605er oder spielt das keine Rolle (was super wäre!!!), da dass Mainboard kompatibel sein muss zu beiden Controllern und die Controller sich egal sind?

zu 2. haette das den Vorteil, dass ich in Ruhe schaun und sparen kann, welches Backupgehäuse mit welcher Backplane, Expander,..... und dann kann ich in ruhe schaun, welcher HBA im Hauptserver als externe BUSverlängerung dazu kompatibel ist + ich nicht einen SPOF haette, falls der Raidcontroller mal das spinnen anfängt.

Von daher nun die Frage zum Schluss an Euch, verstehe ich das insgesamt so richtig oder falsch und wenn ja, wo und was wäre evtl. cleverer? Noch habe ich den Controller nicht in den Händen, da im Zulauf und koennte tauschen.

Danke und Gruß

Christoph

 

[bluesunset]

Hallo Christoph,

Kurze Schilderung der Situation und dann meiner Frage:
1. MB: Supermicro X9SRL-F mit Intel XEON E5-2609 2.40GHZ
2. ich baue gerade einen Homeserver auf mit einem HW Raid Controller (Adaptec 71605) für ein Raid 6 und fange an mit 10+2 (Hot Spare) Platten a 3 TB Toshiba (DT01ACA300)
3. als OS werde ich Windows Server 2012 Essentials einsetzen
4. da ein Raid nun einmal kein Backup ist, soll das zukünftig noch hinzukommen und zwar möchte ich das gerne in einem weiteren Gehäuse/Rack (19 Zoll) unterbringen, so und nun

1. meine Idee war, Raidcontroller macht alles intern mit Ports und das soll auch so bleiben, d.h. ein 71685 (der auch externe Ports hat) ist für mich momentan ein wenig ueber Budget + ich konnte nirgends finden, ob der 71685 die Ports alle unterschiedlich aussteuern kann oder nicht + ob das OS dass dan auch hinbekommt, mit dem Controller das Backup darüber regelmässig durchzuführen und für Jugend forscht sind mir >800 Euro zu viel.

Was genau erforscht du mit/an dem PC?
Bei einem Raid6 mit 10 HDDs würde auch eine Hotspare HDD ausreichen.

zu 2. haette das den Vorteil, dass ich in Ruhe schaun und sparen kann, welches Backupgehäuse mit welcher Backplane, Expander,..... und dann kann ich in ruhe schaun, welcher HBA im Hauptserver als externe BUSverlängerung dazu kompatibel ist + ich nicht einen SPOF haette, falls der Raidcontroller mal das spinnen anfängt.

Das mit SPOF kannst du mal ganz schnell streichen, da du in einem "normalen" Rechner viel zu viele davon hast.
Was mir noch etwas fehlt: Wie viele HDDs willst du denn eigentlich insgesamt für das Produktiv Raid und das Backup verbauen und wie sehen etwaige Ausbaupläne aus?
Es gibt 19" Gehäuse für 16, 24, 36, 38 und 44 HDDs bei 3.5". Bei den 44 HDDs handelt es sich nur um ein 4HE Gehäuse welches keinen Rechner beherbergen kann. Bei allen anderen passt noch ein 2-3 HE Rechner hinein.

 

[etamitlu]

Hallo bluesunset,

Zitat von bluesunset
Was genau erforscht du mit/an dem PC?
Bei einem Raid6 mit 10 HDDs würde auch eine Hotspare HDD ausreichen.

Es ist lediglich mein Hobby und mir geht es um Spass und Lernen, mehr nicht
Klar langt ein Hotspare, würde für Privat ja auch ohne gehen mit manuellem Austausch, aber wie schon geschrieben, Hardware ausreizen und einfach mal probieren. Ebenso würde ich auch ohne Windows Server 2012 Essentials auskommen und ich koennte auch ZFS einsetzen,..... Dass das alles ein wenig mehr als für privat notwendig ist das gebe ich ja zu aber macht Spass.

Zitat von bluesunset
Das mit SPOF kannst du mal ganz schnell streichen, da du in einem "normalen" Rechner viel zu viele davon hast.
Was mir noch etwas fehlt: Wie viele HDDs willst du denn eigentlich insgesamt für das Produktiv Raid und das Backup verbauen und wie sehen etwaige Ausbaupläne aus?
Es gibt 19" Gehäuse für 16, 24, 36, 38 und 44 HDDs bei 3.5". Bei den 44 HDDs handelt es sich nur um ein 4HE Gehäuse welches keinen Rechner beherbergen kann. Bei allen anderen passt noch ein 2-3 HE Rechner hinein.

Also das Gehäuse Server mit Raid ist ein Supermicro mit 16 Hot Swap Bays,.... 836er Modell 3HE. Das Gehäuse wird auf absehbare Zeit und bei 3 TB selbst bei den 10 aktiven Platten ja immer noch 24 TB bringen. Das reizen wir bei weitem nicht aus momentan, daher denke ich wird es auch die nächsten 2 Jahre erstmal so bleiben. Wenn wir dann mehr brauchen, kann ich immer noch ein 6er Raid 6 mit hinzunehmen.

Um die weitere Frage zu beantworten, nicht alle Daten die wir auf dem Raid 6 bereitstellen, sind so wichtig und unwiederbringlich wie z.B. Fotos,..... d.h. werden und sollen als zusätzliches Backup gesichert werden. Wieviele HDD/Bays es insgesamt werden sollen im Backupgehäuse und vorallem, welches Gehäuse und welche Backplane, ob mit Expander oder nicht.... das weiss ich momentan noch nicht, da ich mich erstmal um den Server an sich gekümmert habe. Stand jetzt würden aber sicherlich 4 Bays als Backup mindestens bei rauskommen mit 3 TB HDD jeweils. Auch weiss ich momentan noch nicht wie ich die am besten einbinde in Windows Server 2012, das werde ich mir die Tage mal in Ruhe überlegen. Ausserdem kann ich momentan noch Backups auf meinem PC sichern über GB LAN, d.h. ich muss nicht sofort ein Backupgehäuse angehen, möchte nur alles dafür vorbereitet haben, es kommt ja auch noch SATA>3 (4? geplant für 2013, mal sehen was das so bringt)

Ich hoffe ich konnte Deine Fragen soweit beantworten. Wenn nicht, nur zu ich schau was ich machen kann. Ansonsten wie schon geschrieben, geht es mir um das technische Verständnis Zusammenspiel HBA, Raid Controller und ob ich das so richtig verstanden habe, oder ob ich irgendwo auf dem falschen Trip bin und was übersehen oder nicht bedacht habe. Der 71685er mit seinen externen Ports kostet halt 300 € mehr als der 71605 und die würde ich gerne in andere Dinge momentan investieren, es sei denn, es macht super viel Sinn.

Danke und Gruß

Christoph

 

[fdsonne]

Von daher nun die Frage zum Schluss an Euch, verstehe ich das insgesamt so richtig oder falsch und wenn ja, wo und was wäre evtl. cleverer? Noch habe ich den Controller nicht in den Händen, da im Zulauf und koennte tauschen.

Wie stellst du dir das Backup denn überhaupt vor?
Du hast ja erkannt, das ein Raid kein Backup ersetzt... Es macht aber so den Eindruck, als würdest du mit ner schlichten Kopie im selben Server dieses Backup erzeugen wollen.
Hier sei aber gesagt, das ist ebenso nix halbes und nix ganzes.
Wenn schon Gedanken über Backup machen, dann richtig.

Heist externes Gehäuse. Externe Hardware (vollumfänglich) sowie Standort möglichst unabhängig vom Quellserver.

Es wäre zudem noch interessant, um was für Kapazitäten wir da aktuell sprechen...
Ich mein 10x3TB im Raid 6 sind 24TB mögliche Daten. Selbst wenn du nur ein viertel davon Backupen willst, stellt sich mir zuerst einmal die Frage, wie sollen die Daten von A) (Quell-Fileserver) nach b) (Backup) kommen.
Via 1GBit LAN wären das bei 6TB alleine 14,5h Zeit für den Transfer...

Taugt warscheinlich also nicht so ganz.

Auch lässt du dich aktuell nicht drüber aus, wie hoch die Datenänderungsrate so im Schnitt ist. Was ebenso noch von essentieller Bedeutung ist.

Und zu guter letzt wäre noch deine Anforderungen an Geschichten wie Versionierung gut zu wissen. Sprich reicht eine einzige Backup-"Kopie". Oder brauchst du beispielsweise zwei, sicherst du inkr./diff. oder voll. usw.

 

[MadRobot]

Eventuell stellt er sich eine ähnliche Lösung vor wie ich sie bei mir betreibe.
Ich habe einen Server auf dem meine Daten liegen (zwei mal Raid5), in diese Server habe ich einen weiteren SAS-Controller, welcher ein externes Gehäuse mit Expander ansteuert. Dieses externe Gehäuse läuft nur in der Zeit der Datensicherung. Auf die Platten im externen Gehäuse (auch als Raid5) sicher ich die wichtigen Daten per Script im Fullbackup (robocopy) in mehreren Versionsständen. Wenn die Platten der Sicherung volllaufen, wird einfach der älteste Stand gelöscht.
Windows hat nichts gegen das entfernen der Laufwerke wenn nach der Sicherung das externe Storage wieder herunter gefahren wird und der entsprechende Controller mit Expander macht das auch mit.

Grüße
Mad

 

[etamitlu]

Hi Mad,

Exakt, so wie Du es bei Dir hast, so stelle ich mir das vor.

Danke fuer Deine Erlaeuterung. Wenn ich also den 71605 final intern einsetzen möchte, den halte ich fuer einen spitzen PCIe 3.0 Controller, welchen SAS Controller schlaegst Du dann vor, da ich unterstelle, mein Verstaendnis wie ursprünglich beschrieben funktioniert so. Beeinflussen sich 2 Controller oder müssen die nur mit Board kompatibel sein + der HBA/Raid Controller mit dem externen Expander, Backplane,....

Christoph

 

[MadRobot]

Also wenn ich es richtig verstanden habe so ist HBA und Raidcontroller was anderes. Und ja, da muss alles zueinander passen. Ich habe viel lehrgeld bezahlt :-/
Zwei Controller sollten eigentlich funktionieren, gelegentliche Inkompatibilitäten kommen aber vor. Wichtig ist auch die Software des Controllers da ich in diesem Anwendungsfall Probleme mit Adaptec hatte.
Ich verwende bei mir LSI Controller. 9260 intern und 9280 extern. Der 9280 läuft dann mit einem Intelexpander, welcher im externen Case verbaut ist. Auch dieser wird nicht von allen Controllern erkannt und unterstützt.

Aber Achtung, wie oben schon beschrieben ist dies keine wirklich gute Lösung, da man auf diese Weise keine wirkliche Trennung zwischen orginal und Backup-Daten hat, zumindest in der Zeit des Backups.

 

[bluesunset]

Für dieses Jahr ist nur SAS 3.0 mit 12Gbit/sec geplant. SATA3 hat ja noch nicht mal Intel in seinen Chipsätzen komplett bei allen Ports.
Da bisher noch kein fertiges externes Gehäuse mit den neuen mini SAS-HD Steckern gibt dürft es also noch etwas dauern.
Wie fdsonne schon gesagt hat, was vor allem noch fehlt ist deine Vorstellung bzw. Abschätzung der anzufallenden Daten.

Hast du auch an eine USV-Anlage gedacht?

 

[etamitlu]

Also an alle bisherigen Antworter, vielen Dank für Euren Input und die Gedankenanstösse bzgl. Backup.

Ansonsten nur als Anmerkung meinerseits (vielleicht sehen das nachfolgend geschriebene Menschen die hauptberuflich sich mit so etwas beschäftigen anders, daher vorab sorry dafür),

ob ich nun von einer SAN Lösung (räumliche Trennung von Server und Storage/Backup mit hohen Bandbreiten) mit entsprechenden Equipment wie z.B. HBAs, SAN - Switsches, optisches Kabel,.... oder vielleicht ne Spur drunter, so wie ich das beschrieben habe, mit SAS-HBA und nachstehender sauberer Erläuterung von den Optionen, spielt für mich als Hobby Homeserverplaner keine Rolle, da es technisch ähnlich abbildbar ist mit ähnlichem SAS Equipment. Das einzige was ich nicht machen werde ist die räumliche Trennung von Server und Backupstorage. Beide werden im gleichen 42 HE Schrank eingebaut werden, natürlich wie ich geschrieben hatte, in separaten Gehäusen.

Folgender Input abschliessend von meiner Seite zu dem Thema die Antwort auf die gleiche Fragestellung wie oben + direkt an und von Adaptec - Ich finde es bemerkenswert, dass ich eine so ausführliche Antwort bekommen habe, obwohl ich kein Produkt und somit keine Seriennummer in Händen halte - das ist wirklich gut.

Zitat von Adaptec Support
Im Prinzip hätten Sie mit einem ASR-71685 über die internen Anschlüsse
Ihre Arrays konfigurieren können und zusätzlich über die externen SAS
Stecker weitere externe Festplattengehäuse mit entsprechendem SAS
Interface anschliessen können. Was Sie dann mit den Platten in dem/den
externen Gehäuse machen bleibt Ihnen überlassen. Sie könnten damit
zusätzliche Arrays einrichten, aber auch, wie von Ihnen angestrebt, die
Platten einzeln verwenden (als logische Single Drive Volumes, oder als
physikalische RAW Devices).
Jeder externe Anschluß verfügt über vier Ports und man könnte dort
jeweils entweder ein passives Festplattengehäuse mit bis zu vier
Festplatten anschliessen, oder man nutzt ein Expander-Gehäuse, welches
dann auch mehr Platten angesteuert werden können.

Die Option "b." mit einem zweiten HBA mit entsprechenden externen
Anschlüssen würde auch funktionieren. Hier kommt es dann nur darauf an,
daß im Mainboard beide Karten hinsichtlich des verfügbaren Option-ROMs
auf der Hauptplatine auch initialisiert werden können.
Kompatibilitätstests in dieser Richtung (welche Karten vertragen sich
auf welchen Mainboards und mit welchen Firmware/BIOS Versionen
untereinander) gibt es aber nicht, da zuviele Abhängigkeiten von BIOS-,
Firmware-Versionen und -Einstellungen eine Rolle spielen, welche
zuverlässige Tests zeitlich unmöglich machen. Das ist ein Punkt der im
Einzelfall probiert werden muß.

In das zusätzliche externe Festplattengehäuse muß kein zusätzlicher
Controller. Je nach Anzahl der anzuschliessenden Festplatten benötigen
Sie aber ggf. ein teures Gehäuse mit integriertem SAS-Expander.
Das Ganze könnte in etwa so aussehen, wie in folgender Datei gezeigt:
http://www.adaptec.com/nr/pdfs/integration_guide_71685.pdf

Falls Sie die Festplatten im zusätzlichen Gehäuse auch managen wollen
(wenn Sie nur Einzellaufwerke verwenden ist dies u.U. nicht
erforderlich), könnte es Sinn machen einen Zusatz-Controller zu nehmen,
welcher über die gleiche Management-Software angesteuert werden kann.
Mehrere Überwachungstools auf einem System vertragen sich in der Regel
nicht untereinander.

Gruß

Christoph

 

[bluesunset]

Hrm, du willst für dein Backup also ein DAS (direct attached storage). Damit sind in deinem Fall direkt angeschlossene Festplatten über ein externes Gehäuse mittels SAS gemeint.

Dediziert = einzeln, allein stehend, unabhängig. Zumindest das unabhängig ist ein DAS nicht.
Ein Rack ist ein Schrank und kein Gehäuse. Soviel zum irreführenden Threadtitel den du gewählt hast.

Die Probleme bezüglich Datensicherheit bei Virenbefall, Softwareproblemen, Bedienungsfehler usw. sind dir also bewusst.
Bei einem DAS hat das Hostsystemen kompletten Zugriff auf alle angeschlossenen HDDs als wären diese im eigenen Rechner verbaut, somit auch keine Sicherheit vor Manipulationen - und sei dies auch nur ein Bitflip im RAM.

Ein SAN ist im übrigen ein Speichernetzwerk. Im günstigsten Falle ein iSCSI-Netzwerk mit etwas angepassten Switchen als Variante für "arme".
Ansonsten eher über FC (Fibre-Channel) als Protokoll/Standard und nicht Ethernet. Bei FC werden auch Kupferkabel innerhalb eines Racks verwendet.

 

[fdsonne]

Die Probleme bezüglich Datensicherheit bei Virenbefall, Softwareproblemen, Bedienungsfehler usw. sind dir also bewusst.
Bei einem DAS hat das Hostsystemen kompletten Zugriff auf alle angeschlossenen HDDs als wären diese im eigenen Rechner verbaut, somit auch keine Sicherheit vor Manipulationen - und sei dies auch nur ein Bitflip im RAM.

Und genau das ist das Problem... Zumindest könnte es das werden.

Im Grund ist so ein Aufbau schlicht und einfach wie ein Raid. Nur das nicht automatisch und sofort gespiegelt wird, sondern eben händisch auf Knopfdruck, oder vllt auch via Script (quasi automatisch)

Die Frage ist eben, ob dem TE das so reicht. Er hat halt so extrem viele Möglichkeiten nicht, wenn es um eine derart große Datenmenge geht

Eine räumliche Trennung wie ich oben ansprach kann man ja auch nicht überall haben (speziell Zuhause wirds eher schwerer)
Ich persönlich sehe aber eher das Problem, wenn ein und die selbe Kiste eben beide Datenpools hält, das da potentiell das Risiko größer ist, das da was bei schief geht. Und dabei meine ich nicht nur Bedienfehler. Sondern auch Viren, Überspannung, etc.
Da bin ich schlicht der Meinung, wenn man sowas mit den nötigen Mitteln auf die Beine stellt, wäre ein zumindest logische Trennung durchaus ein Schritt in die richtige Richtung.
Auch sollte die Büchse wenn möglich vom Strom getrennt sein und nicht immer laufen.
Beispielsweise könnte man mit nem kleinen Backupserver + externem Backup Plattencase (SAS) sowie nem 10GBit Ethernet schnelle Transferraten erhalten. (einfach Quell + Backupserver mit "günstigen" 10GBit NICs ausstatten und zusammen patchen)
Alternativ wäre auch beispielsweise IP over Infiniband denkbar. (das wären dann 20GBit, abzüglich Overhead noch 16GBit/sec im IP Betrieb)
Und wenn möglich sollte der Backupserver die Initiative haben, sich die Daten zu holen, anstatt dem Quellsystem die Initiative zu geben, die Daten zu schieben


Wir zum Beispiel auf der Arbeit setzen aktuell auch fast ausschließlich auf ein Online Backup. Haben aber A) den Backupstore in einem seperaten Brandabschnitt, B) den Backupstore an nem seperaten Stromkreis, C) den Backupstore via LWL only am Hausnetz (FC, sowie Ethernet 10GBit, verhindert Überspannung im LAN Bereich) und D) sichern quasi überall wo es geht auf Snapshotbasis (ESX Cluster + Fileshares über die NetApp Funktionen)
Nur ein paar wenige Shares/Daten werden via simpler Kopie bzw. simpler Backupsoftware einfach 1:1 kopiert.

Es ist absolut unwarscheinlich, das Beispielsweise ein Virenbefall im LAN die Quelle und gleichsam das Backup zersägt. Einfach weil es logisch getrennte paar Schuhe sind. Ebenso gilt dies für die ganzen ESXi VMs.
Das einzige was potentiell passieren kann, wenn Hochwasser durchs Rack fließt Oder jemand die Backup Netapp zerkonfiguriert. (wobei da nur 4 Leute Zugriff haben)