Server Update/Upgrade - Softwarefragen (Virtualisierung)

[GammaRAID]

Servus,

ich habe ein paar Veränderungen an meinem Server vor und benötige daher eure Hilfe.

Momentan läuft auf meinem Server Windows Server 2012, was ich noch im Studium kostenlos bekommen habe, mit einem Adaptec 6805. Da ich nun immer mehr Daten habe, die ich auf keinen Fall verlieren möchte, werde ich auf ein Copy-on-Write Dateisystem umstellen. Des Weiteren ist es IMO unnötig, dass jedes mal alle Festplatten hochfahren, wenn ich 1 Datei benötige. Die Vorzüge eines RAID-Systems, also die erhöhte Verfügbarkeit, benötige ich nicht wirklich.

Die Aufgaben meines Servers beschränken sich auf Storage, Versorgung des Netzwerks mit Mediadateien (via Plex + Freigaben), Backup der Laptops (dies erfolgt nun leider mehr oder weniger manuell).


Ich möchte nun auf ZFS umstellen und habe es mir folgendermaßen vorgestellt:
Die Zahlen sollen die einzelnen virtuellen Maschinen darstellen

0) Bare Metal Hypervisor alias ESXi o.ä. als Basis
1) OmniOS + Napp-it als Filesystem ZFS - hier ist jede HDD einzeln vorhanden, kein RAID.
2) auFS zum Pooling + Snapraid auf Ubuntu - für Redundanz im weitesten Sinne. Die Dateien verändern sich nur sehr selten, daher brauche ich keine Echtzeit-redundanz.
3) Plex-Server auf Ubuntu - Medien für das Netzwerk bereitstellen
4) JDownloader auf Ubuntu - Diese VM soll eine eigene dedizierte HDD zugeteilt bekommen, die nicht von auFS/Snapraid berührt wird, da ich von den Daten kein Snapshot benötige
5) Backup-Server für die beiden Laptops. Hier muss ich mir noch eine geeignete Lösung überlegen, da die TimeCapsule meiner Freundin vor einigen Tagen ihren Geist aufgegeben hat.

Wie sieht die Hardware bisher aus:

Ansonsten Adaptec 6805 - wird verkauft und durch einen HBA (m1015 o.ä.) ersetzt
1SSD 128GB Samsung
1 2,5" 1TB HDD - wird für den Jdownloader benutzt
9x 3,5" 3TB HDDs von Seagate

Für das Backup werde ich in Zukunft 2,5" HDDs verwenden, die ich in einem ICY-Dock unterbringen werde.

Board, CPU + RAM werden ausgetauscht und entsprechen dem, was ich auch schon im Hardwareguide geschrieben habe:
G4400/i3-6100, 16/32GB ECC, SM-Board


Nun zu meinen Fragen:

Ist das überhaupt so umsetzbar?
Wenn ja, ist das sinnvoll oder sollte man eine andere Lösung wählen?
Wenn das auch zutrifft, wie schwierig wird mein Vorhaben? Da ich kaum Erfahrung mit Virtualisierung abgesehen von VirtualBox habe.


Vielen Dank für eure Hilfe.

 

[Digi-Quick]

Servus,

Momentan läuft auf meinem Server Windows Server 2012, was ich noch im Studium kostenlos bekommen habe, mit einem Adaptec 6805. Da ich nun immer mehr Daten habe, die ich auf keinen Fall verlieren möchte, werde ich auf ein Copy-on-Write Dateisystem umstellen.

Davor schützt auch ein CoW FS nicht sondern nur ein Backup

Des Weiteren ist es IMO unnötig, dass jedes mal alle Festplatten hochfahren, wenn ich 1 Datei benötige. Die Vorzüge eines RAID-Systems, also die erhöhte Verfügbarkeit, benötige ich nicht wirklich.

Auch bei ZFS fahren alle beteiligten Platten eines Pools hoch - das Herunterfahren der HDDs im Betrieb gilt als nicht supported, auch wenn es zumindest bei mir Problemlos unter NAS4Free Funktioniert hat. Ich hab es aber wieder deaktiviert, da mir die "Kunstpausen" beim Zugriff auf den Zeiger gingen - Meine NASen sind aber bei Nichtbenutzung aus.

Die Aufgaben meines Servers beschränken sich auf Storage, Versorgung des Netzwerks mit Mediadateien (via Plex + Freigaben), Backup der Laptops (dies erfolgt nun leider mehr oder weniger manuell).

Man kann den Server / das NAS auch für Backupzwecke scriptgesteuert automatisch hochfahren (WOL, IPMI)

Ich möchte nun auf ZFS umstellen und habe es mir folgendermaßen vorgestellt:
Die Zahlen sollen die einzelnen virtuellen Maschinen darstellen

0) Bare Metal Hypervisor alias ESXi o.ä. als Basis

OK

1) OmniOS + Napp-it als Filesystem ZFS - hier ist jede HDD einzeln vorhanden, kein RAID.

ZFS geht natürlich auch ohne Redundanz, dabei verzichtest du aber auf das Feature der "Selbstheilung"
Fehler werden arkannt, können aber nicht automatisch repariert werden, die enstprechenden Daten müssen dann aus dem Backup wiederhergestellt werden

2) auFS zum Pooling + Snapraid auf Ubuntu - für Redundanz im weitesten Sinne. Die Dateien verändern sich nur sehr selten, daher brauche ich keine Echtzeit-redundanz.

Punkt 1: ZFS geht mitlerweile auch unter Linux (Nap-It m,it Einschränkungen auch) - daher wäre OmniOS überflüssig
Punkt 2: auFS/ Snapraid soll dann auf andern HDDs angewendet werden? oider wolltest du das ganze auf den ZFS Pools fahren?
Das Zweite wäre in ,meinen AUgen Sinnfrei, dann lieber gleich ZFS mit Redundanz.

3) Plex-Server auf Ubuntu - Medien für das Netzwerk bereitstellen

Warum separate VM?

4) JDownloader auf Ubuntu - Diese VM soll eine eigene dedizierte HDD zugeteilt bekommen, die nicht von auFS/Snapraid berührt wird, da ich von den Daten kein Snapshot benötige

Warum separate VM?

5) Backup-Server für die beiden Laptops. Hier muss ich mir noch eine geeignete Lösung überlegen, da die TimeCapsule meiner Freundin vor einigen Tagen ihren Geist aufgegeben hat.

Warum separate VM?
Dafür gibt es doch SMB(CIFS)/NFS/AFP Freigaben
oder iSCSI-Targets
oder RSync-Server
etc.

Wie sieht die Hardware bisher aus:

Ansonsten Adaptec 6805 - wird verkauft und durch einen HBA (m1015 o.ä.) ersetzt

Warum nicht gleich ein Mainboard mit LSI Controller?

Für das Backup werde ich in Zukunft 2,5" HDDs verwenden, die ich in einem ICY-Dock unterbringen werde.

Ich nehem an daß hier nur die wirklich wichtigen Daten gesichert werden sollen, weils sonst spielst die "Diskjockey" - wie in der guten alten Zeit mit Disketten *fg*

Ist das überhaupt so umsetzbar?

Um mit den Worten von "Radio Eriwan" zu sagen: im Prinzip Ja

Wenn ja, ist das sinnvoll oder sollte man eine andere Lösung wählen?
Wenn das auch zutrifft, wie schwierig wird mein Vorhaben? Da ich kaum Erfahrung mit Virtualisierung abgesehen von VirtualBox habe.

Siehe meine obigen Anmerkungen

Gegenvorschlag:
NAS4Free als OS
- kann ZFS und UFS (FreeNAS kann nur noch ZFS)
- Plex ist vorhanden
- VirtualBox als Typ 2 Hypervisor vorhanden (sollte für deine Zwecke vollkommen reichen)
- statt JDownloader kann man Downloady via OneButtonInstallerInstaller installieren (oder JDownloader in einem Jail oder in eine VM installieren)
- TheBrig (Jail Manager) via OneButtonInstallerInstaller installierbar

 

[GammaRAID]

Hallo Digi,

vielen Dank.

Was ich deiner Antwort entnehme ist, dass das nach meinen Vorstellungen nicht ganz umsetzbar bzw. sinnvoll ist.

Die Daten, von denen ich kein Backup erstellen werde, sind als WORM zu bezeichnen. Da ist also das Dateisystem eh zweitrangig oder?

Also würde folgendes auch funktionieren:

Openmediavault + auFS + Snapraid für Mediendaten, inkl. Backupsystem für die Laptops über Apple-Filing.
VM mit Ubuntu + JDownloader + PlexServer
Meine wirklich wichtigen Daten würde ich dann einfach auf einem softwareRAID1 lagern und 1x pro Woche per Backup sichern. Hier wäre doch ZFS als Dateisystem sinnvoll oder? Die Daten sehe ich mir recht selten an, daher schläft das RAID zu ca. 98% der Zeit.

So hätte ich jeweils immer nur die einzelne Platten aktiv und nicht alle gleichzeitig.

Eigentlich suche ich ja die eierlegende Wollmilchsau Und das gibt es nunmal nicht.

 

[Digi-Quick]

Stable

OMV kann auch ZFS (via Plugin nachrüstbar) - für die wichtigen Daten!
openmediavault-zfs

ZFS auf einem wie auch immer geartetem externem Raid (Software oder Hardware) ist so sinnvoll wie ein Kropf! Wenn schon Redundanz dann bitte auch die von ZFS selbst nutzen (Mirror, Raidzx), von einer Redundanz Unterhalb von ZFS weiss ZFS nichts, kann sie also auch nicht verwalten oder berücksichtigen!
Bei ZFS ohne eignene Redundanz verzichtetst du auf Selbstheilung, ist aber nicht ganz unsinnig, da Fehler immerhin erkannt werden können.

(Für die anderen Daten dann halt auFS + Snapraid - ich verzichte allerdings auch für diese Daten nicht auf die Features von ZFS - Ich Spare Strom dadurch, daß das NAS nicht unsinngerweise 24/7 läuft und z.B. durch den Einsatz von LED Lampen in der Wohnung, da habe ich mittlerweile statt schlappen 2,2 KW Anschlusswert aller Lampen/Leuchtmittel nur noch etwa 300 Watt Licht in der Wohnung)

Wozu Plex in einer VM wenn das nativ unter OMV läuft.
openmediavault-plexmediaserver

Wozu jdownloader in einer VM wenn das nativ unter OMV läuft.
openmediavault-jdownloader

 

[GammaRAID]

Guten Morgen Digi,

ich hab mich etwas unverständlich ausgedrückt. Ich meinte natürlich ein mirror unter ZFS.

Vielen Dank für die ganzen Tipps! Du hast mir weitergeholfen und ich sehe, dass ich alles abdecken kann ohne zu virtualisieren

Edit: Eine Frage noch zu ZFS ohne Selbstheilung. ZFS stellt also fest, dass ich eine "defekte" Datei auf der Platte habe und ich müsste dann ein Backup einspielen, korrekt? Sprich, bevor ich ein Backup/Snapshot erstelle sollte ich erst einen Scrub mit ZFS durchlaufen lassen um zu sehen, ob die Daten auch alle i.O. sind.

 

[bonnie1966]

Hallo zusammen, ich verfolge den Thread recht aufmerksam da ich mich mit ähnlichen Gedanken trage.
Meine Frage dazu : warum überhaupt ein Raid?

Wenn ich das richtig verstanden habe fasse ich die Daten zu einem Pool über mehrere Festplatten zusammen. Dadurch verschiebe ich den Statistischen Aufritt eines Fehlers beträchtlich zu meinen Ungunsten. Um das wieder auszugleichen gab es erst die Raid versionen oberhalb von 1 und jetzt die verschiedenen neuen Filesysteme.

Wenn ich allerdings keinen Pool erstelle sondern, die Platten einfach in OMV mounte und Plex das zusammensuchen der Files überlasse kann ich mir den erhöhten Verwaltungaufwand und die höhren Anschaffungskosten (RAM, USV) doch sparen ?

Oder übersehe ich etwas wichtiges ?

 

[GammaRAID]

Der Vorteil eines RAIDs (unabhängig davon ob HW,SW oder Filesystem-basierend) ist nicht wirklich das Pooling, das können andere Systeme auch, sondern die erhöhte Verfügbarkeit der Daten.
Wenn du kein RAID hast und dir fällt eine HDDs aus musst du erstmal das Backup auf die neue HDD überspielen. Ein RAID läuft weiter und die Daten sind verfügbar.
Des Weiteren erlaubt dir ein RAID auch eine höhere Geschwindigkeit als eine einzelne HDD.

Diese Vorteile benötigt man mMn nicht wirklich in einem Datengrab, welches 2-3 Clients versorgen soll.

 

[besterino]

Kommt auf Deinen "Schutzwunsch" an. Ich zum Beispiel habe primär Angst vor Datenverlust durch Plattendefekt und bin dazu ziemlich faul (und in der Vergangenheit auch unorganisiert was Backups anging). Soll heißen, ich habe keine Lust, "nur wegen einer defekten Platte" ein Backup wieder einzuspielen und außerdem mir Gedanken zu machen, welche Daten auf welcher Platte wie und wo ins Backup kommen.

Wenn dann noch die bezahlbaren (~4TB) Platten nicht für einen Typ Daten reichen, wird der Organisationsaufwand noch größer, da man dann ja manuell bei der Ablage (und wieder Backup) über diverse Disks verteilen muss...

Gegen all das hilft halt RAID (außer 0) ziemlich prima. Und gegen den Rest hilft netterweise ein ZFS quasi gleich mit bzw. erleichtert die Backup-Orga ungemein (Snaps/Versionierung, Replikation). Daher bin ich dann dort gelandet und damit ziemlich glücklich.

 

[bonnie1966]

Hmm, genauso hab ich das auch verstanden. Verfügbarkeit ist kein Einsatzzweck für mich ( wenn mir eine Platte abraucht spiele ich das Backup zurück und fertig, ich kann damit leben das ich mal einen oder zwei Tage nicht auf die Daten zugreifen kann ).

Und die Versionisierung übernimmt meine Backupsoftware hinreichend für mich.

Der Datendurchsatz ist für ein Datengrab ebenfalls O.K.

Ich war nur etwas unsicher, jeder setzt auf ein RAID und inzwischen auch jeder auf ZFS. Aber das alles macht aus meiner Sicht nur Sinn wenn man es richtig betreibt sprich die Redundanz benötigt und den Mehraufwand nicht scheut, oder an einem oder zwei Enden spart. ( Backup oder USV etc. ).

Also für mich und meine Familienfotos und Filme kein Handlungsbedarf

Aber danke für die Antworten

 

[GammaRAID]

Grade gelesen und dachte, dass dieser Link für andere auch interessant sein könnte:

https://code.facebook.com/posts/1433093613662262/-under-the-hood-facebook-s-cold-storage-system-/
https://www.thanassis.space/rsbep.html

 

[oelsi]

Zum Thema "Selbstheilung" ist noch interessant zu erwähnen, dass man mit ZFS auch ohne RAID-Level Redundanz erzeugen kann, nämlich direkt auf Dataset-Ebene durch den Copy-Parameter. Damit legt ZFS im Pool bis zu zwei weitere Kopien der Daten an. Das schützt natürlich nicht vor Ausfall einer kompletten Platte, ermöglicht aber beim Scrub die "Selbstheilung" falls z. B. nur ein Sektor korrupt geworden ist, und hat den Vorteil, dass sich die Redundanz deutlich feingranularer und somit plattenplatzsparender konfigurieren lässt.

 

[Digi-Quick]

Der Copy parameter hört sich zumindest im ersten Moment interessant an, ist aber wirkungslos, wenn die HDD auf der das Dataset liegt abraucht.

Ein Backup ist eigentlich grundsätzlich veraltet, da es nur Die Daten zum Zeitpunkt der Sicherung enthält. Alles was danach an Daten angefallen ist, wäre im Falle eines Ausfalles ohne Redundanz und damit erhöhte Verfügbarkeit verloren. Mit Redundanz hat man die Chance das Backup zu aktualisieren - evtl. macht man das sogar bevor man an das Resilvern geht, da hier die Belastung der verbliebenen HDDs deutlich geringer sein sollte.

Zum Thema Scrub vor Backup:
Das ist i.d.R. nicht notwendig, da ein Datenfehler beim Lesen gemeldet wird und die berteffende Datei dann nicht gelesen werden würde - es also auch nicht mehr ins aktuelle Backup schafft.
Die Datei müsste im Falle einer fehlenden Redundanz (und damit ohne "Selbstheilungskräfte") dann aus dem vorherigem Backup wiederhergestellt werden.
Ist sie in einem vorherigem Backup noch bicht vorhanden, wäre die Datei verloren.