QNAP: Konfiguration als Speicherpool oder externer Speicherplatz bei externer Erweiterungs-Einheit?

[Dunkeltier]

Hallo, ich habe nach zig Monaten endlich wieder meine externe Einheit in Betrieb genommen. Die war wegen des damaligen NAS-Umzugs ein "wenig" außer Betrieb. Mein neues NAS ist ja komplett auf ZFS mitsamt ECC-Speicher getrimmt. Da stellt sich mir die Frage, wie richte ich am besten die passive (weil ohne Logik) externe Backup-Einheit ein? Als Speicherpool oder wie vorher als externer Speicherplatz im RAID 0? Momentan sieht der Bumms so bei mir aus:


Meine konkrete Frage dazu ist: Kann ich beide "Versionen" einfach vom NAS abziehen, an der Workstation anstecken und dort einfach auslesen? Oder klappt das mit dem Speicherpool nur am NAS, wo dieser erstellt worden ist? Ich mache mir Sorgen, das wenn der NAS abraucht (Hardwareschaden) ich nicht mehr auf die Daten der externen Speichereinheit zugreifen kann. Und ja, ich habe auf allen Pools die Snapshots nicht an. Nutzt ihr diese Funktion, für wie sinnig haltet ihr diese?

 

[gea]

Der Begriff "externes Raid" bei Pool4 irritiert mich etwas. In der Darstellung ist leider nicht ersichtlich was sich dahinter verbirgt.

Aber egal, wenn man ZFS nutzt dann:
- niemals nie nicht mehrere Platten zu einem "externen Raid" verknüpfen und als Einzelplatte/ Raid-Array an ZFS geben.
ZFS kann dann zwar Prüfsummenfehler entdecken aber nicht reparieren

-> Immer alle Platten einzeln an ZFS geben um daraus ein ZFS Softwareraid zu bauen

Ein ZFS Softwareraid läßt sich überall egal mit welchen Controllern importieren sofern (Open) ZFS unterstützt wird.
Die Raidkonfiguration ist auf den Einzeplatten gespeichert.

Wenn einem die Daten wichtig sind, auf gute Raid Redundanz z.B. Z2 achten.
Snap Dateiversionierung unbedingt nutzen damit man auf eine Vorversion (vor Löschen oder Ransomeare Attacke) zurückgehen kann.
Ich mache einen Snap alle 15 Minuten in der letzten Stunde, einen Snap pro Stunde letzter Tag und einen Snap pro Tag letzter Monat oder Jahr.

Wenn die Bude abbrennt, das Netzteil Amok läuft oder jemand einbricht braucht man ein Disaster Backup, gerne auch mit ein paar Snaps.

 

[Dunkeltier]

Der Begriff "externes Raid" bei Pool4 irritiert mich etwas. In der Darstellung ist leider nicht ersichtlich was sich dahinter verbirgt.

Aber egal, wenn man ZFS nutzt dann:
- niemals nie nicht mehrere Platten zu einem "externen Raid" verknüpfen und als Einzelplatte/ Raid-Array an ZFS geben.
ZFS kann dann zwar Prüfsummenfehler entdecken aber nicht reparieren

Das externe Backup-Gehäuse bietet nur 4x Laufwerksschächte und soll ja das NAS-interne RAID 5 sichern. Ergo bleibt hier nur die Option RAID 0 ("richtiges" externes RAID 0 - kein Speicherpool) oder RAID 0 ZFS (den Speicherpool) zu benutzen.

-> Immer alle Platten einzeln an ZFS geben um daraus ein ZFS Softwareraid zu bauen

Das ist mit dem Speicherpool ja gegeben, sieht man ja auch daran das Komprimierung und Daten-Deduplizierung verfügbar sind. Bei dem "richtigen" externen RAID 0 wäre sie das nicht. Nur stellt sich die Frage, kann ich das externe Gehäuse als Speicherpool auch einfach an meine Workstation anschließen und voll auf die Daten zugreifen, wenn der NAS abraucht?

Ein ZFS Softwareraid läßt sich überall egal mit welchen Controllern importieren sofern (Open) ZFS unterstützt wird.
Die Raidkonfiguration ist auf den Einzeplatten gespeichert.

Okay, das klingt schon mal gut. Wenn in 1-2 Tagen alle Daten überspielt sind, will ich das Gehäuse auch physikalisch mal an die Workstation anstöpseln.

Wenn einem die Daten wichtig sind, auf gute Raid Redundanz z.B. Z2 achten.
Snap Dateiversionierung unbedingt nutzen damit man auf eine Vorversion (vor Löschen oder Ransomeare Attacke) zurückgehen kann.
Ich mache einen Snap alle 15 Minuten in der letzten Stunde, einen Snap pro Stunde letzter Tag und einen Snap pro Tag letzter Monat oder Jahr.

Wenn die Bude abbrennt, das Netzteil Amok läuft oder jemand einbricht braucht man ein Disaster Backup, gerne auch mit ein paar Snaps.

Die "Snaps" sind bei mir derzeit so gesehen die 4x nachgelagerten Backups meiner Hauptdaten. Zuerst in der Workstation selbst, dann der große SSD RAID 0 Verbund im NAS und danach 2x auf den HDDs (intern und extern). Und naja, für Z2 habe ich nicht den Platz. Da bräuchte ich ein größeres NAS für, sowas hier? -> https://geizhals.de/qnap-quts-hero-turbo-station-ts-1655-8g-a2881817.html

Aber das kostet inklusive der ganzen Platten auch wieder ∞ Money...



So schaut der Bumms bei mir übrigens im Betrieb aus:

 

[gea]

Das QNAP TR-004 ist ein externes "Hardware Raid DAS" (individual, 0, Jbod, 5) das per USB angebunden ist. Für ZFS eigentlich suboptimal bis untauglich. Da möchte man eher ein externes Case das jede Platte einzel an ZFS gibt idealerweise per SAS. Eventuell leistet das der "individual mode". Raid-0 mode bedeutet dass bitrot Fehler mit ZFS entdeckt aber nicht repariert werden und beim Ausfall einer Platte alles verloren ist. Dann eher Raid-5 benutzen. Nicht so sicher wie ZFS Z1 aber besser als nichts. Auch Backup sollte halbwegs sicher sei. Ohne ZFS wird vermutlich ext4 genutzt (Ohne Copy on Write und Prüfsummen). Ein richtiges oder falsches Raid-0 gibt es nicht, nur ext4 oder ZFS jeweils mit den Features der Dateisysteme.

Mehrstufiges Backup durch Kopieren hat nichts mit ZFS zu tun. ZFS Copy on Write arbeitet viel fortschrittlicher und überschreibt keine Datenblöcke sondern legt die bei Änderungen immer neu an. Der alte Block wird freigegeben oder durch einen Snap geblockt. ZFS Snaps werden daher verzögerungsfrei angelegt unf blockieren nur den Platz der Änderungem zum vorherigen Snap. Damit kann man tausende Versionen haben. Ohne Datenänderung verbrauchen die keinen Platz und man hat jede Version im direkten Zugriff z.B. via Windows vorherige Version.

 

[Dunkeltier]

Naja, das Gehäuse erschien mir damals als die günstigste Lösung noch ein paar Festplatten zusammen zu schließen und darauf eine weitere Sicherung anlegen zu können. Hab zwar auch noch mein altes NAS (ein QNAP TVS-951X) hier stehen, was genau wie mein aktuelles ausschaut. Aber das will ich verkaufen. Hat auch nur eine 2-Kern CPU. Habe da gestern auch schon alle Laufwerke ausgebaut. Das alte NAS kann auch kein ZFS und hat auch keinen ECC-RAM. Also die zu mischen (z.B. 2x RAID 5 fahren), wäre genau so "wild".

 

[gea]

Ein Backup ist besser als kein Backup und ein Plattenverbund mit Raid-5 ist sicherer als eines mit Jbod oder Raid-0.
Mit kleineren Platten wäre es auch ziemlich unkritisch. Mit Multi-Terabyte und Systemen bei denen Daten bewegt werden, auch zu Backupzwecken spricht die Statistik dafür dass regelmäßig Fehler auftreten, entweder im Storage oder Backup oder beim Kopieren - daher ja ZFS.

 

[Dunkeltier]

Der hat seit gestern gerade mal 3.5TB von 24.5TB an Daten zwischen NAS und externer Backup-Einheit synchronisiert. Das kann ja noch Jahre dauern - also so 'ne Woche. -.- Ich weiß, dass das RAID 0 für die zweite Haupt-Sicherung nicht optimal ist. War aber wie gesagt damals eine Kostenfrage und ist zumindest besser als nichts. Die günstigste Änderung daran wäre das hier -> https://geizhals.de/qnap-expansion-unit-tl-d800c-a2264945.html?hloc=at&hloc=de für rund 450 Euro, die zweite Möglichkeit der (teurere) Austausch der HDDs gegen 4x 20TB zu je ~300 Euro (1200 Euro insgesamt). Ich denke drüber nach, vielleicht zu wechseln. Aber tendiere momentan eher zu 'nem "Nein".

oder

4x

Fun-Fact: Die 5. 12TB HDD für das RAID 5 habe ich sogar als Ersatz für das RAID 0 hier herum fliegen, die wird gerade Low Level formatiert.

Ich habe damals die echte (verpackte) Ersatz-HDD beim Umzug ins neue NAS gebraucht. Nach abgeschlossenen Umzug ist nun halt eine der gebrauchten die "neue" Reserve-Platte.

 

[Shihatsu]

Schmeiß das QNAP Geraffel weg und gut ist. Du willst Enterprisefeatures in einer tieferen Tiefe nutzen als es die Dinger hergeben...

 

[Dunkeltier]

Naja, das Zeug läuft aus einen guten Grund bei mir. Ich wollte so wenig wie möglich dafür ausgeben und mich damit beschäftigen. Auspacken, anschließen und es muss alles funktionieren! Zu einen großen Teil ist das ja auch der Fall. Und ab QNA oder SYNOLOGY war von jeher ja immer eine Glaubensfrage. Ich hatte mich für QNAP entschieden, weil deren Geräte häufig bessere Hardware (bzw. sinnigere Konfigurationen) besaßen und ich auch das Design ansprechender fand.

In der Prä-NAS-Ära lief bei mir ein selbstgebauter Mini-PC mitsamt einer solchen Konstruktion:

Fantec QB-X8US3R, USB-B 3.0/eSATA

Da könnt ihr euch ja ausrechnen, wie sicher und zuverlässig das war. Ich sag dazu nur, R-Studio war mein bester Freund bei der Datenrettung...

 

[Shihatsu]

Du dachtest das du nur benutzen willst. Aber du hast dich halt geirrt. Du bastelst die ganze Zeit - schau dir mal deine letzten threads an...

 

[Dunkeltier]

Was heißt denn, ich würde die ganze Zeit basteln? Eher das Gegenteil ist der Fall. Vor dem aktuellen NAS hatte ich ja den QNAP TVS-951X im Einsatz und hatte mir auch extra die Fernbedienung für den zugelegt. Der Witz ist, der kam tatsächlich nie wie ursprünglich geplant im Wohnzimmer zum Einsatz. Dafür habe ich gemerkt, das die zwei CPU-Kerne oft total ausgelastet und eigentlich zu wenig waren. Wenn man da halt ordentlich Backups drauf fährt und auch mal eine Viren- oder Dateisystem-Prüfung laufen lässt. Das Ding soll einfach nur die Daten sichern und auch deren Integrität sicherstellen können. Mehr will ich eigentlich gar nicht.

 

[Ceiber3]

Hast nichts falsch gemacht mit dem Qnap. Qnap mit Hero und ZFS ist eher Enterprise Software und nutzen auch Firmen.
Konnte man das QNAP TR-004 nicht in mehrere Modi benutzen ? Ich glaube als direkte Erweiterung für Qnap Nas und wie Gea geschrieben hatte als "DAS" Lösung. Sprich eignen Raid von der Box, dafür überall an jeden PC auslesbar. Raid erweitern dürfte eh nicht gehen, nicht ohne Grund gesperrt von Qnap. Aber kann man kein ZFS Raid auf die Box machen? Das sollte doch gehen?

DIP-Schalter für den Disk-Modus zum Wechseln von Hardware- und Softwaresteuerungskonfigurationen zum Festlegen der RAID-Gruppe.

Wegen dem Speed, der ist halt durch den USB Limitiert. Dafür ist das QNAP TR-004 auch echt günstig und recht universal einsetzbar.
Kumpel von mir hat eine 8 Bay Erweiterung für Qnap, die läuft aber über Thunderbolt und ist damit eine ganz Ecke schneller.

 

[Dunkeltier]

Ich bin ja momentan alle Daten am rüber schubsen. Und meine Fresse, dauert das lang. Da ich die externe Einheit ja auch noch an der Workstation ausprobieren will, versuche ich die Kopier-Aktion zu beschleunigen. Ich habe zuerst vom 5er RAID 5 Verbund synchronisiert, wie es ursprünglich später ja auch dauerhaft sein soll. Da dauert das Übertragen aber JAHRE. Dann habe ich es vom RAID 0 SSD Verbund versucht zu synchronisieren. Weil, kann ja schneller die Ordner und Dateien auslesen. Sollte immer noch Jahre dauern. Jetzt gerade versuche ich es erst mal alles zu kopieren ohne eine Integritätsprüfung, und naja. Geht etwas schneller. Statt mit 4-5MB/s bin ich jetzt mit rund 100MB/s unterwegs. Ich bekomme hier wirklich noch die Krise. Glaube, ich mache jetzt gleich einen cut und schmeiß das Ding direkt mal an die Workstation. Daten sind ja schon genug drauf.



Hoffentlich lässt sich auch der ZFS-Speicherpool ohne NAS ansprechen. Sonst kann ich alles wieder platt machen.

Beitrag automatisch zusammengeführt: 22.08.2023

Ich glaube, ich kann den ext. ZFS-Speicherpool auflösen... Ist am PC (der Workstation) nicht lesbar, falls mal das NAS abrauchen sollte. Das war ja meine initiale Frage und auch Befürchtung. Und die dürfte hiermit beantwortet und bestätigt sein. Also, wer mal eine ähnliche Konfiguration wie ich bastelt...

 

[andrer250282]

Es gibt ein Windows ZFS Projekt... Da Windows nativ nichts mit ZFS anfangen kann brauchst du Natürlich so was.

Ansonsten... Kommt halt arg auf die Daten an. Ich hab einen 112TB Pool mit Millionen kleiner Dateien a rund 100KB

Den per ZFS send zu senden dauert auch ewig trotz 10G Verbindung

 

[Dunkeltier]

Wie kann man das beschleunigen? Mehr RAM, noch dickere LAN-Leitung, besseres NAS (stärkere CPU)? ZFS für Windows hört sich für mich alles irgendwie noch irgendwie unfertig und "Beta" an: https://www.pro-linux.de/news/1/25906/zfs-für-windows-wird-stabiler.html

/edit: Diesmal hoffentlich die richtige Entscheidung...

 

[andrer250282]

Nochmal: was für Daten sind das? Je mehr kleine Dateien desto weniger kannst du da wirklich gegen tun.

 

[Dunkeltier]

Nochmal: was für Daten sind das? Je mehr kleine Dateien desto weniger kannst du da wirklich gegen tun.

Einfach Alles. Alle Spiele, alle MP3s, alle Bilder, alle Dokumente, alle "Urlaubsfilme".

 

[Dunkeltier]

Sodele. Der erkennt auch die von Linux erstellte ext4 Partition nicht? Schaut momentan nämlich so aus:


Werde die externe Einheit dann wohl noch mal unter Windows formatieren und dann zurück ans NAS hängen. Hoffentlich läuft es dann. Eigenartigerweise erkennt auch die QNAP-Software das Teil nicht.


/edit: Ah lol, es gibt den JBOD und den RAID Manager in absolut ähnlicher Aufmachung! -.-

 

[gea]

Jedes Betriebssystem unterstützt zunächst nur seine Standard-Dateisysteme. Weitere Dateisysteme können teils mit zusätzlichen Treibern genutzt werden. Das betrifft unter Windows sowohl das Linux Dateisysten ext4 wie auch das Unix Dateisystem ZFS. Lediglich fat, ntfs und Refs werden direkt von Windows erkannt.

Man braucht auf dem Desktop also Dateisystemtreiber oder ein anderes Betriebssystem.

 

[Ceiber3]

So schauts aus. EXT wird glaube recht schwer unter Windows, für ZFS gibt es ein Plugin. "Pre-release" "OpenZFS" Wenn du weißt wie der Pool heist auf den externen Gehäuse, kannst du den mit cmd und zpool Import, importieren und wird als normales Windows Laufwerk ausgegeben. Beschreibung über ZFSin findet du hier "Klick mich", da gibt es auch ältere Versionen von 2020, die habe ich früher mal getestet. Würde aber eher die neueren Versionen im ersten Link nutzen/testen.

 

[Dunkeltier]

Habe ja leider den ZFS-Speicherpool schon wieder platt gemacht. Und bin das Teil gerade das dritte oder vierte mal neu mit NTFS am aufbauen. Mit Treibern oder so mag ich nicht großartig hantieren, im absoluten Notfall will ich da schon sofort irgendwie mit meiner Workstation oder dem Mini-PC lesend/schreibend drauf zugreifen können. Viele der Treiber können in der Free-Version auch nur lesend Zugriff bieten, kaufen müsste man die auch noch. Wie den Linux Reader Pro. Und naja, das ist halt wieder alles Gebastel. Ich bin eigentlich aus dem Alter langsam raus, bei mir sollte alles am besten out of the box laufen. Ohne viel Gefrickel.

Allein das man da VMs erstellen muss bei deiner Verlinkung ist für mich schon ein no go.

Auch wenn ich dann sowas lese wie das man nicht direkt damit arbeiten kann, schreckt mich das eher ab: "Linux Reader bietet keinen Zugriff über einen Laufwerksbuchstaben. Stattdessen handelt es sich um eine separate Anwendung, die Sie zum Durchsuchen Ihrer Linux-Partitionen starten. Dank der äußerst benutzerfreundlichen Oberfläche finden Sie immer leicht gesuchte Dateien, da davon eine Vorschau angezeigt wird. Wenn Sie mit einer Datei in Windows arbeiten möchten, müssen Sie die Datei mit der Option "Speichern" auf Ihrem Windows-Dateisystem speichern. Sie können auch ganze Dateiverzeichnisse speichern."

Das ist für mich halt alles umständlich und nicht praktikabel im Sinne von Plug & Play.

 

[Dunkeltier]

Kurzes Zwischen-Update:

1.) Die Daten sind soweit drauf, ich versuche gerade alles noch durch-zu-synchronisieren und Ordnermäßig auf den aller-aktuellsten Stand zu bringen. Mein großes Problem dabei sind die Alt-Dateien. Die werden bei einer Ein-Wege-Synchronisierung ja nicht gelöscht, und bei einer Zwei-Wege-Synchronisierung habe ich im NAS keinen Zugriff auf die Option Ordner auf dem Ziellaufwerk vom Löschen auszuschließen. Wie bekomme ich das am besten hin mit QNAP-NAS Software & Apps?

2.) Zweites Problem sind dann noch die ganzen anstehenden Firmware-Updates der HDDs von V2 auf V4. Ich will die alle updaten, ohne jede einzelne HDD aus dem Träger schrauben und anschließen zu müssen. Gibt es da nicht einen einfachen Klickbunti-Weg unter Linux? 9x HDDs an der Workstation durchzujagen ist für mich wieder ein verlorener Nachmittag.

3.) Die anstehende Prüfung als externes Laufwerk der Erweiterungs-Einheit steht ja auch noch aus.


Damit er mir auf dem Netzlaufwerk "Speicherplatz" nicht meine geile Porno-Sammlung, die geile, wegholzt - bin ich dort jeden Ordner einzeln am synchroniseren. Ich will zukünftig nur noch auf's Netzlaufwerk "Backup" bestehend aus den zwei NVM-SSDs draufholzen, von da aus soll der NAS auch weiter auf den Speicherplatz und dann auf die externe Einheit schieben. Die ja zusätzlich noch zusätzliche Ordner und Daten beinhalten.




Ich bin am überlegen, das (also den Speicherplatz und die TR-004 Einheit) mit Hilfe der Workstation einmal zu bereinigen. Aber das wäre ja keine Dauerlösung.