Haupt- und Netzwerkspeicher (privat). Architektur? Strategien?

[Uhrzeit]

Grüß euch.
Da wir uns in den letzten Jahren digital 2x fast getötet hätten wird das diesjahr ernst angegangen. Fragen bezüglich HW gibts eigentlich keine. Die steht soweit bzw. ist zu "90%" auch schon da. Wobei ich seit den letzten Unterhaltungen hier im Forum einiges wieder umgeworfen habe. Nun steht aber alles fest.
Gefragt ist eure Meinung bezüglich der "Methodik".

Was es gibt:
Einen Officerack wo das alles seinen Plaz findet und eine ausreichend große USV.
Es gibt ein 4x 4TB Qnap in Raid5/Ext4. Sozusagen das Brot&Butter NAS/Datensilo. 24/7, aber auch mit Ruhezustand (Spindel aus). Ohne Zugriffe geht es irgendwann nachts aus, der erste macht es dann wieder an.
Können muss das Teil außer reines Netzstorage zum Glück nichts. Die Clients kümmern sich entweder selbst um die Verarbeitung und Übersicht oder der Zugriff findet sonst ganz klassich über eine Dateiauflistung statt. Die Ordnerstruktur gibt das mit der Übersicht ausreichend gut her und alle halten sich auch brav an die Richtlinien 😉
Inhalte des Qnaps ist Media aller Art und jedwede Art von "Dokumenten" auf die meistens zugegriffen wird oder meist zuerst.

Es gibt ein 8bay 2HE 19" wo XigmaNAS drauf soll. Das soll mit 8TB Platten laufen.
- Gedacht ist das zuerst so, daß auf den ersten 4bays Pool1, außer der 1:1 Kopie vom Qnap, alle sonstigen Sachen ebenfalls liegen + auch die lebenswichtigen Archive.
- Die wirklich lebenswichtigen und auch persönlich sehr wichtigen, sind dann zusätzlich auf einer 8TB Seagate Archive, extern, in der Schublade. 8TB reichen hier für diese Art von Daten aus.
- Auf den anderen 4bays soll Pool2 als Kopie von Pool1 liegen. Pool1 wäre meist an (muss/soll aber nicht gleich 24/7), Pool2 wäre auf den Monat gesehen eigentlich meist offline und down.

Von der Nutzung her also wäre der Qnap täglich in irgendeinem Zugriff, Pool1 spontan paar wenige Male pro Tag + Sync vom Qnap, Pool2 wollte ich eigentlich nur alle 2 Wochen anwerfen (?) Die Daten ändern sich nicht so signifikant, daß ein Sync z.B. 1x am Tag passieren müsste. Zweitens behalten die Clients (bis auf Media) vieles von dem für sie aktuellem, auch auf den eigenen Speichern.
Wenn der Qnap mal "explodieren" sollte, sollen alle auf Pool1 umsatteln und erstmal weiter machen wie gewohnt. Ich würde die Pools wegen der Effizienz eigentlich am liebsten als Z1 fahren. Bin aber auch am überlegen, ob 4 Platten/Z1 wirklich effizient wäre...

Leistung ist eher zweitrangig. Das Netzwerk ist 1Gbit über einen guten Switch und alles was >80 MB/s geht ist eh schnell genug. Die Boards an sich kriegen sonst 100 MB/s schon hin. Die ZFS Hardware sind 32GB 1600 ECC, E3-1265L v2, X9SCL+-F, Broadcom 9207-8i (2308) mit Fw P20.07 im IT-Mode.
Was noch nicht geordert ist sind die 8TB Platten und (doch noch nicht, obwohl die Wahl feststeht) das 19" Gehäuse.


Eure Meinung zu dem Ganzen und auch schonmal vielen Dank für alles konstrukitve.

 

[Gen8 Runner]

Von was sprechen wir hier? Privatbereich oder Produktivsystem, mit dem ihr euer täglich Brot verdient?

Ich sehe hier erstmal folgende Problem:
Es liest sich so, als wäre alles gemeinsam in derselben Hütte untergebracht. Spricht QNAP, XigmaNAS soll auch, Clients ebenfalls und auch die Festplatte für das Notfallbackup. Was ist, wenn die Bude abbrennt, absäuft (Wasserschaden woher auch immer), spontane Eigentumsübertragung stattfindet? Dann ist mit großer Wahrscheinlichkeit alles weg. Denn Elektronik lässt sich hervorragend beim großen Auktionshaus verkaufen.
Bilderbuchmäßig war dieses Szenario auch vor wenigen Tagen im Rechenzentrum von OVH eingetreten, wo wohl auch einige Firmen alles auf ein Pferd (Standort) gesetzt hatten: Die Daten sind WEG! Gerne einmal nach Googlen, wer hätte es bei einem Rechenzentrum (!) gedacht, dass die Daten dort flöten gehen können? Wo die doch mit Notstrom, Brandmeldeanlagen, CO2 Anlagen und zig anderen Sicherheitssystem NOCH und NÖCHER abgesichert sind?
Selbiges beim Blitzschlag. Wenn der reinhaut, hat euer QNAP fertig, der erste Pool von XigmasNAS, der zweite Pool von XigmaNAS und mit Pech auch noch die Festplatte im Schreibtisch.

Daher sähe ich es für sinnvoller an, wie folgt:
- QNAP behalten und nutzen, wie ihr es tut
- XigmaNAS Pool 1 einrichten, wie gedacht, sodass dieses im Gau direkt einspringen und sofort die Arbeit übernehmen kann...Ruhig auch täglich syncen lassen (oder frisst das so viel Strom?)
- XigmaNAS Pool 2 entweder physisch komplett auslagern (sprich: Komplett anderen Standort, weit weit weg und bspw. per VPN miteinander verbinden und syncen lassen)
- ODER: Pool 2 komplett kneifen, dafür XigmaNAS Pool 1 in den Dauerbetrieb versetzen und alles per Sync zu einem Backup-Dienst (bspw. Backblaze) auslagern. Damit wäre das Thema dann auch durch und sicher, denn die Wahrscheinlichkeit dass euer Haus / Büro oder was es auch ist UND das Rechenzentrum von Backblaze zum selben Zeitpunkt die Hufe hochreißt, ist äußerst gering.

Und gerade wegen der Verschlüsselungstrojaner:
- Gerne auch mal ein Offlinebackup klassisch auf Festplatte ziehen und abgestöpselt lagern (also quasi wie jetzt)
- Und: SNAPSHOTS, SNAPSHOTS, SNAPSHOTS! Davon kann man NIE genug haben

Hardware liest sich für XigmaNAS gut.

 

[Uhrzeit]

Ich hab mal von unserem Lieferanten zum Einkaufspreis (vom Arbeitgeber abgesegnet) einen Honeywell 1104G bekommen. Ehrlicherweise verstaubt das seit paar Jahren auf dem Dachboden. Ich kann die 8TB Archive (oder 2 davon) da reinpacken, wenn du meinst, das würde schon Sinn machen. Die muss ja nicht in der Schublade liegen. Der kann auch bei Eltern oder Schwiegerletern (oder Schwager) auf den Dachboden. Das wäre alles machbar.
Das mit OVH ist bekannt. Alles gut.

Bisschen Überspannungsschutz gibt die Hausinstallation schon her. Das hat aber mehr Gründe als nur die Storages. Wir kaufen uns z.B. SEHR selten neue Elektronik, aber wenns mal wieder soweit ist, ist das eher im Topsegment angesiedelt.

Von dir aus also ist das erstmal soweit nicht gleich völliger Blödsinn? Liest sich so zuerst. Wäre schonmal gut. Übrigens krieg ich die Honeywells noch zu guten Konditionen. Ich kann mir auch eine zweite solche Box besorgen, die Bays des Pool2 durchnummerieren und sie nach dem Sync mit Pool1 immer rausnehmen und da deponieren.

Allgemein ging es mir aber um die Grundidee dazu. Und die Beurteilung der Durchführbarkeit. Oder, Sinnhaftigkeit...
Sowas wie Qnap mäusetot, Pool1 übernimmt, ist auch nicht in 10min. erdacht. Da muss man schon vieles mit bedenken. Auch für die Hilfe da den korrekten Weg zu finden, wäre ich allen dankbar.

Den Schutz selbst bau ich aber nicht noch weiter aus. Irgendwannmal fängt man an sich Gedanken zu machen im welchen Raum genau im Keller man das lieber platzieren sollte, weil wenn eine echte Flut kommt während ein Blitz exakt in den Hausanschluss ballert, wobei die Feuerwehr eh schon unterwegs ist, weil der Adventskranz grad das Wohnzimmer abfackelt... Irgendwannmal ist es halt gut.
Die bisherigen Fälle resultierten alle aus dem Totalversagen der Geräte/Medien.

Trojaner sind in der Tat ein Thema. Was es wenigstens kleinwenig entspannt, ist, daß alle hier an einem Sonntag nach einer langen Diskussion doch zu dem Ergebnis kamen, daß wir eigene Cloud nicht brauchen. Diese Infrastruktur ist und bleibt also nach außen taub und von außen stumm.

Den Türsteher spielt ein R210II mit 16GB und E3-1220L v2 auf dem *Sense + paar Erweiterungen laufen wird (ist in der Inbetriebnahme). Das ist stark genug um außer VPN (was wir halt nicht brauchen), 1Gbit auch bei mehreren Clients zu machen. Mit AES-Ni beim Stack wäre es auch das.
Die wird grad nach Möglichkeiten nach und nach so konfiguriert, daß sie nicht nur IDS, sondern auch EDS brauchbar kann. EDS, ist Extrusion Detection System
Bin grad noch mit paar Leuten am quatschen wie gut sich verhindern lässt, daß ggf. eine Infektion keine weiteren Module nachlädt. Das ist aber ein völlig anderes Thema als das hier.

Gemeinsames mit Schreibrechten für alle, darf übrigens nur ein Duplikat des Eigenen sein. Wenn jemand sein/ein Material dahin kopiert, dann hat das auch eine Kopie zu sein (also nur copy, kein move von egal wo). Momentan wüsste ich NOCH nicht wie so ein Client das ganzen Storage in die Luft jagen könnte (Trojaner). Ohne eigene Passwörter läuft eh nichts und die Schulung über deren Erzeugung lief auch schon

 

[sch4kal]

So viele Gedanken um einen privaten Storage machen sich nichtmal manche KMUs. Da wird das Zeug auf die QNAP abgelegt und mit Glück ist da dann noch ein Backupjob zur Dropbox/S3/Glacier eingerichtet.

 

[gea]

Verstehe ich das jetzt richtig?

- Als aktiver Filer für aktuelle Daten wird das Qnap mit Raid5/ext4 genutzt also ohne Prüfsummen, Snaps und Crashsicherheit.
- Ab und an macht man Backups auf ZFS, eventuell nochmal auf einen zweiten Pool, eventuell mit Snaps

Das heißt doch: Das Backup ist viel schneller und viel sicherer als der Primärstorage. Bitrot Fehler und sonstige Datenprobleme werden nicht erkannt und landen dann auf dem sicheren ZFS das dann diese kaputten Daten sicher schützt? Klingt nicht nach einem guten Plan.

Der Primärstorage sollte eigentlich immer das sicherste sein, also ZFS, mit sehr guter Redundanz (2 beliebige Platten dürfen ausfallen, Z2). Darauf dann eine gute Snap-Historie z.B. alle 15 Minuten aktuelle Stunde, jede Stunde aktueller Tag, Jeden Tag aktuelle Woche, jeden Sonntag aktueller Monat, jeden Monat aktuelles Jahr etc. Diese Snaps sind readonly und Ransomware sicher.

So ein Storage wird bis auf den Disaster Fall (Feuer, Blitzschlag, Diebstahl, Amok Hardware) die Daten und die Vorversionen extrem zuverlässig bereitstellen. Ich habe jetzt ZFS mit einem guten Dutzend Filer seit 2008 im Einsatz. Ich habe 3 Backupserver, habe die aber noch nie benötigt. ZFS und Snaps waren bisher immer ausreichend.

Für diesen Disasterfall dann Backups machen, zur Not auf das "unsichere" Qnap, besser wäre ein externer ZFS Pool (zweiter Server, herausnehmbare Platten) weil man dann mit ZFS Replikation sichern kann. Das ist viel schneller, viel sicherer und man kann auch auf dem Backup Snaps halten. Auch kann man das Backup ZFS verschlüsselt sichern.

Zugriff auf die Snaps per Windows und "vorherige Version". Bei Solaris/OmniOS und dem in ZFS eingebauten SMB Server klappt das automatisch und immer, bei SAMBA als SMB Server das ja nichts von ZFS weiß muss man bei der Konfiguration aufpassen.

Als Backup Alternative kann man auch einen deutschen Provider suchen, der für wenig Geld S3 kompatiblen Storage anbietet. Darauf kann man auch clientverschlüsselt die lokale Platte syncron halten. Das ist sicher und DSGVO konform und zumindest eine Extra Option.

 

[Uhrzeit]

Ja... Da ist was dran. Umgekehrt rum aufziehen und den Qnap eher als ein drittes Standbein nutzen... oder als fünftes Rad am Wagen...😶

Da es sonst brauchbar tat/tut was es soll ist mir das bisher noch zu schade gewesen es abzustoßen 😒 Andererseits reizt natürlich auch der Stromverbrauch.

Ich hatte bis diesjahr, 20 Jahre keine ECC PCs und zwischen w2k und Win7 keine einizge kaputte Datei mit NTFS. Nur diesbezüglich kaputte HW. Ich glaub ich sehe das daher noch zu entspannt mit dem Storage 🤪Ich werde das mal überdenken.
DANKE.

 

[Gen8 Runner]

Und ich hatte einmal einen bitrot und möchte diesen nie wieder haben.
War zwar in Jugendzeiten, wo man gottseidank noch keine wichtigen Dokumente nur noch digitalisiert hatte, aber da ich auch damals die Strategie fuhr: "Backup braucht keine Sau", bekam ich die Rechnung.

Sehr viele Erinnerungen in Form von Fotos waren unbrauchbar. Nur noch schwarze und bunte Blöcke.

Und da du (einen Teil) der Hardware ja eh schon hast: Egal um den Stromverbrauch. Der Filer in deiner Kombination bräuchte ~50 Watt geschätzt. 120€ Stromverbrauch im Jahr, selbst bei 24/7...nen Zehner pro Monat.

 

[gea]

Ich hatte bis diesjahr, 20 Jahre keine ECC PCs und zwischen w2k und Win7 keine einizge kaputte Datei mit NTFS. Nur diesbezüglich kaputte HW. Ich glaub ich sehe das daher noch zu entspannt mit dem Storage 🤪Ich werde das mal überdenken.

Was ich nicht weiß, macht mich nicht heiß..

NTFS und ext4 haben keine Prüfsummen und können daher gar nicht feststellen ob eine Datei defekt ist. Man merkt das allenfalls an Datenveränderungen (Programme stürzen ab, kaputte Bilder etc). Hinzu kommt dass Fehler eine statistische Wahrscheinlichkeit haben. Bei einem 1TB Laufwerk sind die Fehler 1000x wahrscheinlicher als bei einem 1GB Laufwerk. Gleiches beim Ram. Je mehr man davon hat desto eher braucht man ECC. Bei 1M RAM waren Fehler selten, bei 32 GB sieht das anders aus.

 

[i-B4se]

Ich finde es immer wieder erstaunlich wie Leute mit Firmen- und/oder Kundendaten umgehen.
Selbst meine Daten, die nur für den privaten Gebrauch sind, werden alle zwei Tage auf einen zweiten NAS gespeichert und jeden Sonntag verschlüsselt in die Cloud übertragen.
Zu sagen, das bisher noch nie etwas passiert ist, ist einfach falsch

 

[Uhrzeit]

(boah so keinen Bock immer mit diesem völlig irren Texteditor dieser irren Forensoft... Ich meld mich noch, wenn ich mich beruhigt habe. Sorry)

edit:

Zu sagen, das bisher noch nie etwas passiert ist, ist einfach falsch

Ich nehme an du meinst jetzt nicht mich (?) Oder war da noch was unklar im letzten Beitrag?

@gea
So einfach wird das mit dem statistischen Fehler wohl trotzdem nicht sein. Wenn 1GB 2021 genauso sicher wäre wie schon 2002, würden - bei der Steigerung der "Menge" - heutige Foren nur noch aus Hilferufen wegen korrupter Daten bestehen.
Soweit sind mir die Vorzüge vom ZFS aber bereits klar. Sonst würde sich so ein Thread erst garnicht ergeben