OMV - Der richtige weg

[WeissNichtAlles]

Hallo und Guten Abend zusammen,

Ich bin jetzt schon 3mal daran gescheitert meine Daten sauber auf mein NAS zu bekommen.

Nun möchte ich mal von euch wissen wie der richtige weg ist das Tutorial von OMV kenne ich aber es gibt mir leider keine auskunft darüber wie der aufbau des Software Raids am sinnvollsten ist.
Ich möchte gerne mit SnapRaid und MergerFS arbeiten dazu habe ich teilweise meine Platten schon Konvertiert in das BTRFS System. Eine Davon über das Github Tool NTFS2BTRFS.

Mit welchem Programm oder Tool soll ich die Festplatten am besten Formatieren? (Gparted/OMV integriertes tool/Linux)

Wie sieht der aufbau von Snapraid und MergerFS am sinnvollsten aus? Meine Letzte Konfiguration war folgende:
-Laufwerke gemounted unter Laufwerke
-Snapraid alle Festplatten eingebunden 6X Speicher 1x Parity 1xVerzeichnis(Content)
-Leider war unter diesen umständen kein Sync oder andere funktionen möglich (Fehler man braucht zwei Verzeichnis/Content platten)
-Also eine weitere Datenplatte zum Verzeichnis/Content hinzugefügt selbes Problem....
-MergerFS hat bis zu einem gewissen Punkt schön verteilt und irgendwann das ganze nicht mehr durchgezogen weil angeblich irgendwelche Dateien keinen Zugriff zugelassen hatten.

Nun kopiere ich meine kompletten daten wieder auf eine externe HDD und will von vorne anfangen. Wie mach ich´s richtig?

Grüße WNA

 

[pwnbert]

Ich versteh nicht ganz, du kannst doch auf OMV einfach ein Raid 5 erstellen?

 

[WeissNichtAlles]

Dann kann ich aber keine weiteren festplatten hinzufügen, Desweiteren wird Raid5 unter BTRFS nicht vollständig unterstützt und ZFS kann keine HDD erweiterung....

 

[Rarity]

Frage etwas off-topic ... aber aus reiner Neugier:
Um wie viel Speicherplatz (Bedarf/welche Datenträger) handelt es sich denn bei Deinem SnapRaid/MergerFS Projekt ?

 

[Supaman]

Ich würde gerne noch weiter zurückspulen... was ist der geplante Anwendunsgzweck von dem ganzen?

Ev. ist OMV oder die von Dir anvisierte Konstellation auch einfach die falsche Wahl.

 

[sandreas]

ZFS kann keine HDD erweiterung....

Doch...
Aber ob das schlau ist, ist eine andere Frage.

 

[WeissNichtAlles]

Also mein NAS soll als Datengrab und Medienbrücke agieren Endspeicherkapazität soll bei 114,8 TB liegen (+Parity 16.4TB) ich habe mich bewusst für SnapRaid entschieden weil bei Streamen von Dateien nur die jeweilige Festplatte benutzt wird auf der die Datei liegt.

Ich möchte in Zukunft aber gerne noch ein wenig mit Docker containern arbeiten wie z.b HomeAssistant....

 

[gea]

Meine Meinung
-Daten können garnicht so unwichtig sein oder die eigene Zeit sowenig wert, dass ich auch nur eine Millisekunde zögern würde, Echtzeit Redundanz oder ausgiebige Snapversionierung nicht zu nutzen um stattdessen auf Backup/Restore (Backup nie aktuell, Restore dauert ewig, ohne Prüfsummen keine Garantie dass Daten ok) zu setzen!

-Btrfs Raid-5 gilt als buggy
Mit einer der Gründe warum z.B. Synology btrfs mit klassischem Linux Raid kombiniert, wohl wissend/verschweigend dass man damit das Killereaspekt "Selbstheilendes Dateisystem" nicht nutzen kann

-klassisches Raid-1/5/6 ist eh unsicher weil
ein Bad Sektor in einem degraded Raid-5 bedeutet meist Array Lost
es gibt keine Garantie dass ein Crash bei Schreiben zu einem nur teilweise geschriebenem atomaren Write oder Raid-1/5/6 Stripe führt
dazu braucht es die Kombination von Prüfsummen auf jedem Datenblock mit Copy on Write wie bei ZFS

- Stromsparen ist das einzige Argument dagegen aber auch da gibt Lösungen wie Disk Sleep, Hot Data/ Tiering auf SSD oder einfach ein kleines Balkonkraftwerk. Auch hilft es die Kiste nur anzumachen wenn mans braucht.

btw
Raid-Z Expansion ist im aktuellen Open-ZFS enthalten, wird nach und nach in allen Distributionen erscheinen - ist aber nicht abwärtskompatibel!

​

 

[Supaman]

Also mein NAS soll als Datengrab und Medienbrücke agieren Endspeicherkapazität soll bei 114,8 TB liegen (+Parity 16.4TB)

Ich möchte in Zukunft aber gerne noch ein wenig mit Docker containern arbeiten wie z.b HomeAssistant....

In den Dimensionen würde ich einen dedizierten Filer aufsetzen - mit welcher Technologie und Netzwerkanbindung auch immer - und eine 2te Instanz für Dienste aufsetzen (Docker, Medienserver etc).

 

[craxity]

@gea Deine Obsession für Redundanz und Versionierung ist ja schon pathologisch 😂

 

[WeissNichtAlles]

Okay jetzt haut ihr aber mit Fachbegriffen um euch mit denen ich so noch nichts anfangen kann.

 

[gea]

Einfach Fragen (was, warum, weshalb)

 

[WeissNichtAlles]

Also die Frage die ich mir stelle wie ist jetzt die richtige vorangehensweise für die installation des Raids?
Schritt 1: Womit formatiere ich jetzt am besten die HDDs?
Schritt 2: wie konfiguriere ich SnapRaid am besten? Aufstellung- HDD1-7 reine Daten HDD 8 Parity und wo verteile ich den (content/Verzeichnis)?

 

[Rarity]

@WeissNichtAlles: Ich kann Dir leider nur für Schritt1 Tips geben, für Schritt2 habe ich Info im Netz gefunden.
(verwende selbst kein OS/FS welches mit Funktionsprinzip JBOD+Paritätsplatte arbeitet, sondern nur Raid's/RaidZ's)

Da Du wie oben von Dir angegeben, *unbedingt* mit SnapRaid/MergerFS basteln möchtest und Priorität auf Richtung geringer Energieverbrauch (only needed HDD spun up) festgelegt hast:

Utility-Programm für Partition/Format/mkfs: nimm eines von einer aktuellen Distro, welches Dir am besten gefällt.
Partitionen: wahrscheinlich 1 pro Datenträger
Dateisystem: Btrfs- oder ZFS (wegen: Prüfsummen, Daten-Komprimierung, COW), anderes FS eher nur bei speziellen Anforderungen.
Optional: *Vor Erstellung der Dateisysteme* überlegen, wie deren evtl. Fine-Tuning aussehen soll

• logische Dateien-Zusammengehörigkeit
• Zugriffsverhalten (selten/oft angefragt)
• Änderungs-Wahrscheinlichkeit (read/write %, COW gewünscht ja/nein)
• Dateityp (Kompressions-Algorithmus, typ. Blockgröße)

(hier würde dann Schritt 2 anschließen)
2a) Anzahl empfohlener Parity-Platten siehe https://www.snapraid.it/faq#howmanypar. Die FAQ ist informativ+lesenswert.
2b) Anscheinend benötigt man mind.(?) 3 Content-Files und viele Benutzer speichern diese auf Ihren Datenplatten (in der regulären Daten-Partition).
>> Zitat von user muxman (Reddit-Forum/2024)
>> I have 6 data disks. 1,2 & 3 have content files on them. I'm going to be adding a few more disks soon and I'm not going to add any more content files.
(Quelle: https://www.reddit.com/r/Snapraid/comments/1aynjnw/content_file_on_every_disk_vs_just_a_few/)

Hoffe Du kannst Deinen "Build" anhand dieser Informationen realisieren.
Danach bleibt nur zu hoffen, das Murpy's Law nicht zuschlägt (!)

~Rarity~

Änderungen:
Antwort bzgl. Format-Utility-Programm eingefügt.
Hinweise+Quellen von Anzahl SnapRaid-Content-Files angehängt.

 

[Rarity]

https://www.snapraid.it/manual , Punkt 4: "Getting Started" erklärt das mit den Content-Files auch brauchbar.

 

[WeissNichtAlles]

Guten Abend zusammen, ich habe es mit eurer hilfe soweit zum laufen gebracht das mein NAS läuft.

Folgende dinge sind jetzt installiert und funktionieren:

• OMV-Extras
• Proxmox-Kernel
• Snapraid
• MergerFS
• SMB
• OMV-Backup
• Fail2Ban
• ClamAV
• FlashspeicherMOD
• Sensor Bibliothek

Nun steht das Docker Compose an habt ihr da irgendwelche erfahrungen/Tipps


Grüße WNA

 

[WeissNichtAlles]

Hallo habe jetzt mal Paperless-ngx installiert bekomme es auch gestartet aber ich kriege es nicht hin mich Anzumelden oder diesn Createsuperuser zu aktivieren.Jemand Tipps?

Beitrag automatisch zusammengeführt: 05.08.2024

Hat sich erledigt hab es hinbekommen die Lösung
Terminal via SSH
eingeben -

docker ps

suchen des Richtigen webservers, in meinem falle

paperless_ngx-webserver-1

Kopieren
und dann hinter

docker exec -it "einfügen" bash

dann sollte eine verbindung zum Docker container des webservers aufgebaut werden. Danach folgende Zeile eingeben:

python3 manage.py createsuperuser

Fertig

Ich muss schon sagen ist ne steile Lernkurve das ganze Linux Universum. Es ist zwar vieles einfacher geworden aber an der simplicity von Windoof kommt es leider einfach noch nicht ran.