Wechsel von Proxmox zu Unraid

[Jenni]

Hallo zusammen

kurz zu meinem System

Proxmox

Core(TM) i3-9100F CPU
32 GB ECC-Ram
WD-RED 6TB
2x WD-RED 3 TB



LXC Container:

• Ngnix Proxi Manger
• Bitwarden
• Nextcloud
• PIHole
• 4 WordPress Installationen

VMs

• IoBroker
• TrueNas

Proxmox BackupServer

HP Microserver Gen 8
WD-RED 14 TB



Die WD-RED 6 TB und zweimal WD-RED 3TB werden an TrueNas durchgereicht hier liegen meine Netzwerkfreigaben,

Alle Container und auch die VMs werden alle zwei Tage auf den Proxmox-BackupServer geschoben das funktioniert auch alles sehr gut.

Was mich nur stört ist das hier immer die Kompletten WD Reds vom TrueNas auf den Backupserver gezogen werden beim Backup und nicht die einzelnen Files.

Ich dachte mir jetzt, wenn ich Unraid verwenden würde und als Parity die 6 TB nehmen und die zwei anderen 3TB plus 2x 1,5TB (hab ich hier noch rumliegen) in Unraid einsetzen würde, könnte ich die Freigaben über Unraid machen und könnte auf TrueNas verzichten.

Und nur die Daten in den Freigaben werden gesichert.



Meine Fragen wären jetzt:

• Kann ich den Proxmox BackupServer für Backups verwenden (ich finde den Klasse)
• Kann ich in Unraid auch sehr schnell

• Ngnix Proxi Manger
• Bitwarden
• Nextcloud
• PIHole
• 4 WordPress Installationen
• einrichten und diese auch regelmäßig Backupen

• Sind Snapshots wie unter Proxmox möglich bei den VMs

Dies Punkte wären mir sehr wichtig, wenn das nicht geht muss ich mit Proxmox weiter arbeiten, schonmal vielen Dank für eure Hilfe

 

[Trambahner]

"Komplette HDD" als Backup?

Arbeitet Proxmox nicht mit inkrementellen Snapshots und ZFS send/receive?

 

[hominidae]

• Sind Snapshots wie unter Proxmox möglich bei den VMs

Dies Punkte wären mir sehr wichtig, wenn das nicht geht muss ich mit Proxmox weiter arbeiten, schonmal vielen Dank für eure Hilfe

...Nein, geht nicht !

 

[Jenni]

"Komplette HDD" als Backup?

Arbeitet Proxmox nicht mit inkrementellen Snapshots und ZFS send/receive?

Das erste mal muss die komplette Platte gesichert werden danach geht es klar schneller.
Trotzdem wenn auf meiner 6 TB Platte nur 4 TB Daten sind schiebt er beim ersten Mal trotzdem die 6TB rüber

Beitrag automatisch zusammengeführt: 16.10.2021

...Nein, geht nicht !

Shit, und der Rest würde aber gehen?

 

[Trambahner]

ZFS send/receive schiebt bei vollen Snapshots, ohne Inkrementell, grundsätzlich nur die belegten Blocks rüber.

Dann versteh ich das Proxmox Backup-Konzept nicht ( gut, ich kenne Proxmox auch nicht sonderlich gut; mit dessen Backup hab ich mich noch nie beschäftigt).
Verwendet das nicht Snaps mit send/receive?

 

[hominidae]

Shit, und der Rest würde aber gehen?

Meine Fragen wären jetzt:

• Kann ich den Proxmox BackupServer für Backups verwenden (ich finde den Klasse)

Kenne ich nicht...unRaid selbst hat kein Backup-"Konzept" oder -Werkzeuge.
Typisch ist, Daten via rsnc oder mittels eines Backup-Utility (ein Docker, wie Luckybackup) auf eine externe Platte oder Share bzw Netzwerklaufwerk zu ziehen/zu schieben

• Kann ich in Unraid auch sehr schnell

• Ngnix Proxi Manger
• Bitwarden
• Nextcloud
• PIHole
• 4 WordPress Installationen
• einrichten

Ja...und auch iobroker gibt es als Docker (VM geht natürlich auch).
,

• und diese auch regelmäßig Backupen

Siehe meine Ausführung zum Thema BAckup oben.
Standard für Docker in unraid ist, dass alles/Daten ausserhalb der Anwendung im Docker selbst, die ein Docker "ansammelt" oder nutzt in einem extra share oder in einem eigenen Verzeichnis des unraid shares landen.
Damit diese erhalten bleiben können, wenn der Docker geändert/ge-updated/oder gar gelöscht wird
Das musst Du mit dem Mittel Deiner Wahl backup-en.
Beispiel: pi-hole...alles, was nicht zum Docker selbst gehört landet im Ordner "pihole" im share "appdata" (Pfad: /mnt/user/appdata/pihole. Ordner ist latürnich frei einstellbar.

Beitrag automatisch zusammengeführt: 16.10.2021

kurz zu meinem System

Proxmox

Core(TM) i3-9100F CPU
32 GB ECC-Ram
WD-RED 6TB
2x WD-RED 3 TB

Das Grundkonzept bei unRaid ist, dass das eine, parity-geschützte, zentrale Array eben aus einzelnen HDDS besteht. Jede Datei liegt immer nur auf einer DIsk (kein striping) und die HDDs können schlafen (zum Lärm und Strom sparen).
Ein Docker oder eine VM, der/die Daten liest und schreibt, sollte daher nicht auf dem Array zu liegen kommen. Dafür hat unRaid das Konzept von (Cache-)Pools.
Das sind typischerweise SSD/NVMe "Disks" in einem BTRFS-Raid1 Pool. Da legt man die Docker und vDIsks der VMs drauf.

Sowas hast Du oben nicht gelistet in Deinem Setup....würde ich dringend empfehlen.

 

[Jenni]

Ok vielen Dank für die Erklärung.

Das muss ich mir dann alles nochmal überlegen reizen würd es mich schon aber Backup technisch kann hier dann Unraid leider nicht wirklich mit Proxmox mithalten.

 

[oNyX`]

Ich versteh generell nicht warum man Unraid will, Proxmox bietet ZoL (wozu die TrueNAS VM?), wenn man auf ZFS verzichten will und das Ding als Filer nutzen gibts auch Snapraid und MergerFS...

 

[Jenni]

TrueNAS nur für Freigaben

 

[hominidae]

Ich versteh generell nicht warum man Unraid will, Proxmox bietet ZoL (wozu die TrueNAS VM?), wenn man auf ZFS verzichten will und das Ding als Filer nutzen gibts auch Snapraid und MergerFS...

....weil mein "Großer" so ca. 750kWh im Jahr an Strom dabei spart ;-)

 

[gea]

Ich verstehe sehr gut warum man eine vernünftige GUI für ZFS möchte. Selbst mit ca 13 Jahren intensiver Beschäftigung mit ZFS möchte ich nicht ohne Weboberfläche mit ZFS arbeiten, hat einfach zu viele Optionen - egal ob Free-BSD/FreeNAS/TrueNAS oder ein minimalistisches Solarish/dazu mein napp-it, ganz einfach weil man sonst hier landet:

illumos: manual page: zpool.8

illumos: manual page: zfs.8

dazu für die ganz "Harten": vi oder vim

btw:
ZFS Backup mit zfs send überträgt beim ersten Mal nicht die Platte sondern ein Dateisystem mit den belegten Bytes inkl. offener Dateien (Snaps). Beim nächsten Mal nur geänderte Bytes auf Basis von ZFS Snaps. Das ist der Grund man mit ZFS auch x Petabytes unter Hochlast mit 1min Delay sichern kann. Ohne ZFS geht das halt nicht.

 

[Jenni]

Das find ich übrigens an Unraid sehr gut die GUI und auch die Freigaben und rechte Verwaltung.

Deshalb wollte ich mich auch mal an Unraid ran trauen.

Nur für spezielle bei IoBroker und Worpress sind die Snapshots und das Backup sehr wichtig, da ich das für Kunden mache.

 

[gea]

Lustig,
gerade die Rechteverwaltung hat mich abgehalten überhaupt Linux/ Unix mit SAMBA auch nur zu erwägen, sondern auf in ZFS integriertes Solaris SMB zu setzen. Nur da gibts ntfs alike ACL Rechte und AD Windows SID auf ZFS, dazu lokale SMB Gruppen sowie problemlose ZFS Snaps als Windows "vorherige Version" - alles Windows alike und nicht Linux alike.

 

[Jenni]

Eine Frage hab ich noch zu den Parity Platten.

Wenn ich eine Perity Platte mit 14 TB nehme kann ich dann x beliebig viele Platten für das Array nehmen so lang die Platten nicht geößer wie 14TB sind, so lese ich das überall.

 

[maxblank]

So ist es. Die Unterstützung endet meine ich bei 28 Platten.

 

[hominidae]

Ja, genau...maximum sind aber 30 Platten im System (Array und inkl. Pool DIsks Edit: 28x Daten + 2x Parity im Array, zusätzlich bis zu 30 DIsks in Pools (35 "named"-Pools).
Beachte nochmal meinen Hinweis: "no striping"...Du erhälst *maximal* die Performance einer Disk...beim Schreiben mit "Turbo-Write müssen/werden dann auch alle Disks aktiv laufen (nicht schlafen).

 

[i-B4se]

Ja, genau...maximum sind aber 30 Platten im System (Array und inkl. Pool DIsks).

Zitat von der Unraid-Seite

• Unraid OS Pro unterstützt bis zu 30 Speichergeräte im paritätsgeschütztem Array (28 Datenträger und 2 Paritätsdatenträger) und bis zu 24 Datenträger im Cache-Pool. Zusätzliche Speichergeräte können weiterhin direkt mit anderen Unraid-Funktionen wie VM's oder dem Plugin "Unassigned Devices" genutzt werden.

Wenn ich eine Perity Platte mit 14 TB nehme kann ich dann x beliebig viele Platten für das Array nehmen so lang die Platten nicht geößer wie 14TB sind, so lese ich das überall.

Bedenke, falls es bei dir auf Geschwindigkeit ankommt, dass das Array langsam ist. Dieses Dient tatsächlich "nur" als Massenspeicher. Sobald du Daten aufs Array schreibst, wird die Platte die du auswählst beschrieben und die Parity.
Dafür ist dann der Cache da, falls du diesen benutzen möchtest.

 

[hominidae]

Zitat von der Unraid-Seite

...jain...hatte meine Aussage auch schon korrigiert....aber die DE-Version von unraid.net ist auch noch auf dem Stand von v6.8.3.
Jetzt heisst es:

Unraid OS Pro supports up to 30 storage devices in the parity-protected array (28 data and 2 parity) and up to 35 named pools, of up to 30 storage devices in the cache pool(s). Additional storage devices can still be utilized directly with other Unraid features such as Virtual Machines or the unassigned devices plugin.

 

[i-B4se]

Jup, ich hoffe es kommt bald multi Array

 

[Jenni]

Also brauch ich ne SSD oder NVMe für den Cache, dann geht das auch schneller.

Hab in meiner Film Sammlung manche Beichten die 60 GB groß sind

 

[i-B4se]

Was heißt jetzt Filmsammlung?
Arbeitest du damit oder sind das gerippte Filme?
Bei Fall 2 recht das Array. Da wird ja nichts geschrieben und die Parity wird gar nicht geweckt und beschrieben. Das reicht für etliche 4k Streams.

 

[hominidae]

Also brauch ich ne SSD oder NVMe für den Cache, dann geht das auch schneller.

Typisch wäre für den Cache ein Pool aus zwei SSD/NVMe (BTRFS-Raid1, also dort ein Mirror).
Aber Vorsicht, das ist "nur" ein Write-Cache....
Ist ein share mit Cache konfiguriert, landen die Files zuerst dort...dann verschiebt sie ein "mover" regelmässig (standard 1x am Tag) aufs Array und sie sind nicht mehr auf dem Cache.
Schau mal hier: https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?do=findComment&comment=951565

Beitrag automatisch zusammengeführt: 16.10.2021

Jup, ich hoffe es kommt bald multi Array

...nope, ich hoffe auf ZFS ;-)

 

[Jenni]

Nix gerippte Filme, ich schneide Filme von Veranstaltungen und und lege diese dann ab

 

[hominidae]

...der Trend geht da eher zu einem oder mehr 500G-1TB Cache-Pool auf Basis PCIe-NVMe und einer 10G NIC (Mellanox ConnectX-3 laufen super).

 

[i-B4se]

Wenn die dann nur gespeichert werden und anschließend nicht mit den Daten auf dem Array gearbeitet wird, dann passt das. Ich sehe das Array immer als ein Cold Storage. Was darauf liegt wird selten geändert.
Höchstens gelesen wie z.b. Filme etc.
Alles andere läuft über den Cache Pool bzw. anderen Pools und dann rsync.

 

[Jenni]

Ok verstanden, also erstmal vielen Dank an alle die mich hier bezüglich Unraid soweit aufgeschlaut haben, für mich kommt damit zum aktuellen Zeitpunkt Unraid nicht infrage zwecks Snapshots und der Backup Sache da fahr ich zurzeit mit dem was ich mache mit Proxmox besser.

Ich werd das System aber im Auge behalten da das nach wie vor sehr ingesamt finde.

 

[Digi-Quick]

...nope, ich hoffe auf ZFS ;-)

ZFS läuft dem Konzept von Unraid komplett zuwider....
Für ZFS gibt es genug preiswertere weil kostenlose Alternativen.

 

[Hipiman]

Ich verstehe den Hype um Unraid eh nicht.

Es gibt für fast alle Fälle eine bessere Lösung und produktiv würde ich es mit Unraid nicht laufen lassen. ( Meine Meinung)

Die Performance ohne Cache ist naja sagen wir nicht gut. (Ist halt kein Raid )

Dann wird ein Writecache mit SSDs gebaut, die keine PLP haben und jeweils 1GB Dram Cache haben.

ZFS gebastel kommt nicht an die anderen Systeme ran.

Community Plugins, die nicht geprüft sind....super Sache.

Ein System was alles kann aber auch iwie nichts 100%.

Darauf am besten noch die Firewall laufen lassen und Dienste ins Internet veröffentlichen.

Wäre mir persönlich zu riskant.

Dann noch auf einen Youtuber hören, der Firewall, Antivirus und Sicherheitsmechanismen ausschaltet, weil nicht benötigt.

 

[VirtuGuy]

Was mich nur stört ist das hier immer die Kompletten WD Reds vom TrueNas auf den Backupserver gezogen werden beim Backup und nicht die einzelnen Files.

Du hast dem Host die Platten weggenommen, der kann also nicht anders. Entweder ein ordentliches Setup aufziehen wo der Host sich um dein Storage kümmert, oder das Backup per proxmox-backup-client innerhalb der VM selbst starten.

 

[hominidae]

ZFS läuft dem Konzept von Unraid komplett zuwider....

...das unRaid-"Konzept" hat genauso seine Daseinsberechtigung wie ein ZFS oder andere.
Ich will für "cold storage" das unraid Konzept behalten, aber für andere Dinge lieber ZFS.
Ich bin noch mit unRaid v4, vor vielen Jahren eingestiegen...habe es dann eingemottet und alles durch, inkl. solaris + napp-it, proxmox, debian mit ZoL .... seit in v6 Docker hinzukamen bin ich wieder zurück.
Unraid verändert sich ...

Für ZFS gibt es genug preiswertere weil kostenlose Alternativen.

...darum geht es doch hier gar nicht.
Ich habe vor 10 Jahren zwei Lizenzen für zusammen 70USD gekauft...die sind immer noch gültig und ich kann "lebenslang" upgraden...ich kann jetzt nicht sagen, dass mir diese Menge Kohle weh getan hat.
Anders eher, als ich von unRaid auf ein echtes Raid gewechselt bin, musst ich HDDs nachkaufen um den Platz beizubehalten....welches KOnbzept kostet jetzt mehr?

Ich verstehe den Hype um Unraid eh nicht.

Es gibt für fast alle Fälle eine bessere Lösung und produktiv würde ich es mit Unraid nicht laufen lassen. ( Meine Meinung)

...es ist kein Hype...es gibt einfach viele neue User, denn es gibt einfach mehr Leute für die ein NAS Commodity wird bzw. die Interesse haben etwas selbst zu bauen.
Wer es nutzt trifft aber eine bewusste ENtscheidung...kostet ja was...
Wenn man im unRaid Forum mitliest, sieht man dass der Skill-Level der neuen User viel, viel geringer ist als noch zu "meinen Anfängertagen"...da hatte ich schon einige andere NAS Lösungen durch.
Heute steigen viele nict wegen des NAS, sondern wegen der VM und Docker Integration ein.

Die Performance ohne Cache ist naja sagen wir nicht gut. (Ist halt kein Raid )

...das wird aber jedem erklärt, das unRaid anders ist....kein Geheimnis, kein versteckter Mangel

Dann wird ein Writecache mit SSDs gebaut, die keine PLP haben und jeweils 1GB Dram Cache haben.

nicht mit ZFS oder anderen Konzepten verwechseln, es passt sehr gut zu unraid wie ist ist....man/ich hat/habe nur keinen besseren Namen dafür ;-)

Community Plugins, die nicht geprüft sind....super Sache.

das verstehe ich nicht. Plugins werden sehr wohl geprüft. Sie sind halt nicht Teil der Lizenz/des Systems, dass Du kaufst.
Plugin Entwickler sind da nicht irgendwelche Leute, die was einstellen können....Plugins laufen beim Limetech-Team und deren "trusted Community-Developers" über den Tisch.
Das passiert allerdings auch "unter dem Radar", also nicht im öffentlichen Forum.

Container, nicht Plugins sind einfach nur Docker aus dem Docker-Hub.
Die Community "prüft" das alles sehr wohl....Templates sind auf github und issues kannst Du im Form "klären".... so funktioniert eine Community.

Sorry, aber mir scheint, Du stellt auch hier aufgrund der Namen der Konzepte Analogien zu Anderen auf, die keine sind....

Ein System was alles kann aber auch iwie nichts 100%.

Welches AiO System kann das schon...ich hab sie alle durch...keines ist perfekt (für mich).

Darauf am besten noch die Firewall laufen lassen und Dienste ins Internet veröffentlichen.

Das machen Andere auch, selbst auf einer Synology/Qnap oder eben Proxmox....das ist kein Frage des darunterliegenden Systems

Wäre mir persönlich zu riskant.

mir auch...auch aus anderen Gründen würde ich die Firewall nicht virtualisieren...hat keinen WAF, wenn der host mal eine downtime hat und das I-Net in der Zeit weg ist

Dann noch auf einen Youtuber hören, der Firewall, Antivirus und Sicherheitsmechanismen ausschaltet, weil nicht benötigt.

Ja komm, da gibt es aber genug youtuber, die auch bei anderen Systemen / Konzepten viel Scheiss erzählen.
So ist das eben in einer Community...man darf halt auch nicht alles glauben, was selbsternannte Gurus erzählen....die Welt ist ein Dorf und voller falscher Wahrheuten geworden....hat aber nix mit unRaid zu tun.