Best-Pratice (Storage): TrueNAS mit Proxmox != ESXi

[eehm]

Ich möchte meinen Backup-Server aus Überzeugung sowie aus Testzwecken nicht mit ESXI sondern mit Proxmox aufsetzten.
Unter EXSI habe ich den Z2-Pool aus 6 HDDs einfach per Passthrough an die TrueNAS-VM durchgereicht und alles mit TrueNAS verwaltet.
Da EXSi kein ZFS kann ist das in diesem Fall sicher eine der sinnvollsten Lösungen.

Unter Proxmox gäbe es allerdings mehrere Möglichkeiten:

1. HDDs per Passthrough an TrueNAS-VM (wie bei EXSi) - Verwaltung von ZFS und Freigaben über TrueNAS-VM
2. Anlage Z2-Pool in Proxmox und das Dataset an TrueNAS-VM geben. In TrueNAS wäre dann nur die Freigabeverwaltung für die Netzlaufwerke.
3. Jede HDD als einzelnes ZFS-Laufwerk in Proxmox anlegen und dann an TrueNAS als Datasets übergeben.

Welche der hier aufgezeigten Lösungen würdet ihr den empfehlen oder würdet ihr von Proxmox generell die Finger lassen, wenn Storage eines der Hauptthemen des Servers sein soll?

Beitrag automatisch zusammengeführt: 23.12.2021

Vielleicht kann es ein Admin bitte in den folgenden Bereich verschieben.

(Home-) Server/Workstation Forum​

 

[konfetti]

1 oder 2 ist wohl Geschmacksache - 3 ist in meinen Augen nicht ideal

 

[eehm]

1 oder 2 ist wohl Geschmacksache

Hat Lösung 2 den gravierende Nachteile gegenüber Lösung 1?
Man würde sich bei Lösung 2 den HBA ggf. sparen können, wenn man noch andere SATA Anschlüsse benötigt und nicht den ganzen Chipsatz per Passthrough durchrouten kann!

 

[konfetti]

Das kommt halt drauf an, was Du machen willst - wenn der Host primär für das Backup da ist, die Frage, warum nicht nativ das NAS-OS installieren?
Prinzipiell spricht auch nichts dagegen, ZFS von Proxmox zu nutzen und da andere VMS mit auf dem speicher laufen zu lassen, würde eher sagen, das es sogar hilfreich ist, vorallem für Snapshots auf ZFS-Basis - alles was nativ laufen kann, sollte man denk ich auch möglichst nativ laufen haben.

 

[eehm]

alles was nativ laufen kann, sollte man denk ich auch möglichst nativ laufen haben.

Ich bin mir halt nicht sicher, ob das ZFS-Feature von Proxmox genauso gut ist wie das von TrueNAS (reine NAS-Software auch teuer im Komplettpaket für Firmen verkauft)?
Das ist am ehersten das was mich umtreibt.
Auch, dass ich bei Proxmox bezüglich ZFS mehr in der Kommandozeile machen müsste als wahrscheinlich bei TrueNAS!

 

[gea]

Ich bin mir halt nicht sicher, ob das ZFS-Feature von Proxmox genauso gut ist wie das von TrueNAS (reine NAS-Software auch teuer im Komplettpaket für Firmen verkauft)?

ZFS ist (praktisch) identisch bis auf Support bei TrueNAS

Das ist am ehersten das was mich umtreibt.
Auch, dass ich bei Proxmox bezüglich ZFS mehr in der Kommandozeile machen müsste als wahrscheinlich bei TrueNAS!

Genau hier ist der Unterschied (Console vs Web Management)

 

[VirtuGuy]

Auch, dass ich bei Proxmox bezüglich ZFS mehr in der Kommandozeile machen müsste als wahrscheinlich bei TrueNAS!

Grundlegendes wie simple Pools anlegen geht in der Proxmox Gui. Wenn du mit der CMD nicht so zurecht kommst, einfach Zamba o.ä. in einem Container laufen lassen und dem Host das Storage überlassen (https://github.com/bashclub/zamba-lxc-toolbox). Im Gegensatz zu Passthrough ist damit auch Replikation, Backup und co kein Problem => du könntest den bestehenden ESXi langfristig mit Proxmox ablösen und ein HA Setup fahren.

 

[eehm]

Genau hier ist der Unterschied (Console vs Web Management)

Ist das dann der Grund wieso aus deiner Sicht hier so viele ihre Server mit EXSi betreiben oder ist da noch mehr an Vorteilen vorhanden?
Ich habe deshalb meinen ersten Server auch mit ESXi dank der Hilfe im Forum aufgesetzt, aber irgendwie weiß ich nicht ob nicht Freeware auf lange Sicht besser wäre.

Zamba o.ä. in einem Container laufen lassen und dem Host das Storage überlassen

Danke für den Tipp!
Benutzt du den Container und kannst du hier etwas zu Wartung und Verläasslichkeit sagen?

 

[VirtuGuy]

Nein, aber es ist ein simpler Debian Container => Wartung usw ist also mehr oder weniger problemlos. Probier es aus, du kannst ja später immer noch eine Truenas VM installieren.

 

[gea]

Ist das dann der Grund wieso aus deiner Sicht hier so viele ihre Server mit EXSi betreiben oder ist da noch mehr an Vorteilen vorhanden?
Ich habe deshalb meinen ersten Server auch mit ESXi dank der Hilfe im Forum aufgesetzt, aber irgendwie weiß ich nicht ob nicht Freeware auf lange Sicht besser wäre.

ESXi ist wegen dem eingebauten Webserver/Webmanagement im Vergleich zu früher zwar auch etwas fetter geworden, ist aber immer noch der Virtualisierer mit dem geringsten Resourcenverbrauch. ProxMox ist dagegen ein komplettes Debian.

ESXi ist zudem die führende Plattform im kommerziellen Bereich und hat Vorteile vor allem im Bereich der virtuellen Netzwerkkarten (vmxnet3) oder virtuellen Grafikkarten (mit Tesla etc). Die Virtualisierung von z.B. Windows ist die Schnellste. Auch unterstützt nur ESXi praktisch alle Betriebssyteme inkl Exoten wie OSX mit Management Tools und schnellen Treibern. Auch geht Wiederherstellen nach Totalcrash besonders schnell und einfach.

ESXi ist aber zunächst nur ein Virtualisierer. Für Storage braucht man entweder VMware vSAN oder man setzt auf das AiO Konzept (minimalistisches ESXi free + minimalistische Storage VM, meist OmniOS). Prinzipiell kann man das auch bei ProxMox so halten.

 

[VirtuGuy]

Ein aktueller Proxmox Server ist mit weniger Ressourcen zufrieden. ESXi 7.x lässt sich auf Hosts mit 1Gb Ram erst gar nicht mehr installieren. Die Frage ist halt, wie viele x86 Server werden heute noch ernsthaft mit weniger als 8Gb Ram betrieben? Die Virtualisierung von Windows ist auf VMware sehr gut, aber es gibt schnellere wie Hyper-V oder Azurestack. In der Praxis ist dies abgesehen von recht speziellen Setups ebenfalls nicht wirklich von Bedeutung. VMware ist halt ein ausgereiftes Ökosystem mit breiter Unterstützung durch unzählige Partner und Dienstleister.

Für Heimanwender ist der kastrierte ESXi aber recht Wartungsintensiv. Egal ob Storage, Backup oder simples HA, ohne Basteln und zusätzlicher Software geht nichts. Proxmox hingegen ist ootb eine AiO Lösung.

 

[konfetti]

Für Heimanwender ist der kastrierte ESXi aber recht Wartungsintensiv. Egal ob Storage, Backup oder simples HA, ohne Basteln und zusätzlicher Software geht nichts. Proxmox hingegen ist ootb eine AiO Lösung.

Naja, HA ist jetzt eher weniger der Heimanwenderfall, weshalb das eben auch nicht ohne Basteln geht - mit Lizenz, ist das kein Thema, aber das sind natürlich kosten, die @ home keiner bezahlen mag.

Mein alter AiO lief jetzt fast 2 Jahre ohne das ich was dran machen musst durch - der neue hat nach den anfänglichen Umbau- und Einreichte-Arbeiten inkl. Optimierung in der Bestückung auch schon eine Uptime von 90 Tagen.
Eigentlich finde ich, gerade im Heimumfeld den ESXi als sehr Anwenderfreundlich - unabhängig davon, ob der Storage direkt vom Host gestellt wird, oder von einem separaten System (VM, NAS, etc).

Proxmox hatte ich mir ganz am Anfang (2008-2009) mal angeschaut, war auch ganz nett für Linux-VMs aber Windows war ein Kampf... - kommt halt auch immer darauf an, was man damit machen möchte.

 

[eehm]

Für Heimanwender ist der kastrierte ESXi aber recht Wartungsintensiv.

Vor was ich am meisten Bedenken habe, dass VMware z.B. im nächsten Quartal sagt, dass EXSi auch im privaten Umfeld kostenpflichtig wird und dann steht man da!
Da ist man bei OpenSource halt viel sicherer!

Proxmox hatte ich mir ganz am Anfang (2008-2009) mal angeschaut, war auch ganz nett für Linux-VMs aber Windows war ein Kampf... - kommt halt auch immer darauf an, was man damit machen möchte.

Naja, eine Windows 10 VM wäre mir schon nicht ganz unwichtig!
Ist das dann mit Proxmox immer noch ein Kampf oder inzwischen schon viel besser und gut nutzbar?

 

[p4n0]

Vor was ich am meisten Bedenken habe, dass VMware z.B. im nächsten Quartal sagt, dass EXSi auch im privaten Umfeld kostenpflichtig wird und dann steht man da!
Da ist man bei OpenSource halt viel sicherer!

Das waere der letzte Punkt was mich stoeren wuerde.

ESXi im priv. Umfeld ist ja sehr simpel gehalten.
Keine Cluster, keine speziellen VMWare Services etc..

Das Ding laeuft idr als ganz dummer virtualisierer. Kann man sich also relativ schnell von loesen und auf alternativen umsteigen.
Idr sind auch die vmdk's einfach konvertierbar und gut is.

Dennoch wird - auch wenns im priv. Umfeld was kosten soll - deine jetzige Lizenz nicht einfach ungueltig.
D.h. man wird auch weiterhin nen 7er basic kostenfrei betreiben koennen.

 

[eehm]

D.h. man wird auch weiterhin nen 7er basic kostenfrei betreiben koennen.

OK, das ist natürlich ein Argument. Da hätte man dann noch viel Monate oder gar Jahre Zeit nach Alternativen zu suchen.

Vielleicht sollte ich doch bei EXSi bleiben. Was ich in Proxmox noch als großen Vorteil gesehen hätte.
Ich hätte einfach 2 NVME SSDs in einem ZFS-Mirror aufsetzten können und als Speicher für die VMs verwenden können.
Der Vorteil wäre, wenn eine SSD wirklich mal ausfällt brauche ich nur eine hinzustecken und gut ist.
Bei EXSi würde das ja leider nur über ein HW-Raid1 funktionieren und dann bin ich fest mit dem Board verheiratet. Oder gibt es hier in EXSi auch noch eine elegante Lösung hierfür?

Auf den TruenNAS-VM Z2-Pool (normale HDDs) möchte ich die VMs nämlich aufgrund der Geschwindigkeit nicht legen.

 

[p4n0]

Schmeiß die VMs einfach auf ne stink-normale nvme.
Die VM-Daten-HDDs kannst ja einfach in die VM per ISCSI/NFS etc.. mounten.

Wuerde mir den Aufwand nich machen und da irgend nen nvme mirror bauen. Wird schnell teuer und baeh.

Wir sprechen hier immernoch von einem @ home setup.

 

[eehm]

Die VM-Daten-HDDs kannst ja einfach in die VM per ISCSI/NFS etc.. mounten.

Das ist klar, so habe ich das aktuell auch schon.

Aber wie mache ich dann ein Backup von der NVME-VM-SSD, wenn mir die mal kaputt geht?
Dann sind alle VM-Stände weg, weil sie weder auf dem Z2-Pool noch auf dem externen Backup (nur der Z2-Pool) vorhanden sind.
Hast du da eine Lösung für oder lebst du mit diesem "Risiko"?

 

[p4n0]

Kopier dir doch die 'fertige' VM einfach iwo hin und sicher sie so.
Bei mir aendert sich eh nur was an den gemounteten, zfs-geschuetzten volumes innerhalb der vm was.
Der Rest ist meist n 'dummes', statisches Linux.

Mir doch egal wenn das Platt geht oder nichtmehr aktuell ist.

Also ja - ich lebe mit dem Risiko. Mir ist bisher aber auch noch keine SSD platt gegangen. Und wenn dem so ist, whatever. 3h und der Kram laeuft wieder.

Mir waer das auch viel zu dumm nen nvme-mirror in zfs zu realisieren.
Wenn das Ding ordentlich performen soll wirds schnell uebel im home-bereich was Stromverbrauch und Kosten betrifft.
ZFS ist nicht die performanteste aller Loesungen und erfordert in den Bereichen die du da anstrebst ENORME Rechenpower.

 

[konfetti]

@eehm Abgesehn davon - 1 Tot stirbt man immer - wo ist denn alles dein SPOF?
Und wenn ich es richtig verstanden habe, ist das doch auch nur der Backup-Host, richtig?

 

[VirtuGuy]

OK, das ist natürlich ein Argument. Da hätte man dann noch viel Monate oder gar Jahre Zeit nach Alternativen zu suchen.

Vielleicht sollte ich doch bei EXSi bleiben. Was ich in Proxmox noch als großen Vorteil gesehen hätte.
Ich hätte einfach 2 NVME SSDs in einem ZFS-Mirror aufsetzten können und als Speicher für die VMs verwenden können.
Der Vorteil wäre, wenn eine SSD wirklich mal ausfällt brauche ich nur eine hinzustecken und gut ist.
Bei EXSi würde das ja leider nur über ein HW-Raid1 funktionieren und dann bin ich fest mit dem Board verheiratet. Oder gibt es hier in EXSi auch noch eine elegante Lösung hierfür?

Ein Mirror wäre mit Proxmox natürlich kein Problem, bzw könntest du auch gleich den Host selbst darauf laufen lassen. Alternaitv pro Host jeweils eine NVME verbauen und die VM´s im 30 Sekunden Takt replizieren. Failover geht auf Wunsch automatisch per HA oder halt manuell. Genau dafür bietet sich ja ein Backup Host an.

Windows VM´s sind soweit kein Problem für KVM, in den letzten 10 Jahren hat sich ja duchaus einiges getan.

 

[pumuckel]

... schon mal Truenas Scale angeguckt statt Proxmox+Truenas ?

TrueNAS SCALE - Linux-based Open Source Storage Infrastructure

TrueNAS SCALE is an open source infrastructure solution, adds Linux Containers and VMs (KVM) for a powerful scale-out storage capabilities.

www.truenas.com

 

[eehm]

Und wenn ich es richtig verstanden habe, ist das doch auch nur der Backup-Host, richtig?

Ja das hast du richtig verstanden. Ich wollte darauf vielleicht noch alles besser machen und ggf. den Master auch irgendwann so aufsetzten.
Allerdings sehe ich ein, dass das so einfach nichts wird ... oder man muss extrem viel Aufwand und Geld reinstecken und der Mehrwert ... ist dann echt die Frage!

Also ja - ich lebe mit dem Risiko. Mir ist bisher aber auch noch keine SSD platt gegangen. Und wenn dem so ist, whatever. 3h und der Kram laeuft wieder.

Da hast du eigentlich recht ... was sind schon ein paar Stunden!

Ein Mirror wäre mit Proxmox natürlich kein Problem, bzw könntest du auch gleich den Host selbst darauf laufen lassen.

Ja das wäre möglich, aber wenn der Host da auch drauf soll, dann werden wieder sehr teure SSDs fällig, weil Proxmox die sonst aufarbeitet.
Proxmox müsste aus meiner Sicht immer noch auf eine kleine Enterprice-SSD.

 

[spyfly]

Also ja - ich lebe mit dem Risiko. Mir ist bisher aber auch noch keine SSD platt gegangen. Und wenn dem so ist, whatever. 3h und der Kram laeuft wieder.

Es ist immer eine Frage der Zeit. Muss ja nicht gleich die ganze SSD ausfallen, manchmal äußert sich das Problem ja auch "nur" als Data Corruption. Aber ich hatte schon genug (Aus-)fälle, dass ich nicht mehr dazu bereit wäre den rpool ohne ZFS Mirror laufen zu lassen.

Ja das wäre möglich, aber wenn der Host da auch drauf soll, dann werden wieder sehr teure SSDs fällig, weil Proxmox die sonst aufarbeitet.
Proxmox müsste aus meiner Sicht immer noch auf eine kleine Enterprice-SSD.

Solange du kein RAID-Zn machst, kannst du für Proxmox quasi jede beliebige non-QLC SSD nutzen. Bevorzugt natürlich mit NVMe und einer möglichst hohen TBW.

Ich verwende in meinen primären Proxmox Server 2x 2TB PNY CS3030er NVMes (mittlerweile aufgrund reduzierter TBW in neuen Baureihen nicht mehr zu empfehlen) im Mirror, auf denen der Großteil meiner VMs liegt. Die haben jetzt nach 2 Jahren ein wenig 200 Terabytes written und sind laut den S.M.A.R.T. Values bei 20% Usage angelangt. Also 10-15 Jahre machen die jetzt wahrscheinlich noch ohne Probleme mit.

 

[p4n0]

Es ist immer eine Frage der Zeit. Muss ja nicht gleich die ganze SSD ausfallen, manchmal äußert sich das Problem ja auch "nur" als Data Corruption. Aber ich hatte schon genug (Aus-)fälle, dass ich nicht mehr dazu bereit wäre den rpool ohne ZFS Mirror laufen zu lassen.

Und was ist daran schlimm wenn nen ESXi, FreeNas und paar weitere VM's 'Betroffen' sind?

Kann man in kuerzester Zeit wieder Installieren/Restoren und weiter gehts.

Am Ende des Tages gehts doch um nen gutes Kosten/Nutzen/Aufwands - Verhaeltnis.
Darum einfach alle wichtigen Daten per ZFS in die VMs mounten und den Rest so einfach wie moeglich halten.

Wenn komplette VMs wichtig sind kann man diese ja auch aufs ZFS Volume werfen.
Man kann alles overengineeren, keine Frage. Doch wenns kracht steht man erstmal vor nem Truemmerhaufen, bei dem man n paar Tage braucht um das wieder
zum Fliegen zu bringen.

Ich verwende in meinen primären Proxmox Server 2x 2TB PNY CS3030er NVMes

Wozu den Stress von 2 NVME's und dann noch nichtmal welche mit PLP?
Deine VMs sind genauso gefaehrdet, wie ein ganz einfaches Setup ohne Z1 und co.

Wuerde sogar frech behaupten dass ne renommierte Samsung consumer SSD mehr Sicherheit und zuverlaessigkeit bietet als dein Setup von PNY.

 

[spyfly]

Und was ist daran schlimm wenn nen ESXi, FreeNas und paar weitere VM's 'Betroffen' sind?

Kann man in kuerzester Zeit wieder Installieren/Restoren und weiter gehts.

Alles eine Frage der Notwendigkeit der jeweiligen VMs. Wenn jetzt aber die Router-VM down ist, wäre das eher unglücklich. Und den kompletten Hypervisor neu aufsetzten, inkl. VMs restoren kann auch schon mal gut nen Tag lang dauern.'

Am Ende des Tages gehts doch um nen gutes Kosten/Nutzen/Aufwands - Verhaeltnis.
Darum einfach alle wichtigen Daten per ZFS in die VMs mounten und den Rest so einfach wie moeglich halten.

Wenn komplette VMs wichtig sind kann man diese ja auch aufs ZFS Volume werfen.
Man kann alles overengineeren, keine Frage. Doch wenns kracht steht man erstmal vor nem Truemmerhaufen, bei dem man n paar Tage braucht um das wieder
zum Fliegen zu bringen.

Stimme ich dir vollkommen zu. Wenn der Root-Mirror, aber überhaupt einen einzigen Ausfall verhindert, hat es sich schon gelohnt.

Wenn das ZFS Array aber nicht auf SSDs läuft, sondern HDDs kann man das mit den VMs auf dem Volume vergessen. Die wenigsten Leute bauen sich ein SSD-only NAS.

Wozu den Stress von 2 NVME's und dann noch nichtmal welche mit PLP?
Deine VMs sind genauso gefaehrdet, wie ein ganz einfaches Setup ohne Z1 und co.

Aus dem selbigen Grund, aus welchem du dein Daten-Storage nicht mit ohne Redundanz betreibst. Auf die Sicherheit die PLP mir in diesem Fall bietet kann ich verzichten.

Nein, durch einen Mirror (RAID 1) bieten sie die gleiche Ausfallsicherheit wie ein RAID-Z1 (RAID 5) Pool.

Wuerde sogar frech behaupten dass ne renommierte Samsung consumer SSD mehr Sicherheit und zuverlaessigkeit bietet als dein Setup von PNY.

Zum damaligen Zeitpunkt waren die genannten SSDs so ziemlich das Beste was man im Consumer Bereich bekommen konnte. Haben sogar den P/L Award von HWLuxx bekommen.

 

[p4n0]

Alles eine Frage der Notwendigkeit der jeweiligen VMs. Wenn jetzt aber die Router-VM down ist, wäre das eher unglücklich. Und den kompletten Hypervisor neu aufsetzten, inkl. VMs restoren kann auch schon mal gut nen Tag lang dauern.'

Da halte ich dagegen.
ESXi USB Stick liegt hier rum. Installieren dauert ca 10 Minuten.

Router VM + FreeNas VM liegen auch als Backup hier rum. Hochladen und einbinden tippe ich auf weitere 20 Minuten.

In < 1h ist die Karre wieder fit.

Da brauchst du sicher laenger mit Rebuild und dem ganzen Kram.
Aber wie dem auch sei - jeder soll so basteln wie er es fuer richtig haelt.
Ich bin lediglich der Meinung, dass man sich im Home-Bereich oft verzettelt mit iwelchen Mirrors und die Sache unnoetig kompliziert macht.

Wenn das ZFS Array aber nicht auf SSDs läuft, sondern HDDs kann man das mit den VMs auf dem Volume vergessen. Die wenigsten Leute bauen sich ein SSD-only NAS.

Tut es in meinem Fall, darum alles easy.

Nein, durch einen Mirror (RAID 1) bieten sie die gleiche Ausfallsicherheit wie ein RAID-Z1 (RAID 5) Pool.

Das stimmt nicht.
Ein einfaches Raid1 bildet keine Pruefsummen und ist ziemlich dumm. Im Fehlerfall laesst sich nichtmehr sagen welcher Datentraeger die konsistente Version einer Datei beinhaltet.

Wenn man schon versucht redundanz aufzubauen, dann richtig. Oder halt bleiben lassen.
Kostet halt schnell und macht die Sache komplex. Darum einfach KISS Prinzip anwenden und fertig

 

[spyfly]

Da brauchst du sicher laenger mit Rebuild und dem ganzen Kram.

Resilvering in ZFS ist normalerweise eine Sache von Minuten, zumindest mit flotten NVMe SSDs.

Ich bin lediglich der Meinung, dass man sich im Home-Bereich oft verzettelt mit iwelchen Mirrors und die Sache unnoetig kompliziert macht.

Natürlich braucht man nicht unbedingt einen Mirror, aber es ist einfach eingerichtet und schafft zusätzliche Sicherheit. Vor allem wird bei Proxmox der ZFS Mirror direkt vom Installer eingerichtet.

Das stimmt nicht.
Ein einfaches Raid1 bildet keine Pruefsummen und ist ziemlich dumm. Im Fehlerfall laesst sich nichtmehr sagen welcher Datentraeger die konsistente Version einer Datei beinhaltet.

Ein einfaches Raid 1 bildet keine Prüfsummen, das stimmt natürlich.
Der ZFS Mirror den ich nutze hingegen schon. Damit kann dann auch ohne Probleme festgestellt werden, welche der Disks die konsistente Version der Datei enthält.

# zfs get all rpool | grep checksum
rpool  checksum              on                     default

 

[asche77]

Natürlich braucht man nicht unbedingt einen Mirror, aber es ist einfach eingerichtet und schafft zusätzliche Sicherheit. Vor allem wird bei Proxmox der ZFS Mirror direkt vom Installer eingerichtet.

Das ist halt der Vorteil von proxmox - Kollege p4n0 denkt vermutlich an ESXi, da wäre der "rpool" ja nur als dummes HW-RAID1 möglich.