[Kaufberatung] Proxmox mit TrueNAS Core - Build 2020

T

trollmar

Profi
Thread Starter
Mitglied seit
22.02.2020
Beiträge
32
Hallo Zusammen,
da ich zum erstmal einen Server zusammenbaue brauche ich kurz euren Rat oder Hilfe.

Folgendes an Aufgaben soll erfüllt werden.

-Hypervisor für ca. 15 VMs oder Container
-Storage Server als VM

Die Software.

Schaubild mit den „großen“ VMs.

Proxmox Hypervisor
+ --------------+------------->Onboard Controller mit 2x NVMe 1TB TLC ( Host und VM Storage )
+
+------>VM TrueNas Core (zugewiesener RAM: 16GB)
+---------------+------------->HBA durchgericht mit 4x 6 TB WD RED ( Data Storage, Snapshot VMs )
+
+--------------->VM Nextcloud
+
+--------------->VM Edomi (smarthome)
+
+--------------->VM Plex
+
+--------------->VM Grafana
+
+ …



Hypervisor

Habe mich hier im Forum umgesehen und die Variante OmniOS,ESXi und NappIt gefunden.
Sehr geil!!

Aber ich nutze bereits jetzt schon ProxmoxVE und würde da auch gerne bei bleiben.
Das OS würde ich gerne als ZFS Mirror am Onboard Controller des Boards betreiben.
Auf diesem „Pool“ würde ich dann auch gerne die VM’s betreiben. Heist doch Pool ? ;-)
Das „ZFS wording“ ist neu mich und passt wahrscheinlich auch nicht ganz richtig.

Werde mich vor Zusammenbau sicherlich nochmal explizit ZFS einlesen müssen.




TrueNAS Core VM (freeNAS)

Hier würde ich einen Storage Pool mit 4 x 6 TB WD Red als RAIDZ1 betreiben.


Dazu habe ich z.B folgendes Tutorial gefunden.
Gespeichert werden sollen hier Snapshots von den Proxmox VMs, Persönliche Daten und private Mediathek.
Dazu ein lokales Backup via USB3 und ein Offsite Backup zu einer Remote Synology.

Ob das TrueNas Core schon die neue Debian Version mit ZFSonLinux oder FreeBSD Variante wird weiß ich noch nicht.
Ich gehe aber erstmal von FreeBSD aus, da die Debian Variante ja noch nicht existiert.



Anderen VMs


Hier möchte ich via NFS den Storage von TrueNas durchreichen.
Auch möchte ich versuchen die IGPU an Plex zu nutzen (siehe Hardware)






Die Hardware.


Case: X-Case X445-C8
Board: Supermicro X11SCH-LN4F
CPU: E-2146G
Kühler: NH-U12S
Ram: 2 x M391A4G43MB1-CTD = 64 GB
HBA: Dell H310
Netzteil: be quiet! Pure Power 11 CM 400W
2x NVMe (Proxmox): M2 2280 1 TB TLC (z,B Samsung 970 Evo M.2)
4 x WD RED

Später würde ich dann noch eine 10Gbit mellanox Card hinzufügen.

Hab dann hier und da auch was von „Cache“ und „Log“ SSDs gelesen.
Brauche ich sowas?


Die VMs liegen doch auf dem Mirror ZFS von Proxmox. Die hohe IO Last ist doch eher dort.
Beim Daten ZFS von TrueNAS dürften sich die Lese und Schreibzugriffe im sehr unteren Bereich bewegen.




Was denkt ihr?
Über eine kleine Hilfestellung und eure Erfahrung würde ich mich sehr freuen.


LG
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Guter Plan,Habe selber Proxmox mit einer lokalen NVME-SSD am laufen und mache Passthrough von HBA in eine Synology VM.
Bin kein ZFS Profi aber ein RAID-Z1 mit 4 Platten sollte auch ohne Caching/SLOG Devices ein normales GBIT Lan ausreizen.
 
Warum nicht ZFS von Proxmox verwalten lassen? Dann eine Fileserver LXC drauf und fertig.
 
MisterY schrieb:
Warum nicht ZFS von Proxmox verwalten lassen? Dann eine Fileserver LXC drauf und fertig.
Zum Vergrößern anklicken....
So ähnlich hab ich mir das auch schonmal überlegt. Was mich allerdings stört: die Samba-User sind dann auch im Proxmox-System angelegt. In meinem Fall nur seeehr wenige, aber eigentlich täte ich das gerne entkoppeln. Daher hatte ich überlegt, dafür eine VM zu nehmen, die vom Host per NFS den Storage bekommt und per SMB dann wieder bereitstellt. Dann sind nur in dieser Maschine die SMB-User lokal vorhanden.
Ein AD scheint mir dann wieder zu aufwendig für so wenige User.
 
Dann nimm doch ein LXC-Container (z.B. den hier: https://www.turnkeylinux.org/fileserver ), erstelle ein Mountpoint mit der Größe 0 und fertig.

Guck hier:
 
Danke euch.
Aber funktionieren würde das so wie ich geschrieben habe doch oder?
Hardware passt auch??
 
Würde gehen, wäre mir aber zu unsicher (KISS - Keep It Stupid Simple) und zu aufwändig. Und du hast das Volumen nicht mehr für den Host direkt erreichbar.
 
Nabend. Das Projekt lag etwas auf Eis.
Wird aber jetzt angegangen. Liegt noch etwas daran wann X-Case wieder das Gehäuse liefern kann ;-)

Brauche unter den Proxmox Leuten nochmal einen Rat.

trollmar schrieb:
Aber ich nutze bereits jetzt schon ProxmoxVE und würde da auch gerne bei bleiben.
Das OS würde ich gerne als ZFS Mirror am Onboard Controller des Boards betreiben.
Zum Vergrößern anklicken....

Bin mir nicht sicher ob der Host/Vm Storage als ZFS Mirror eine gute Idee ist.
Das kompliziert ja auch das Setup.

Wäre es nicht besser wenn ich eine 250 GB NVMe als Host nehme (ZFS Single Drive)
und eine weitere 1TB NVMe als VM Storage (ZFS Single Drive)

Dann hätte ich doch die "Vorteile" von ZFS (Snapshots) aber doch einfacher gehalten bei autausch NVMe bei upgrade etc.

Was meint ihr ??
 
Warum nutzt du nicht einfach eine Sata SSD als Host und zwei 1 TB NVMe in mirror für VM's ?
 
Eine Idee. Muss ich mir nochmal das Case anschauen wo da die SSD dann Platz findet.
Aber grundsätzlich liege ich dann doch nicht falsch das zu trennen und den Proxmox Host nicht ZFS mirror zu machen.
Seht ihr überhaupt vorteile die Host SSD oder NVMe als ZFS single drive zu machen? Kann die nicht einfach Thin LVM in ext4 sein?
 
Ich habe mir vor 4 Wochen in etwa das gleiche System gegönnt.
Ich habe 2 Intel H10 mit 1TB verbaut und 4x 12TB als Storage.
Die H10 kann man im Bios in den XPoint und den SSD-Part splitten und dann in Proxmox durchreichen.
So habe ich die 2x 1TB im ZFS-Mirror und von Proxmox verwaltet für die VMs und die 2x 32GB XPoint als Stripe SLOG und 48TB Z1 für FreeNAS.
Funktioniert sehr gut, kann ich nur empfehlen.

Wenn du kein Raid etc für die VMs willst, kannst du in der TrueNAS-VM einen NFS oder ISCSI Share machen und den unter Proxmox als Storage bzw Backup/Snapshot-Target mounten.

HBA kannst du dir sparen, sofern dir die SATA-Ports des Mainboards reichen. Einfach den SATA-Controller an TrueNAS-VM durchreichen.

TrueNAS Core ist und wird in naher Zukunft keinen Debian Kernel bekommen.
Core = Community Edition
Enterprise = für die Hardware von iXSystems optimiert/gebunden.
Scale = eigene Edition, Linux Spielwiese da die ZFS Entwicklung hauptsächlich nur noch über ZoL läuft.
 
Zuletzt bearbeitet:
@homer667 das ist ja echt interessant. kannst du was zum stromverbrauch im idle berichten?

hast du zufällig ne win10 vom laufen und kannst was dazu sagen wie schnell das FreeNAS Laufwerk ist? kennst du den Unterschied zwischen mit und ohne slog?
 
trollmar schrieb:
Seht ihr überhaupt vorteile die Host SSD oder NVMe als ZFS single drive zu machen? Kann die nicht einfach Thin LVM in ext4 sein?
Zum Vergrößern anklicken....
Bevor der thread hier gekapert wird.
Bin mir da echt unsicher was zfs mit nur einem drive für den host sinn macht.
 
Checksums bei Single Disk ?
 
Klar. Checksums werden auf jeden block gebildet und beim Lesen geprüft.

ZFS erkennt also Fehler / bitrot auch bei einer Platte (dürfte bei btrfs genauso sein).

Nur _heilen_ kann es die dann halt nicht (ausser evtl bei Metadaten, die m.W. ja mehrfach abgelegt werden, so dass da auch bei Single Disk noch Redundanz = Heilungsmöglichkeit bestehen sollte).
 
Danke euch.

Also macht es Sinn single disk zfs für den host zu verwenden.

Dann würde ich meinen build so ändern das ich für proxmox host ne "einfache" ssd oder NVMe nehme als ZFS single disk. Für den VM storage nach Möglichkeit zfs mirror. Sonst auch hier Single disk zfs. Wahrscheinlich werd ich hier auch nur Single disk zfs nehmen. Da ich ja dann regelmäßig snapshots auf den z1 hdd Pool machen werde.

Danke!!
 
asche77 schrieb:
Klar. Checksums werden auf jeden block gebildet und beim Lesen geprüft.

ZFS erkennt also Fehler / bitrot auch bei einer Platte (dürfte bei btrfs genauso sein).

Nur _heilen_ kann es die dann halt nicht (ausser evtl bei Metadaten, die m.W. ja mehrfach abgelegt werden, so dass da auch bei Single Disk noch Redundanz = Heilungsmöglichkeit bestehen sollte).
Zum Vergrößern anklicken....

Hmm, ok. Metadaten werden doch aber nur mehrfach abgelegt, wenn man min zwei oder mehr Festplatten/SSD einsetzt ? Kann es bei den Metadaten bei Single Disk nicht auch zu fehlern kommen ?
Am Ende bleibt dir im Single Disk Modus nur die Snapshots. Wie du schon schreibst: Fehler können ja im Single D1sk Modus nur erkannt aber nicht gefixt werden. Ist ja bei BTRFS auch so.

Und ja klar kannst du ZFS im Singledisk-Modus nutzen. Nachteile gegenüber anderen filesystemen solltest du nicht haben.
 
Zuletzt bearbeitet:
Ceiber3 schrieb:
Hmm, ok. Metadaten werden doch aber nur mehrfach abgelegt, wenn man min zwei oder mehr Festplatten/SSD einsetzt ? Kann es bei den Metadaten bei Single Disk nicht auch zu fehlern kommen ?
Zum Vergrößern anklicken....

Metadaten werden bei ZFS immer doppelt gesichert, meines Wissens auch bei btrfs. Damit werden Metadaten Fehler auch bei Single Disk oder Hardware/Nicht ZFS/btrfs Raid behoben. Synology hebt das ja immer besonders hervor wenn es um Reparaturoptionen von traditionellem Raid auf btrfs Platten geht. (=keine Reparaturoption bei durch Prüfsummen erkannte Fehler bei den Daten im Gegensatz zu ZFS Raid)
 
ZFS ist selbst im Singledrive ultrarobust.
Bitrot gibt es auch da nicht, da mittels Scrubs die Daten alle x Tage auf Konsistenz geprüft werden.
Das, Snapshots und COW sind schon mal alles Vorteile gegenüber Journaling oder LVM.
ZFS ist schon ziemlich cool.
Vor allem kannst du später einfach noch eine SSD kaufen und mirrorn.

Mein Proxmoxbuild braucht im Idle laut meiner USV 45Watt. Dazu muss ich aber auch sagen das die 4 12TB Heliumplatten sind und ich eine Dualport 5GB/s NIC verbaut habe. Was schon viel hilft wenn man nicht das letzte bisschen Performance braucht, ist Proxmox mit powersave laufen zu lassen. Default ist afaik performance oder ondemand.

Im Moment laufen TrueNAS, Server2019 und 2x RHEL "produktiv" auf dem H10 Mirror (+2 Test-VMs und diverse Container). Die Snapshots bleiben auch erst Mal auf den SSDs. Nach 7 Tagen wandern sie halt auf das ISCSI Share von TrueNAS.
Das wird alle 3 Monate ausgemistet.

Bei 10GB/s und 4 Platten wäre wohl mirror-stripe+SLOG besser. Beim aktuellen Release ist ja noch der Metadatencache hinzugekommen. Da musst du einfach mal testen was mehr bringt. Bau dir deinen HDD Pool auf und dann einfach mal alle 3 Cachearten ausprobieren. Es kommt halt drauf an ob du eine Datenbank oder viele kleine Dateien hast etc.

Edith: Wenn du eine zentrale Benutzerverwaltung haben willst, kannst du einen Windows oder Samba Domaincontroller oder LDAP/Radius Server virtualisieren. Er sollte dann nur vor der TrueNAS VM booten. Damit die sich als Domänenmitglied anmelden kann.

IGPU passthrough habe ich noch nicht versucht bzw wird bei mir Dank R9 3950 im Haupt-PC alles einmal durch Handbrake gejagt und dann archiviert. Dadurch erübrigt sich transcoding für mich. Dafür spare ich mir die Plexlizenz und benutze Jellyfin.

Zum Thema Smarthome kann ich nur OpenHAB oder ioBroker emphelen. Einfach mal einlesen.
 
Zuletzt bearbeitet:
Zumindest in TrueNAS, wann es genau in ZFS implementiert wurde weiß ich nicht.
Dataset encryption ist auch Recht neu. Das ging vorher nur Poolweit.
ZFS hat interne Featuresets. Ein Pool kann immer nur von einem gleichen oder neueren Featureset gemounted werden.

Feature Flags - OpenZFS

openzfs.org openzfs.org
 
trollmar schrieb:
Ja ..is cool!

geht das nachträgliche erweitern von Single drive auf mirror sowohl mit Proxmox ZFS als auch mit TrueNas Core?
Zum Vergrößern anklicken....
Nein, Eine Raid-Level-Migration (RLM) ist bei ZFS (noch) nicht vorgesehen, auch nicht vom Single Drive ausgehend.
Es gibt allerdings einen inoffiziellen Weg von Mirror zu Raidz, der aber während der gesamten Dauer ohne Redundanz verläuft
Für Singledrive zu Mirror (oder Raidz) müßte man den Beschriebenen Weg entsprechend anpassen , Da die Ausgangslage hier sowieso keine Redundanz bietet, wäre das Fehlen derselben während des Ablaufs im Grunde genommen weniger Tragisch....
Ein Backup braucht man so oder So in jedem Fall, ob mit oder ohne Redundanz - Nicht gesicherte Daten sind per Definition als gelöscht zu betrachten.
Und genau nach diesem Kriterium muß man Seine Datensicherung einrichten, nicht alles muß in jedem Fall gesichert werden.
 
Single Drive auf n-way Mirror und zurück ist kein Problem.
Lediglich Z1 <-> Z2/3 oder Erweitern eines Raid-Z um einzelne Platten geht nicht oder noch nicht.
 
@Digi-Quick Du kannst einen Single-Drive Pool easy zum mirror machen. Geht sogar mit dem rpool. Zumindest unter Solaris & super simpel:

Managing ZFS File Systems in Oracle Solaris 11.4

docs.oracle.com docs.oracle.com

Hab ich so laufen: meine Solaris-VM hat zwei virtuelle Disks (VMware), die auf zwei unterschiedlichen physischen Datenträgern liegen, die von ESXi selbst verwaltet werden. Dazu hab ich einfach erst Solaris ganz normal auf eine virtuelle Disk installiert und dann später die zweite mit dem Befehl oben dem rpool hinzugefügt. Danach sind jeweils beide virtuellen Disks sogar auf Anhieb ohne weitere Eingriffe einzeln bootbar. :d (Allerdings ist der rPool dann natürlich degraded.) Solaris/ZFS rockt einfach. ;)
 
@homer667 welche option für die Intel H10 Optane ist das in deinem Supermicro board? ich hab jetzt das X11SCA-F aber dürfte ja dort genauso gehen wie bei dir. Ich krieg bis jetzt nur die 1TB der SSD im system angezeigt. LG
 
Hi,
mein Project "Proxmox mit TrueNAS Core - Build 2020" ist fast fertig.
Server läuft nun schon 4 Wochen und ich bin fast fertig mit der migration meines alten Homelab.

Frage an die Supermicro Spezis...
Hatte schon im Handbuch gelesen das ich z.B. für meine SATA <> eSATA Slotblech erweiterung die Sata Ports auf "HotPlug" stellen muss.
Gibt es noch weitere Does and Dont's für die Supermicro Serverboards?


Werde die Tage zum Gehäuse mal ein zwei Fotos einstellen.
Ingesamt füllt sich mein build gut an :-)
 
Anmelden, um zu antworten.

Ähnliche Themen

S
Proxmox best practice
Antworten
9
Aufrufe
2K
Str1atum
S
L
systemwechsel weg vom HP ProLiant DL380p Gen8
Antworten
4
Aufrufe
472
Haldi
Haldi
E
Low-Performance-ECC System - TrueNas Core
Antworten
20
Aufrufe
2K
pwnbert
pwnbert
Shihatsu
EPYC Server abgeraucht - Ersatz benötigt
2
Antworten
37
Aufrufe
2K
besterino
B
T
Migration von Solaris 11.3 auf TrueNAS?
Antworten
8
Aufrufe
711
the_pi_man
T
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh