Storage OS Ja oder Nein?

[fard dwalling]

Hallo zusammen,

ich überlege gerade hin und her, wie ich es am besten anstelle, komme aber irgendwie nicht zu einem Endschluss.

Hardware:
MS Gen8
16GB RAM
Xeon E3-1230v2
P212 RAID Controller mit 4x 3TB WD Red im RAID5
2x 64GB SSD am B120i im RAID1

Momentan läuft hier ein Windows Server 2016 auf dem RAID 1 als Plex Server. Die Hyper-V Rolle ist aktiv und folgende VMs tummeln sich dort gerade:

Openmediavault als TimeMachine Backupziel
Pi-Hole
Ubuntu Server Nextcloud
pfsense (in Vorbereitung)
Hyper-V Testumgebung
Windows 7 Client (für Dienstliche Zwecke)

Jetzt ist mir Windows Server 2016 zu teuer, zu umfangreich und würde deswegen auf den Hyper-V Server wechseln wollen. Ich hatte erst gedacht, das evtl die Computersicherung des Servers für mich interessant wäre, aber nötig ist das für 2 Rechner nicht. Das läuft Veeam Endpoint irgendwie runder. Und ein Active Directory und Offline Dateien brauche ich nicht.
Das RAID 5 ist als ReFS formatiert, weswegen ich den Hyper-V Server auch ganz passend finde.

Jetzt stellt sich mir nur die Frage, brauche ich zusätzliche eine Storage VM? Welchen Vorteil hätte diese?

Der Hyper-V würde auf den SSD RAID 1 Verbund landen, die Datastorage und VMs direkt auf dem RAID 5. Einfache SMB Freigaben gehen ja auch im Hyper-V Server direkt. Die Plex VM müsste dann natürlich einen recht großen Datastore haben (denke mal so an 3-4TB).

Sichern wollte ich die VMs dann ebenfalls mit Veeam auf eine 6TB USB Festplatte. Evtl bietet sich hier auch irgendwann eine kleine Diskstation an. Die muss ja nicht viel können.

Meine 2 Windows Clients würde die Veeam Backups direkt auf eine SMB Freigabe ablegen.

Irgendwelche weiteren Tipps oder Verbesserungsvorschläge? Hatte mal noch an eine 250GB SSD für die kleinen VMs gedacht. Die liegt hier noch so rum.

VG und Vielen Dank.

 

[Tchacker]

Schau Dir proxmox an,löse das ssd raid auf und benutz ZFS und pack deine „kleinen“ Dienste wie pihole,nextcloud usw in LXC Container und dein Windows/HyperV in eine KVM


Sent from my iPhone using Tapatalk Pro

 

[fard dwalling]

Proxmox habe ich tatsächlich schon Mal drüber nachgedacht, vor allem weil es OpenSource ist.
ABER, es ist wieder ein komplett neues System zum einarbeiten. Auch der Umgang mit LXC Container und KVM... Da bin ich mir nicht so sicher, ob ich das will....

Welcher Vorteil hätte ZFS gegenüber ReFS? Hyper-V könnte ich natürlich auch einfach auf einen USB Stick installieren und die SSDs als VM Ablageort nutzten....
Glaube aber, dass die SSDs einfach haltbarer sind.

 

[gea]

Welcher Vorteil hätte ZFS gegenüber ReFS?.

ReFS übernimmt zunächst die zwei Hauptfeatures von ZFS, nämlich CopyOnWrite, damit die Crashsicherheit und Snapshots sowie Prüfsummen um gelesene Daten zu validieren und bei Fehlern aus Redundanz zu reparieren.

MS wollte aber das Pooling beliebiger Platten mit Storage Spaces beibehalten und darauf aufbauend Redundanz auf Wunsch anbieten. Auch sollte die Performance von ntfs weitgehend erhalten werden ohne aufwändige Caches wie bei ZFS zu implementiren. Daher werden Prüfsummen zunächst nur auf Metadaten angeboten. Für Daten muss man das extra aktivieren.

Herausgekommen ist für mich ein System dass alles kann aber nichts besonders gut. Es hat weder die Performance noch die Features oder Einfachheit von ZFS. Dazu ist es halt Windows. Alle zwei Wochen heißt das ein kritisches Update mit Reboot.

Ich habe ja auch sehr viel Windows und nutze das auch virtualisiert. ZFS unter Hyper-V sehe ich aber nicht als Option. Ich nutze ESXi als Basis und darauf ZFS (Solarish) mit Storage Pass-Through und die VMs dann auf ZFS. Das ist ähnlich schlank wie Hyper-V CLI aber viel komfortabler und mit erheblich besserer Unterstützung nicht nur für Windows sondern auch Unix (BSD, OSX, Solarish) und Linux

 

[fard dwalling]

Mal angenommen ich würde nun meine ESXi SD Karte wieder reinpacken, wie würde das dann aussehen?

Da läuft dann eine VM an die der Controller durchgereicht wird. Ob jetzt Solaris, omnios oder freenas ist ja glaub ich erstmal wurscht oder?
Diese verwaltet den ZFS mirror vdev mit den 4x 3TB. 6TB sind dann noch nutzbar.

Wie kann ESXi das nun als Datastore Ablage nutzen? Wird das Volumen dann freigegeben? NFS, iscsi?

Hatte mir den Link zu dem ZFS Blog im Gen8 Thread Grad durchgelesen. Die Vorteile sind ja nicht von der hand zu weisen.

 

[martingo]

Ja, genau so. Einbinden in ESXi über NFS.
Musst nur bedenken, dass die Storage VM ebenfalls auf SD oder USB liegen muss, weil der B120i Controller nur als ganzes (inkl. SATA5) durchzureichen ist. Oder kann Dein P212 ebenfalls HBA Mode?

Ich habe es quasi so gemacht wie du es schilderst, letzter Beitrag vom 14.3. in Konzept gesucht für 2x Microserver gen8, Virtualisierung und napp-it

 

[fard dwalling]

Naja ich könnte ja die 4 Platten wieder an den b120 packen und die SSDs an den p212 und da auch noch ein paar VMs ablegen.

 

[martingo]

Ach, stimmt. Du hast ja zwei SSDs, das hatte ich gar nicht gesehen.
Bei einer SSD hätte ich die VMs natürlich auch auf die SSD gelegt und diese dann per NFS an ESXi freigegeben und mir so den Controller gespart.
Bei mehr als fünf Platten geht das natürlich nicht mehr.

 

[fard dwalling]

Also die SSDs auch durchreichen;? Macht es Sinn diese evtl als Cache mit reinzunehmen? Jedes vdev mirror hätte dann 64gb SSD Cache.

 

[martingo]

gea meinte in anderen Threads schon öfters, dass SSDs unter ZFS nicht so sinnvoll als Cache sind.
Ich würde die VMs auf SSD legen und gut.

Ich habe mal geschaut und der P212 scheint nicht im HBA-Mode/IT-Mode zu laufen, d.h. ZFS kann keinen Direktzugriff auf die Platten bekommen, was einige Vorteile von ZFS zunichte macht. Daher kannst Du sechs Platten nicht durchreichen.
Entweder Du lässt die SSDs auf RAID 1 und verwendest sie direkt unter ESXi für die VMs.
Oder Du baust eine Platte und den Controller aus, packst ESXi und napp-it auf SD und reichst den B120i durch. VMs dann auf die SSD und per NFS dem ESXi bereitstellen
Oder Du machst eine Mischform, packst ESXi und napp-it auf eine Einzel SSD am P212, die zweite SSD an den B120i und die fünf Platten an napp-it durchreichen

Ich würde Variante zwei nehmen.

 

[fard dwalling]

Hört sich ganz gut an. Welche Funktion wird die SSD dann unter napp-it bekommen? Gibt man dann das ganze Volumen per NFS an ESXi zurück? Oder macht man die "normalen" Freigaben ebenfalls unter napp-it und gibt nur den Bereich für die VMs an ESXi frei?

 

[martingo]

Also bei Variante zwei wären die VMs auf der SSD.
Was Du bei Variante drei damit machst, bleibt Dir überlassen. Ggf. weitere VMs falls der Platz eng wird oder whatever.

Du legst auf der SSD dann ein ZFS-Filesystem an und gibst dieses Filesystem per "normaler" NFS-Freigabe an ESXi. Ein Filesystem pro Freigabe, beliebig viele Filesystems pro Pool/Disk.

Edit: Auch bei Variante 3 machen die VMs auf ZFS Sinn, weil Du so die Vorteile des Dateisystems mitnehmen kannst.

 

[fard dwalling]

Wäre es mit Hyper-V Server Core ähnlich lösbar? Dann müsste ich meine VMs nicht konvertieren.
Oder wenn ich schon konvertieren muss, wäre dann Proxmox auch eine Möglichkeit?

 

[VirtuGuy]

Bei Hyper-V oder Proxmox kannst du mit ZFS oder Storage Spaces direkt am Host arbeiten, den Umweg über eine Storage VM & NFS kannst du dir bei den beiden gänzlich sparen. Auch dein Backup auf eine USB Platte ist bei Hyper-V Core und Proxmox OotB möglich.

 

[Trambahner]

Hyper-V und OpenZFS nativ? Hab ich da was verpasst?

 

[VirtuGuy]

Nein, Hyper-v (ss) oder Proxmox (zfs).

Es wäre jedoch über WSL auch OpenZFS unter Windows 10 möglich, aber wohl kaum Praxistauglich.

 

[Trambahner]

Ich dachte schon

ZFSin (ZFS für Win) als Treiber kenn ich und hab schon getestet. Lässt sich installieren, Findet bei mir aber leider keine Devices für den Pool.

 

[fard dwalling]

Storage Spaces wollte ich mir nicht antun. Alternative wären nur Hardware RAID 5 mit Hyper-V-Core und ReFS oder dann Proxmox mit ZFS und nur vdev mirrored. Wobei hat jemand Erfahrung mit dem Rebuild bei den Storage Spaces als Mirror? Parity macht ja keinen Sinn. Da wäre der Hardware RAID schneller.

 

[Trambahner]

Ich habs in Prinzip so wie gea, also ESXI + Storage-VM und Datastores dann via NFS. Allerdings mit BSD und nicht Solarish in der Storage-VM. Funktioniert seit nun 4 Jahren ziemlich probleimfrei und performant obendrein. Genug IOPS auch mit SQL-Datenbank auf einem Windows-Gast. LZ4 und Ram-Caching von ZFS.
WSUS? Kein Problem damit.
Alle VMs (ausser der Storage-VM natürlich) sind auf NFS-Datastore (SSD-ZPool drunter), nur Softwarepool, Datenarchiv und Mediendateien sind auf den Spindeln (Raidz2)

Hab bissi mit bhyve auf BSD rumgespielt, aber bin damit noch nicht gut Freund geworden. Alles noch hakelig und hab mit einem Windows-Gast auch nicht die Disk-Performance von der Kombi ESXI/ZFS erreicht. Trotz NFS. Und seit die Intel 900p Slog spielen darf, jucken mich auch die Sync-Writes wg. NFS nicht mehr.

 

[VirtuGuy]

Parity braucht halt Spindeln und SSD/NVME, für ein Home Setup ist es nur bedingt ideal. Grundsätzlich ist Proxmox mMn besser für Homeuse geeignet.

 

[fard dwalling]

OK, dann überlege ich jetzt Mal, welchen Weg ich gehe....

Könnte mit den 4 Platten am b120i auch noch eine 250gb SSD an ein storage durchreichen.

Kann proxmox auch auf eine SD Karte? Wenn ja wie groß? Oder sollte ich den p212 mit den beiden kleinen SSDs lieber für proxmox nehmen?

Bin mir nur noch nicht sicher, ob ich das umständliche geklimper in der cli wirklich möchte... Aber Docker wären auch schon eine coole Möglichkeit.

 

[martingo]

Ich bin ein Fan von Proxmox für Linux Systeme.
Aber eine Windows VM lief dort unterirdisch, werde ich nicht mehr machen und rate daher von Proxmox ab.

 

[rayze]

Also ich kann von Windows VMs auf einer Proxmox KVM nichts negatives Berichten. Betreibe hier einen Server2016 mit Proxmox auf einem SSD Storage und die Maschine läuft nicht besser oder schlechter als Native oder auf einem ESXi

 

[fard dwalling]

Ich teste jetzt gerade mal proxmox in einer VM mit 4 datastores, je 32GB.

Ich habe es auch geschafft mit zpool zwei Mirror zusammenzufassen in einen pool. Ich habe nur die ganzen Eigenarten von ZFS noch nicht gerafft. Testweise ein ISO Verzeichnis angelegt und ein vmstorage als zfs... Wenn ich es richtig verstanden habe, kann man nur Typ Verzeichnis als smb freigeben, oder? Samba hab ich bereits installiert und auch die Share Freigabe in die conf getippert...

Warum man das nicht einfacher machen und kann...
Wie kriegt man denn nun Shares an VMs übergeben. Also z.b. will ich per OpenMediaVault ein Verzeichnis für Time Machine freigeben. Das könnte man natürlich einfach in den vm datastore packen, aber das ist ja nicht Sinn der Sache. Ich hätte jetzt ein Verzeichnis 'timemachine' angelegt und würde das gerne an die VM übermitteln, diese soll dann die Bonjour Freigabe machen...

 

[VirtuGuy]

Zwecks Share reicht im Grunde ein "zfs set sharesmb=on rpool/ds", die Config wird dann automatisch unter /var/lib/samba/shares abgelegt.

Den Share musst du in deiner VM mounten, der Hypervisor greift hierbei nicht ein. Die Frage ist wozu OMV als Zwischenschicht eingebaut werden soll?

 

[fard dwalling]

Weil Macs ja mit einer einfachen Freigabe kein Time Machine Backup machen.

Auf dem Volumen wären dann einige Freigaben (medien, ablage, backups, timemachine, etc) und die würde ich dann ggfs entsprechenden VMs bereitstellen. Also das Verzeichnis Medien geht zur Plex VM oder Docker. TimeMachine müsste dann zu OMV um es für die Macs als TimeMachine Ziel bereitzustellen.

Da mir das ganze CLI geklimper etwas nervt, teste ich zusätzlich noch FreeNAS und OmniOS.

 

[fard dwalling]

Ich bräuchte nochmal kurze Tipps zu den SMB/NFS Freigaben direkt in Proxmox. Ich habe mir da gestern einen Wolf gegoogelt aber nicht so wirklich weitergekommen. VirtuaGuy schrieb ja, einfach zfs set sharesmb und fertig. Ich würde aber auch gerne einzelne Verzeichnisse nur für bestimmte Benutzer freigeben. Wo tu ich denn das? Oder sollte ich dann doch lieber Napp-It oder FreeNAS zusätzlich nutzen?
Wie ich gerade gesehen habe, sind das auch zwei 120GB SSDs. Da würde ich dann im ZFS Mirror Proxmox installieren und evtl VMs ablegen. Evtl packe ich auch einfach eine 250GB SSD mit an den P212 und da kommen dann VMs drauf. Dann könnte ich den B120i mit den 4x 3TB komplett durchreichen an ggfs Napp-It oder FreeNAS.

Versuche gerade meine Hyper-V VMs auf einen zweiten Server umziehen zu lassen.

Hätte auch noch einen AOC-SAS2LP-H8iR Controller hier. Wenn ich das richtig herausgelesen habe, ist der HBA fähig. Weiß nur nicht, ob der Microserver damit gut klarkommt.

 

[VirtuGuy]

Ich bräuchte nochmal kurze Tipps zu den SMB/NFS Freigaben direkt in Proxmox. Ich habe mir da gestern einen Wolf gegoogelt aber nicht so wirklich weitergekommen. VirtuaGuy schrieb ja, einfach zfs set sharesmb und fertig. Ich würde aber auch gerne einzelne Verzeichnisse nur für bestimmte Benutzer freigeben. Wo tu ich denn das? Oder sollte ich dann doch lieber Napp-It oder FreeNAS zusätzlich nutzen?

Wie unter WIndows, also einfach entsprechende ACL´s am Filesystem setzen. Leg einfach pro Freigabe/Ordner eine passende Gruppe an, füge die gewünschten User hinzu und berechtige die Gruppe auf den entsprechenden Ordern.

Ich bin bezüglich Timemaschine nicht ganz auf Stand, aber wozu brauchst du hier eine gesonderte Freigabe? Warum lagerst du die Daten nicht direkt im Container?

 

[fard dwalling]

Was heißt direkt im Container? Ich weiß nicht was TimeMachine im Speziellen benötigt, aber eine normale SMB Freigabe reicht dazu nicht. Bei AFP musste z.B. immer noch extra "Als TimeMachine bekannt geben" angehakt werden.

Hast du noch eine passende Seite mit den ganzen Befehlen für die SMB Geschichte? Bin auf der CLI nicht so zu Hause...

 

[fard dwalling]

Irgendwas scheint hier faul. Ich habe Proxmox auf die beiden SSDs am B120i im mirror ZFS Pool installiert. Bei einem anschließenden Start hat er eine SSD angeblich nicht gefunden, daher war der Pool degraded. System nochmal neugestartet, alles wieder gut. Nun habe ich mal Napp-It und FreeNAS in der Proxmox VM ausprobiert und wollte nun die 4x 3TB durchreichen. Dazu im Smart Array Konfigurationsmenü die Platten je als Raid 0 angelegt. Proxmox wieder gestartet, konnte er den rpool gar nicht mehr finden.... merkwürdig...