Server primär als NAS Ersatz (VMware oder Proxmox)

[esquire1968]

Hallo zusammen!

Ich werde meine alten QNAPs ausmustern und auf einen Server umsteigen. Folgende Konfiguration steht jetzt zur Verfügung:

Supermicro X11SSL-CF Mainboard
Intel Xeon E3-1230 v6
16 GB RAM (für den Anfang)
120 GB SSD
6x 4 GB HDD

Meine Vorstellung ist es einen Virtualisierer als Basissystem zu installieren - hier bin ich auf Proxmox gestossen, gefällt mir gut, nicht zuletzt wegen Linx/Open Source.

In den VM's laufen dann ...

Storage Software: Macht das Raid (Z2 wäre ideal), Share- und Benutzerverwaltung --- was wäre da ein einfaches, leistungsfähiges Tool?
Linux (Debian oder Ubuntu): Sync mit diversen Clouds, Resilio, Mediaserver (Twonky, Plex, Minim)
pfSense: Firewall

Ich konnte nicht herausfinden, ob sich da mit 8 Cores/16 GB RAM realisieren lässt - was braucht Proxmox für sich?

Auf welcher Ebene werden die HDDs zur Verfügung gestellt? Erstelle ich das Volume, ZFS und Raid mit Proxmox oder in der Storagesoftware?

Was wäre eine gute Storage Software als VM? OVM, FreeNAS, Turnkeylinux ...

Danke schon mal für Eure Tipps.

Thomas

 

[Firebl]

Ein Kumpel hat so ein Setup auf Ex- T20 Hardware mit 1225v3. Das geht soweit, jedoch wäre mehr RAM gut für ZFS. Besser 32GB oder 64GB

 

[Digi-Quick]

Proxmox kann doch ZFS selber...
es ht soagr schon jemand geschafft Napp-IT for Linux zur Verwaltung so zu installierne, daß es läuft (gar nicht so lange her), dann brauchts du keine Storgae VM

 

[esquire1968]

Das heisst, ich mache das Filemanagement (Shares anlegen, Samba- und NFS-Freigaben, Rechteverwaltung) direkt auf Proxmox? Dort lege ich auch den Raid Z2 Verbund mit den 6 HDDs an?

Das ganze andere Zeug (Plex, Minin, Sync mit diversen Clouds ...) kommt dann ich eine VM, diese hat vollen Zugriff auf den Raid-Verbund?

Wenn das geht, wäre da natürlich die beste Lösung.

 

[gea]

Prinzipiell hat man mehrere gute Optionen der Virtualisierung mit ZFS als Datenoption

1. Man nimmt ein vollwertiges Betriebssystem das auf Virtualisierung spezialisiert ist wie Proxmox auf Linuxbasis.

2. Man nimmt ein minimalistisches Betriebssystem das ausschliesslich auf Virtualisierung optimiert ist wie SmartOS
(läuft aus RAM und bootet vom USB Stick)

3. Man nimmt eine webbasierte Storagedistribution wie OmniOS/napp-it oder FreeNAS und nutzt deren Virtualisierungsoptionen

4. Man nutzt einen Type-1 Virtualisierer wie ESXi oder Xen.
Das kann man eher als Bios-Ergänzung oder Firmware sehen. Sowas läuft unterhalb von allen Gastsystemen.
Für Storage wird da üblicherweise ein externes oder virtualisiuertes SAN/NAS System benutzt.

Jede Variante hat Vor-und Nachteile. 1 und 2 haben keine brauchbaren webbasierten Storagemanagementoptionen und taugen nur wenn man sich perfekt auf der Konsole auskennt oder mit Minimal Storagekomfort klarkommt

3. Ist für vieles die einfachste Option vor allem wenn einfaches Storage im Vordergrund steht.
Man hat aber viele Abhängigkeiten. Disaster-Recovery des gesamten Systems kann kompliziert sein.

Ich mache 4. weil da die Virtualisierungsebene am kleinsten/schnellsten ist, ESXi beliebige Gäste perfekt unterstützt und in kürzester Zeit erstmals oder nach Crash erneut aufgesetzt ist.

Ergänzt wird das um eine vollwertige virtualisierte Storageappliance wie FreeNAS (BSD) oder OmniOS (Solaris). Die sind ebenfalls in wenigen Minuten erstmals oder nach Crash aufgesetzt. Andere Services wandern dann in eigene VMs und werden auf ZFS mit Snapshots abgelegt.

 

[Digi-Quick]

Das heisst, ich mache das Filemanagement (Shares anlegen, Samba- und NFS-Freigaben, Rechteverwaltung) direkt auf Proxmox? Dort lege ich auch den Raid Z2 Verbund mit den 6 HDDs an?

Das ganze andere Zeug (Plex, Minin, Sync mit diversen Clouds ...) kommt dann ich eine VM, diese hat vollen Zugriff auf den Raid-Verbund?

Wenn das geht, wäre da natürlich die beste Lösung.

genau das.
Mit der Einschränkung, das ZFS unter Proxmox (= Debian / Linux) halt nicht native ist und die Verwaltung mit "Napp-It for Linux" ggü. der Verwendung vom "originalem" Napp-It unter Solaris / Solarishome etc. deutlich eingeschränkter ist.

Die Installation von Napp-It als Storageappliance unter Proxmox scheint auch etwas tricky zu sein, was ich gelesen habe.
Einfacher ist Option 4 von Gea....
Ob die StorageVM nun mit Solaris (Solarish, OmniOS, OpenIndiana jeweils mit Napp-It) oder freeBSD (FreeNAS, NAS4free, TruOS , native FreeBSD) läuft ist prinzipiell erstmal egal.

 

[VirtuGuy]

Storage Software: Macht das Raid (Z2 wäre ideal), Share- und Benutzerverwaltung --- was wäre da ein einfaches, leistungsfähiges Tool?

Sofern du nicht dutzende User/Shares verwalten möchtest, würde ich diese einfach direkt am Proxmox Host anlegen.

Für deine Anwendungen würde ich als getrennte Container anlegen. Proxmox bringt dazu diverse Templates von TurnKey GNU/Linux: 100+ free ready-to-use system images for virtual machines, the cloud, and bare metal. mit. Alternativ kannst du natürlich selber die gewünschten Anwendungen in eigenen Containern (debian, ubuntu, arch,..) installieren. Für Resillo wirst du dazu nicht herumkommen. Es gibt auch mehrere Templates für Samba inkl Domain Controller, mMn macht man sich damit in kleinen Umgebungen nur zusätzlichen Overhead.


In Summe solltest du mit 16gb RAM locker auskommen, zumindest wenn es bei o.g. Anwendungen bleibt. Dem Host würde ich inkl ZFS gut 8gb Ram gönnen, der Rest reicht je nach Anwendung problemlos für eine Firewall VM und 5-10 Container.

 

[Trambahner]

Ich verwende seit mehreren Jahren nun erfolgreich Option 4 mit ESXI. Ist bewährter Industriestandard-Hypervisor und spielt auch gut mit der VM Workstation auf einem Laptop zusammen.
Durch die Trennung von Hypervisor- und Storageinstallation wirds schön flexibel und schnell reparierbar/re-installierbar und gleichzeitig kann ich die VMs per ZFS snappen/komprimiert ablegen und den ARC/L2ARC nutzen.

 

[esquire1968]

Vielen Dank für die Tipps.

Ich werde mal ein paar Varianten testen. Beginnen möchte ich mit Proxmox und darauf ein paar VMs und Container laufen lassen. Später wage ich mich dann mal an ESXi heran.

Noch eine grundsätzliche Frage zum Setup. In meiner Frage an das Forum zum Thema Hardware (https://www.hardwareluxx.de/community/f101/homeserver-als-nas-ersatz-1187962.html) wurde mir dringend empfohlen den LSI3008 der sich onboard befindet auf IT-Mode zu flashen. Das gilt jedenfalls für die ESXi-Lösung. Ist das auch für Proxmox sinnvoll/notwendig?

 

[Digi-Quick]

wenn du ZFS unter Proxmox nutzen möchtest : JA
(bei LVM-Raid ebenfalls sinnvoll)

Unter Proxmox könntest du natürlich auch das Hardware Raid (0,1,1E,10) nutzen, welches allerdings ohne Controllercache auskommen muß.

 

[esquire1968]

Hab ich mir gedacht ... wollte es eigentlich vermeiden, da ich Sorge habe etwas kaputt zu machen - sorry, erstes Mal.

Ich frage mich allerdings, für was der LS3008 eigentlich gut ist? Alle empfehlen mir das Ding "dumm" zu machen.

 

[snipor]

Ich verwende seit mehreren Jahren nun erfolgreich Option 4 mit ESXI. Ist bewährter Industriestandard-Hypervisor und spielt auch gut mit der VM Workstation auf einem Laptop zusammen.
Durch die Trennung von Hypervisor- und Storageinstallation wirds schön flexibel und schnell reparierbar/re-installierbar und gleichzeitig kann ich die VMs per ZFS snappen/komprimiert ablegen und den ARC/L2ARC nutzen.

Welches StorageOS nutzt Du, wenn ich fragen darf und auf welcher Hardware? Möchte mir etwas ähnliches aufsetzen.

 

[gea]

Ich frage mich allerdings, für was der LS3008 eigentlich gut ist? Alle empfehlen mir das Ding "dumm" zu machen.

mehrere Gründe
- ZFS ist als Software Raid-System wesentlich leistungsfähiger und intelligenter als Hardwarraid
- Für jeden HBA Modus (IT, IR, Raid5) wird ein anderer Treiber benötigt.

Der IT Mode Treiber (Platten direkt 1:1 an das OS weiterreichen) hat den geringsten Overhead und wird unter ZFS am Besten gepflegt. Das ist gut für Performance und Stabilität.

IR Mode (Raid-1/10) wäre ansonsten noch ganz ok. Wenn es einen Raid-5 Modus/Firmware gibt,
sollte man den nicht nehmen. Dafür taugen die HBA nicht (kein Cache, keine BBU, keine Performance)

Insgesamt sind die HBA mit LSI Chipsatz (2008, 2308, 3008) quasi der Goldstandard für Softwareraid.
Für ein professionelles Setup das absolute Muss und die beste Option um sehr schnelle oder sehr viele Platten z.B. via Expander anzuschließen

 

[hoppel118]

Hab ich mir gedacht ... wollte es eigentlich vermeiden, da ich Sorge habe etwas kaputt zu machen - sorry, erstes Mal.

Ich frage mich allerdings, für was der LS3008 eigentlich gut ist? Alle empfehlen mir das Ding "dumm" zu machen.

Moin, habe gestern auch das erste Mal die IT Firmware auf meinen Onboard LSI3008 meines Supermicro X11SSH-CTF Mainboards geflasht. Schau dir mal diesen Thread an, da ist alles ganz genau beschrieben. Das war echt easy:

[How Do] Flashanleitung LSI SAS3008 auf Mainboard Supermicro X11SSH-CTF über integrierte Uefi-Shell | FreeNAS Community

Ich habe übrigens kein FreeNAS im Einsatz, auch wenn ich dort im Forum gepostet habe.

Gruß Hoppel

 

[esquire1968]

Das Flashen der LSI3008 hat problemlos funktioniert! Vielen Dank!

Ich werde nun mit dem Testen beginnen. Auf Basis der 4 von Euch angeführten Möglichkeiten werde ich mit folgenen Szenarien beginnen:

ESXi als Basissystem
* VM1 mit FreeNAS: Dort lege ich den ZFS Raid Z2 Verbund an, den ich an die anderen VMs weiterreiche. User- und Freigabenverwaltung.
* VM2 Debian: NextCloud und das ander Zeugs mit Zugriff auf den Raid Verbund.

ESXI als Basissystem
* VM1 mit napp-it: Dort lege ich den ZFS Raid Z2 Verbund an, den ich an die anderen VMs weiterreiche. User- und Freigabenverwaltung.
* VM2 Debian: NextCloud und das ander Zeugs mit Zugriff auf den Raid Verbund.

Proxmox als Basissystem
Dort lege ich den ZFS Raid Z2 Verbund an, den ich an die VMs weiterreiche - wenn das geht.
* VM1 mit ??? zur User- und Freigabenverwaltung.
* VM2 Debian: NextCloud und das ander Zeugs mit Zugriff auf den Raid Verbund.

Könnte das funktionieren?

Für die mehrheitlich präferierte Variante "4" ... Was wäre eine gute und einfach "NAS-Software" zum Verwalten von Freigaben und Usern? napp-it, OVM oder FreeNAS (wobei letzteres doch recht resourcenhungrig ist).?

 

[Digi-Quick]

Nas4Free könnte auch als "einfacher" Domaincontroller eingerichtet werden, ob FreeNAS das auch kann, weiß ich nicht.

 

[pumuckel]

für nen Storage mit ein paar VMs brauchste sicherlich keinen Xeon

da geht ein pentium oder i3 genauso (check passmarks)

 

[esquire1968]

Jetzt habe ich mal ESXi as Basissystem installiert, darauf läut "napp-it all in one" als VM und debian9 in einer weiteren VM. Das funktioniert aus soweit gut. Folgende Frage habe ich dennoch:

Wie kann ich die Userzugriffsberechtigung für die Shares festlegen? So weit ich verstanden habe benötigt man dazu ein add-on!? Gibt es eine andere Möglichkeit?

Danke sehr!

 

[martingo]

Ich würde mal Folgendes noch in den Raum werfen: ESXi als Level1 Hypervisor (Basissystem). Darauf Storage VM und Proxmox. Deine Vielzahl an Debian Diensten dann thematisch und systematisch gliedern und LXC Container dafür verwenden. Ich denke, damit verbindest du das beste aus zwei Welten. Du nutzt die Vorteile von ESXi und kannst trotzdem die Performancevorteile der Containerlösungen verwenden.

- - - Updated - - -

Sorry, hab da zwei Threads durcheinander geworfen: Einzelner Server mit vielen Diensten vs. Hypervisor mit virtuellen Maschinen
Evtl. wäre es aber trotzdem eine Möglichkeit.

 

[gea]

Jetzt habe ich mal ESXi as Basissystem installiert, darauf läut "napp-it all in one" als VM und debian9 in einer weiteren VM. Das funktioniert aus soweit gut. Folgende Frage habe ich dennoch:

Wie kann ich die Userzugriffsberechtigung für die Shares festlegen? So weit ich verstanden habe benötigt man dazu ein add-on!? Gibt es eine andere Möglichkeit?

Danke sehr!

Das add-on braucht man nur wenn man Deny Regeln setzen möchte (macht Solaris anders als Windows) oder man ACL in Solaris setzen möchte.

Normalfall
Aus Windows als root verbinden und Rechte in Windows setzen. Solaris ACL verhalten sich weitgehend wie ntfs ACL inkl Vererbung.

 

[esquire1968]

Sorry, verstehe ich nicht! Wie kann ich ich als root verbinden? Ich sehe die Shares in Windows, wie kann ich die Zugriffsberechtigungen ändern?

 

[gea]

Sofern man kein "Gast ok" Share hat, muss man sich beim Verbinden aus Windows anmelden. Hier als root mit dem Rootpasswort anmelden. Da der Benutzer Root immer Vollzugriff hat kann er alle Rechte nach belieben setzen.

 

[esquire1968]

Bei jedem Share, das ich anlege (SMB share on; SMB guest access off) habe ich in Windows sofort Zugriff. Wenn ich mittels Windows die Berechtigungen änder möchte wir der Zugriff verweigert.

 

[gea]

Ist denn der Solaris User inkl. Passwort identisch zu Windows?
Dann geht die Anmeldung automatisch.

Daher: Netzlaufwerk verbinden > Anderer User

 

[esquire1968]

Danke, damit klappt es zum Teil. Ich kann Berechtigungen für Gruppen anpassen, jedoch nicht für einzelne User (obwohl diese gefunden werden?).

Klar ist mir das Ganze jedoch nicht! Von meinem alten QNAP war ich gewohnt, die Berechtigungen am NAS zu vergeben. Das muss doch auch unter Napp-it/Solaris funktionieren. Der Umweg über Windows erscheint mir nicht so gut.

 

[gea]

Ist das Windows Home?
Das kann ACL remote nur begrenzt setzen

Unter Solaris kann man ACL per Console (/usr/bin/chmod) setzen, siehe Setting and Displaying ACLs on ZFS Files in Compact Format - Oracle Solaris ZFS Administration Guide. Napp-it kann das mit der ACL Extension. Solaris mit dem eigenen SMB Server verhält sich aber anders als SAMBA z.B. mit Qnap.

SAMBA setzt auf Unix Permissions/ Posix ACL. Der Solaris eigene SMB Server bildet weitgehend die Rechte von ntfs ab, nutzt Windows SID und verhält sich extern wie ein Windows Server (SMB Gruppen in Gruppen, ACL Vererbung). Windows kann ACL mit den Vererbungen perfekt handhaben. Ich arbeite daher praktisch immer mit Windows um Rechte zu setzen.

 

[esquire1968]

Ist Windows 10 Pro! Ich werde es am Abend nochmals mit Windows probieren. Das ACL Tool von napp-it ist kostenpflichtig?!

Noch zwei Fragen:
(1) Ich habe jetzt 32 GB RAM, einen Z2-Raidverbund mit 6x 4 TB, was netto "nur" 12,6 TB ergibt, kann das sein. Da würde ja bedeuten, dass ich 50% an den Raidverbund verliere!
(2) Macht es Sinn eine SSD als Cache einzusetzen und diese an den HBA Controller zu hängen?

 

[besterino]

(1) Ich habe jetzt 32 GB RAM, einen Z2-Raidverbund mit 6x 4 TB, was netto "nur" 12,6 TB ergibt, kann das sein. Da würde ja bedeuten, dass ich 50% an den Raidverbund verliere!

Das passt. 6x4TB=24TB netto ergibt im RaidZ2: Nettokapazität minus 2x4TB=8TB für die "zweifach-Redundanz" macht 16TB (ist halt so), minus 20%=3,2TB wegen "Standard-Performance-Puffer" auf den Gesamtpool, den ZFS auf den Gesamtpool zurückhält macht ~12,xTB.

 

[gea]

Mit Windows Pro sollte es keine Probleme geben. Die ACL Extension ist kostenpflichtig

1.
6 x 4 TB im Raid Z2=16 TB nutzbar
Da ZFS die Kapazität in T (Tebibyte) mißt, landet man bei gut 14 T

Napp-it setzt eine Resrevierung von 10% um ein Vollaufen des Pools zu vermeiden (kann man bei Bedarf löschen). Gehen also nochmal ca 1.5 T ab. Bleiben gut 12 T über. Passt also

2.
Bei 32GB RAM macht eine SSD als Cache so gut wie nie Sinn. Ramcache ist sehr viel schneller als SSD Cache und mit 32G RAM ausreichend. Einzige Ausnahme ist Read-Ahead (vorausschauendes Lesen). Für sequentielle Daten kann das was bringen z.B. für Wiedergabe mehrerer paralleler Videostreams. Der ZFS Schreibcache ist sowieso immer im RAM (10% RAM/ max 4GB per default bei Open-ZFS).

 

[esquire1968]

Ich bekomme das mit den Berechtigungen einfach nicht hin. Ich habe jetzt ein Windows Account "Adminstrator" angelegt und es damit versucht - erfolglos! Ich kann die Berechtigungen der Shares einfach nicht ändern. Leider habe ich im Netz auch keine Anleitung gefunden ... Gibt es so etwas?

Nochmals zu Thema "Cache". Meine Angabe war nicht korrekt! Ich habe zwar 32 GB auf der Maschine, Napp-it als VM bekommt nur 16 GB. Gilt die Empfehlung zum Cache dann trotzdem?