NAS als VM, welche Software?

[cspzagopqy]

Hallo zusammen,

Ich möchte mein NAS als VM betreiben.
Und da stellt sich mir die Frage, welches OS/Software ich dafür einsetzen soll?

Ein paar Worte zu meinen Anforderungen:

• Ich möchte unbedingt ZFS nutzen.
• Der Pool soll verschlüsselt sein.
• Storage via NFS an weitere VMS sharen.
• Clients sollen via SMB auf Shares zugreifen.
• Weboberfläche zur Verwaltung wäre wünschenswert.
• NAS soll als VM laufen, nicht auf dem Hypervisor selbst!

Bei meiner Recherche nach NAS Systemen mit ZFS springt einen FreeNAS ja förmlich an...
Das scheint bei weitem die beste ZFS Integration zu haben. Sonst muss man überall CLI Gefrickel betreiben.
Vor allem wenn es mit Verschlüsselung sein soll, konnte ich leider nicht viele Alternativen finden.

Ich habe einen HBA zur Verfügung und folgendes bereits ausprobiert:
HBA komplett an die VM durchgereicht (PCIe Passthrough) und FreeNAS installiert.

Das hat super funktioniert. Lief alles. Performance war auch gut.
Aber: Ich finde FreeNAS ziemlich groß und kompliziert für meine recht simplen Anforderungen.
Außerdem erscheint mir die Konstellation mit Passthrough unnötig kompliziert.
Das Teil soll super stabil laufen. Wobei das obrige Konstellation über 2-3 Wochen tat.

Habt ihr Vorschläge und Anregungen, wie man das ganze einfacher realisieren kann?
Oder soll ich bei den Anforderungen ZFS & Verschlüsselung einfach mit FreeNAS fahren?

 

[gea]

Wenn man ein ZFS NAS virtualisieren möchte, eine Performance wie auf Hardware, Hotplug oder Tests der Platte via Smart haben möchte, geht nur HBA Passthrough (also Durchreichen des Controllers) oder physical raw disk mapping, also Durchreichen einzelner Platten. In beiden Fällen sollte man einen SAS Controller haben.

Diese Lösung habe ich vor ca 12 Jahren erstmals vorgestellt. Damals galt ein virtualisiertes NAS noch als unmögliches Unterfangen und besonders aus dem FreeNAS Lager wurde ich massiv angegangen. Seit ca 5 Jahren gilt das aber auch unter Free-BSD als Option.

Meine Lösung mit Web-UI basiert auf Oracle Solaris mit native ZFS oder OmniOS, einem freien Solaris Fork. Bei beiden gibt es die beste OS/ZFS Integration und den genialen SMB Server von Sun. ZFS wurde halt von Sun für Solaris inkl integriertem iSCSI, NFS und SMB Sharing entwickelt - nicht nur als Dateisystem. Meist schneller als SAMBA und viel einfacher zu konfigurieren. Tut halt einfach nach dem Einschalten. Auch ist Solarish erheblich resourcenschonender als z.B. FreeNAS das relative "fett" ist.

Ganz nebenbei. ZFS Verschlüssellung gibt es aktuell nur bei Solaris seit 2011 (original ZFS) und im Open-ZFS Bereich bei Linux und Illumos/OmniOS/OI seit letztem Jahr. Bei Free-BSD kommt es erst gerade als erste beta.

Meine Lösung mit napp-it als kostenloses fertig konfiguriertes ova Template für ESXi, installiert in 2 Minuten.
PDF 5.b, https://napp-it.org/manuals

 

[cspzagopqy]

Von napp-it höre ich jetzt zum ersten mal, aber das was du schreibst hört sich eigentlich alles ziemlich gut an.

Ein fertiges OVA Template würde ich aber vemutlich nicht nehmen.
Den Installations- und Konfigurationsprozess würde ich dann gerne selbst durchlaufen.
Aber ich sehe schon, du hast da einige Anleitungen am Start.

Werde mich da die Tage auf jeden Fall mal etwas einlesen.
Danke für den Tipp.

So wie ich das sehe ist aber keine der Varianten, auch nicht die kostenlose, Open Source - ist das soweit korrekt?
Das mag für viele kein großes Problem darstellen, aber bei mir ist eigentlich jede eingesetzte Software Open Source.
Es wäre schon schön wenn ich das durchgängig beibehalten könnte.

PS: Entwickelst und betreust du das ganze Projekt alleine?

 

[gea]

Von napp-it höre ich jetzt zum ersten mal, aber das was du schreibst hört sich eigentlich alles ziemlich gut an.

Liegt wohl daran dass in Europa bis vor kurzen kaum jemand ZFS im Blickfeld hatte.

vgl

Solaris, Nexenta, OpenIndiana, and napp-it

A place to discuss Solaris, NexentaStor Enterprise Edition, Community Edition, OpenIndiana, and related topics such as the napp-it WebGUI.

forums.servethehome.com

OpenSolaris derived ZFS NAS/ SAN (OmniOS, OpenIndiana, Solaris and napp-it)

How to setup a ready to run OpenSolaris derived ZFS Storage Server +configure it + add a WEB-GUI within minutes more: napp-it mini HowTo 1 - setup a ZFS Server How to setup a All-In-One Server - VMware ESXi based + virtualized ZFS-SAN-Server + virtualized network Switch + other...

hardforum.com

Da sind Solarish, ZFS und napp-it mit die meistbesuchten Threads.

Ein fertiges OVA Template würde ich aber vemutlich nicht nehmen.
Den Installations- und Konfigurationsprozess würde ich dann gerne selbst durchlaufen.
Aber ich sehe schon, du hast da einige Anleitungen am Start.

Werde mich da die Tage auf jeden Fall mal etwas einlesen.
Danke für den Tipp.

Kein Problem. OmniOS installieren (ist übrigens auch ein europäisches Projekt UK/CH, https://omniosce.org/), dann Open-VM Tools und napp-it (optional als Web-UI, arbeitet aber transparent mit CLI). Eventuell dann noch SSL für verschlüsselte eMails oder andere Programme. Außer OmniOS muss man nichts installieren. Solarish bringt von Haus aus alles mit (iSCSI, NFS, SMB, Netzwerkvirtualisierung etc)

So wie ich das sehe ist aber keine der Varianten, auch nicht die kostenlose, Open Source - ist das soweit korrekt? Das mag für viele kein großes Problem darstellen, aber bei mir ist eigentlich jede eingesetzte Software Open Source. Es wäre schon schön wenn ich das durchgängig beibehalten könnte.

Die Solaris Forks OmniOS bzw OpenIndiana sind Opensource. Napp-it ist es nicht aber die Quellen sind offen (Perl). Das Lizenzmodell von napp-it ist wie bei ESXi Free vs Commercial.

PS: Entwickelst und betreust du das ganze Projekt alleine?

Ich bin zumindest Hauptentwickler und "Eigentümer".

 

[besterino]

Gut dass gea schon geantwortet hat. Wäre auch meine Empfehlung gewesen.

Und @gea: würde sagen, dass ZFS so seit 2016 auch deutlich in Europa an Bekanntheitsgrad gewonnen hat. Nur mit Solarish sieht’s irgendwie noch recht duster aus, was m.E. sicherlich auch an der etwas undurchsichtigeren Zukunft bzw. nach Abkehr von Oracle mangelnden Unterstützung von einem der richtig Großen/ Bekannten liegt. Was ich persönlich sehr bedauere.

 

[gea]

Ja, wirklich schade.
Vor 15-20 Jahren war Sun für mich als sie (Open) Solaris mit und rund um ZFS entwickelten die mit Abstand innovativste Enterprise Computerfirma weltweit und die einzige die damals Windows NT Paroli bieten wollte. Wer damals Informatik studierte errinnert sich sicher an die Vorherrschaft der Sun Solaris Rechnerpools an den Hochschulen.

Mit OpenSolaris wollten die auch Linux Paroli bieten. Leider haben sie dabei das Verkaufen vergessen und wurden ausgerechnet von Oracle gekauft. Interesse hatte auch Apple. Die hatten ZFS da sogar mal in OSX Server. Die haben dann aber den Servermarkt fallengelassen und sich I-Gedöns zugewandt. Oracle hat die weitere Open-Source ZFS Enwicklung dann auch sofort gestoppt.

Allen Göttern sei dank, dass da OpenSolaris mit ZFS bereits von Sun als OpenSource freigegeben war und von dem freien Solaris Fork Illumos z.B. mit OpenIndiana fortgeführt wurde. Ansonst müssten wir alle NetApp kaufen wenn wir ordentliches Storage wollten. Die Klage von NetApp gegen Sun/Oracle wegen ZFS vs Wafl ist ja zwischenzeitlich Geschichte.

 

[besterino]

Sun (Hardware) war Hammer. Hatte damit selbst allerdings nur mal am Rande zu tun und durfte da an so wahnsinnig teuren Ultrasparcs rumfummeln... naja... damit arbeiten. Ich HÄTTE gerne daran herumgefummelt.

 

[gea]

Sparc Prozessoren, ZFS, Dtrace, modernes Service Management, Container-Virtualisierung (neudeutsch Docker), NFS und ein wirklich Windows kompatibler SMB Server mit ntfs Rechten in ein Unix Dateisystem und ZFS integriert. Das war und ist Solaris basiert und wurde bei Sun entwickelt (zwischzeitlich ist X86 aber eher auch bei Oracle wichtiger als Sparc).

Im Gegensatz zu Nokia die einen ähnlichen Absturz hingelegt haben wie Sun, gibt es das nach wie vor komplett als kommerzielles Produkt (Solaris) und teils als OpenSource (OmniOS, OpenIndiana)

 

[Ceiber3]

ZFS ist eben wie ihr schon schreibt eher für große IT Firmen gedacht. Die stecken nicht mal einfach ne Festplatte dazu wie es viele Privatleute machen.
Ich finde ZFS eigentlich genial, als privat/homeuser stört mich halt extrem, dass man zu ein Pool/Volume keine weitere Festplatte hinzufügen kann. Das leider für mich ein k.o. Kriterium.
Anders als im Gewerbe Bereich wechselt man nicht einfach mal so alle Festplatten gegen größere. Und ja ich weiß, man kann ein weiteren ZFS Pool erstellen und den zum Volume hinzufügen.
Dabei verliert man aber leider immer min eine Festplatte die man sonst als Speicher hätte. Könnte man bei ZFS einfach eine Festplatte hinzufügen wie bei normalen Raid, wer es Perfekt.

 

[cspzagopqy]

Da wir jetzt eh schon so weit vom Thema entfernt sind, nochmal eine kleine Zusammenfassung von meinem Verständnis von ZFS:
- Man erstellt einen Speicher-Pool
- Darunter erstellt man ein vdev, z.B. 2x 6TB Platten als Mirror
- Wenn man noch so eine vdev erstellt, erreicht man fast doppelte Performance, weil die Daten gleichmäßig auf die zwei vdevs gestriped werden.
- Erweiterbar ist der Pool sehr flexibel durch hinzufügen weitere vdevs.

Ist das soweit korrekt?

 

[besterino]

Grundsätzlich ja, nur dass von der Logik her die vdevs quasi „unter“ dem Pool liegen. Du baust also (gedanklich) erst vdevs und ordnest diese dann einem Pool zu (in der Syntax passiert das aber z.T. gleichzeitig).

Ein vdev kann halt auch aus nur einem Datenträger bestehen.

Die Oracle Docs sind m.E. auch immer eine Lektüre wert:

zu vdevs

https://docs.oracle.com/cd/E19253-01/819-5461/gazca/index.html

zu Pool-Erweiterungen

https://docs.oracle.com/cd/E19253-01/819-5461/gazgw/index.html

Schadet nie, auch wenn dir Geas Napp-It GUI die Syntax weitestgehend abnimmt.

 

[gea]

Anders als im Gewerbe Bereich wechselt man nicht einfach mal so alle Festplatten gegen größere. Und ja ich weiß, man kann ein weiteren ZFS Pool erstellen und den zum Volume hinzufügen.

ZFS ist eben wie ihr schon schreibt eher für große IT Firmen gedacht. Die stecken nicht mal einfach ne Festplatte dazu wie es viele Privatleute machen.
Ich finde ZFS eigentlich genial, als privat/homeuser stört mich halt extrem, dass man zu ein Pool/Volume keine weitere Festplatte hinzufügen kann. Das leider für mich ein k.o. Kriterium.
Anders als im Gewerbe Bereich wechselt man nicht einfach mal so alle Festplatten gegen größere. Und ja ich weiß, man kann ein weiteren ZFS Pool erstellen und den zum Volume hinzufügen.
Dabei verliert man aber leider immer min eine Festplatte die man sonst als Speicher hätte. Könnte man bei ZFS einfach eine Festplatte hinzufügen wie bei normalen Raid, wer es Perfekt.

Klar ist es mir bei der Arbeit egal, wenn ich einen Pool mit einem Z2 vdev aus 6 Platten um ein weiteres Z2 vdev auf 12 Platten erweitere um doppelte Performance und Kapazität zu erhalten und dabei 2k Euro ausgebe. Zu Hause schaue ich auch auf den Preis. Ich käme aber nicht auf die Idee die überragende Echtzeit Datensicherheit von ZFS zu opfern nur um irgendwelche kleinen Uraltplatte jenseits ihrer Soll Lebenszeit weiter zu nutzen. Da nehme ich einen Mirror von 4-14 TB aus zwei Platten für 200 - 700 Euro je Mirror und erweitert den halt um zwei weitere Platten wenn der Platz nicht reicht. Alle 5+ Jahre braucht man eh komplett neue Platten und nutzt die alten jenseits ihrer Soll Lebenszeit als offline-Backup.

 

[besterino]

Wie bekommt man überhaupt 28TB innerhalb von 5 Jahren voll? Vor allem: mit Daten, die eine entsprechende Sicherheit/Redundanz benötigen? Wenn man das absehen kann, dass solche Mengen an wichtigen Daten anfallen, sollte man eh gleich entsprechend planen und eben wie erwähnt auch die Erneuerung nach 5 Jahren direkt mit einkalkulieren.

Alternativ kann macht eine Differenzierung der Daten nach Wichtigkeit und entsprechend unterschiedliche Pools inkl. Backup mehr Sinn. Umgekehrt: wenn’s nur um Bequemlichkeit geht, alles auf einen Pool mit hoher Ausfallsicherheit zu knallen, zahl‘ halt den Preis upfront für die höhere Anzahl benötigter Datenträger.

Ich hab auch knapp 40TB Storage, aber davon sind eher nur 4-5TB wirklich wichtig..