Welches NAS/Storage-OS

[Rocker]

Hallo,

ich bin aktuell auf der suche nach einem Storage/NAS-Server OS und komme wollte einfach mal in die Runde fragen, was ihr so empfehlen könnt.
Getestet habe ich bis jetzt folgendes und iwie hatte ich immer etwas auszusetzen....

Ich nutze einen Dell T20 mit ESXi 6.5, hierauf soll/wird das OS virtualisiert und bekommt einen HBA durchgereicht. Mit insgesamt 4xHDD WDRED und 4xSSD (unterschiedliche Größen und Typ)
Die 4HDD sind ein großer Tank und sind "cold" Storage (Archiv) 2 der SSD´s sind größer und werden im Mirror für die sich sehr oft ändernden Daten genutzt. --> hier erfolgt die Freigabe an die Clients über SMB.
die beiden anderen SSD´s werden per NFS an den ESXi Host freigegeben und dort genutzt.

Das Ziel:

• ein System das einfach per WebGui zu bedienen ist
• Spinndown der Platten soll zuverlässig funktionieren
• Die 4 Platten Konfiguration soll wie oben beschrieben möglich sien
• Snapshots und Rollback soll einfach möglich sein, idealer weise über die GUI.
• diverse Addons sollen darauf laufen können (z.B. ClamAV)

Ursprünglich komme ich von einem Server2012R2 mit Storagespaces
Dieser war zwar performant, aber bot kaum einen der obig genannten Punkte zu meiner Zufriedenheit.

Anschließend wechselte ich auf XPEnology
Ein System das alles mit sich bringt was man sich wünscht!
ABER, das gefummle mit den Updates geht einfach auf die Nerven!

Dann nutzte ich FreeNas Corral.
Hier war ich eig. zufrieden, lediglich der Spinndown der Platten funktionierte nicht.
Snapshots waren super easy anzulegen und auch der Rollback war ebenso einfach gestaltet!
Und dann haben sie den Support gekillt
FreeNas11 will auf dem neuen ESXi nicht so wie ich das möchte....

Nun landete ich bei OMV
Ein tolles, vielseitiges, schlankes, OS das BTRFS, und ZFS über Plugins anbietet.
Der Spinndown der Platten klappt tadellos!
Es sind viele Addons verfügbar.
ABER das erstellen von Snapshots und der Rollback ist ein gefummel, bzw. sollte man hier die Konsole benutzen

Aus diesem Grund suche ich aktuell noch die Eierlegende Wollmilchsau
Hier ist mir dann Rockstor aufgefallen, hier nun meine Frage, kennt das System jemand intensiver bzw. kann das System die Anforderungen so abdecken?
...oder kennt jemand eine ganz andere Alternative die diese Anforderungen erfüllt?

Vielen lieben Dank

Gruß Rocker

 

[besterino]

VM mit Solaris 11.3 plus Napp-IT als Filer. Allein das Parken der Platten macht der m.W. nicht von Haus aus. Alles andere dafür auf höchstem Niveau. Gut, ausgenommen SMB3/Multipath (wer's braucht...)

Sonstige Späränzken kannste dann in einer anderen VM Deiner Wahl fahren.

 

[Rocker]

Hallo,

vielen Dank für deine Antwort, ich werde mir das auf jeden Fall mal ansehen, aber auf den ersten Blick sieht das schwer nach gefrickel aus

Gruß Rocker

 

[besterino]

Zeig Du mir ein stabileres OS mit einem ausgereifteren Filesystem und ich bin gerne bereit, über einen Wechsel nachzudenken.

Lass Dich von der minimalistischen Napp-it GUI und der Installation per Konsole nicht täuschen. Die GUI "übersetzt" im Prinzip nur clicks in die entsprechenden Konsolen-Kommandos. Ist sicherlich nicht so clicki-bunti schick wie Windows oder Xpenology, aber alles für uns Wichtige voll im Filesystem bzw. OS vernünftig (CIFS/SMB, NFS, iSCSI, Encryption, Compression, Replikation, Snaps, Scrubs use.) integriert ... (auch wenn man 99.9% der sonstigen Solaris Fähigkeiten für einen filer gar nicht nutzt)...

Das ist ein echtes Server-OS, kein Spielzeug.

Einziger Haken: für Homeuser ohne Lizenz keine Updates, kein Support. Ist zwar von Haus aus ziemlich sicher, würde ich aber vielleicht nicht direkt von außen erreichbar machen (also ohne VPN).

 

[Trambahner]

Zweiter Haken: Kein NVME-Passthrough bei ESXI.

 

[gea]

Also meine Intel P750 laufen unter ESXi im Pass-through Modus (OmniOS)

 

[Digi-Quick]

Ich werfe noch Nas4Free und Unraid in die Runde.
Nas4Free kann eigentlich alles was FreeNAs auch kann - inkl. Spindown! Spindwon wird für ZFS allerdings generell nicht empfohlen - ist nicht "best practise".
FreeNAS ist etwas mehr "Klickibunti" (optisch aufgehübscht) und hält sich nicht so ganz an die Namenskonventionen von ZFS (Volume und Dataset werden anders gebraucht, war zumindest in der von mir vor einigen Jahren getesteten Version so.)

Ansonsten OmniOS oder OpenIndiana mit Napp-IT, (beides Forks von OpenSolaris unter der "Fahne" von IllumOS).
Da Solaris und Opensolaris und und deren Ableger Server Betriebssysteme sind, wird hier generell von Haus aus kein Spindown unterstützt.


Wird Virtualisiert um des Virtualisierens Willen (als Selbstzweck) oder was soll da noch darauf laufen?
Einige NAS OSses bringen auch eine eigene Typ 2 Virtualisierungsumgebung mit (z.B. Virtualbox, BHYVE, Docker etc.)!

P.S. FreeNAS wird trotzdem weiterentwickelt, auch wenn Corral eingestampft wurde.

 

[Trambahner]

@gea: OmniOS ja, da wurde ja dran gearbeitet. Aber Original Solaris nicht.

Btw, Nas4free 11 nutz ich auch als Storage.

 

[gea]

Ansonsten OmniOS oder OpenIndiana mit Napp-IT, (beides Forks von OpenSolaris unter der "Fahne" von IllumOS).
Da Solaris und Opensolaris und und deren Ableger Server Betriebssysteme sind, wird hier generell von Haus aus kein Spindown unterstützt.

Ausserhalb des Heimbereichs setzt niemand Spindown ein, nicht zuletzt weil ein Hochfahren eines Pools aus vielen Platten viel zu lange dauert und man auch teilweise den Fault Management Dienst deaktivieren muss der ansonst regelmäßig den Pool auf Fehler prüft und bei Problemen eine Ersatzplatte einbaut oder per eMail alarmiert.

Dennoch werden Energiesparmaßnahmen unterstützt, auch Spindown.
Bei älteren Solaris Versionen und den freien Solaris Forks geht das über eine Konfigurationsdatei, siehe http://docs.oracle.com/cd/E19253-01/816-5174/power.conf-4/index.html

Solaris 11 macht das neuerdings über Services, sollte aber da auch gehen, finde ich aber nicht so geradlinig wie früher, Managing System Power Services - Oracle Solaris Administration: Common Tasks

 

[AliManali]

Ich würd mir auch überlegen, ob Du die beiden geplanten NFS SSD für den vSphere Storage nicht direkt am onboard Controller einhängst. Also nicht über eine Storage VM, sondern normal als vDisk's.

Ich nutze auch nas4free für das Storage, bei mir ist das aber nur Datengrab.

 

[Rocker]

Hallo,

vielen Dank für die Antworten,

@Digi-Qick, der Server wird als AIO betrieben, darauf läuft noch ein Unifi-Controller, eine Nextcloud, die Sophos UTM und eben aktuell OMV als Filer.

der Spindown ist für mich schon wichtig, da ich auf die Archivplatten nur selten zugreife und da müssen die nicht mitlaufen/Strom verbrauchen.
Die 2 Mirror SSD´s werden intensiv genutzt, aber die futtern auch kaum Strom.

die NFS eingebundenen SSD´s nutze ich so, da ich die VM ganz einfach über eine Netzwerkfreigabe mit Backupen kann, so kann ich z.B. ganz easy die komplette Nextcloud VM einfach ins Archiv sichern ohne großen Aufwand.

inzwischen hab ich Rockstor getestet... nun ja... schöne GUI, aber das war´s dann auch, da fehlt mir dann doch die ein oder andere Einstellmöglichkeit,
zudem scheint es unter ESXi etwas Buggy zu sein, da immer wieder Fehlermeldungen aufpoppen.


ich schau mir mal napp-it an

Gruß Rocker

 

[Trambahner]

Das mit VM-Datastore via NFS auf nem Zpool ist ne schöne Sache, da dann halt alle ZFS-Mechanismen zur Verfügung stehen. LZ4-Compression, Instant-Snapshots, send/receive, Checksummen/Konsistenz um nur die wichtigsten für mich zu nennen.

 

[Digi-Quick]

@Digi-Qick, der Server wird als AIO betrieben, darauf läuft noch ein Unifi-Controller, eine Nextcloud, die Sophos UTM und eben aktuell OMV als Filer.

OK, dann ist Typ1 Hypervisor duchraus sinnvoller.

der Spindown ist für mich schon wichtig, da ich auf die Archivplatten nur selten zugreife und da müssen die nicht mitlaufen/Strom verbrauchen.
Die 2 Mirror SSD´s werden intensiv genutzt, aber die futtern auch kaum Strom.

Ich hatte den Spndown bei meinem Filer/NAS unter N4F mal 'ne Zeitlang aktiv, habe das aber wieder abgeschaltet, da es mir einfach zu lange dauert, bis wieder Zugriff möglich ist (staggered Spinup ist bei 19 HDDs halt "Pflicht"). Mein NAS läuft allerdings auch nicht 24/7, sondern wird bei Bedarf eingeschaltet.

 

[b0mba]

Also ich habe auch sämtliche NAS Systeme mehrmals ausprobiert und bin immer wieder bei OMV gelandet, welches derzeit auch wieder mit einigen Dockern bei mir läuft.

Irgendwie finde ich, dass es von allen Systemen immer noch unterm Strich am Meisten bietet.

 

[Digi-Quick]

Wenn ein NAS mehr sein soll als ein NAS, mag es sein das OMV mehr kann als andere NAS Distris.
OMV basiert aber auf Debian und kann somit nur ZoL welches auch nur via Plugin zur Verfügung steht.
ZoL hinkt einem nativen ZFS unter Solaris, Solarish und FreeBSD vom Funktionsumfang immer noch weit hinterher.

 

[Rocker]

Hallo,

ich teste aktuell FreeNas11, da gib es ja neue Stromsparmechanismen, mal sehen ob die so greifen, wie ich mir das vorstelle.
Die neue GUI, ist ja ne Katastrophe Gott sei Dank, kann man die alte noch verwenden!
Von der write Leistung bin ich aktuell etwas enttäuscht, so schaffe ich mit großen Dateien es nicht mein 1GB-LAN auszulasten, sonder stammle bei ca. 90 MB/s herum.
Unter OMV hatte ich auch die lz4 compression aktiv und mit einem RaidZ2 getestet, hier wurde das LAN voll ausgelastet.
...evtl ist das auch ein Konfigurationsproblem...
aber ansonsten schauts ganz gut aus, auch die Installation unter ESXi hat diesmal super geklappt.

Gruß Rocker

 

[Trambahner]

90 MB/s sequentiell lokal in der Maschine? Das ist viel zu wenig für den HDD-Pool und extrem viel zuwenig für die SSDs.
Oder via Netzwerk? Netzwerk innerhalb des ESXI oder zu einer externen Maschine?

Btw, den 6.5 ESXI AHCI-Treiber hast Du deaktiviert? Der führt nämlich typischerweiser bei SATA zu ruckeln und abbrechenden Datenübertragungen.
Wieviel Ram zugewiesen und wieviel CPU-Kerne?
4k-Alignment im Pool genutzt?
Als virtuelle Netzwerkkarte VMXNET3 verwendet?

Ich werfe nochmal Nas4free in die Diskussion. Benötigt weniger Verwaltungsressourcen als FreeNAS.

 

[Rocker]

die 80 MB gehen durchs LAN.
Intern wenn der ESXi vom der Datastore SSD auf den NFS gemounteten SSD ZFS Mirror schreibt schaff ichi gerade mal 3 MB/s
da bin ich gerade am Suchen was hier das Problem sein könnte

Ich bin größten Teils dieser Anleitung gefolgt, ich nutze halt ESXi 6.4 Ui und Freenas 11
FreeNAS 9.10 on VMware ESXi 6.0 Guide | b3n.org


Die VM hat 4 CPU Kerne und 8 GB RAM
4k-Alignement? kenn ich nicht
VMXNET3 wird verwendet

Gruß Rocker

 

[Rocker]

Hallo,

ich komm einfach nicht dahinter, meinen SSD Mirror fürs NFS-Share lastet es bei grottiger Geschwindigkeit voll aus...





Habt ihr eine Idee an was das liegen könnte?

Gruß Rocker

 

[besterino]

Schätze, du nutzt den ESXi 6.5U1 (nicht 6.4 ui)? Wenn ja, Dell Custom oder VMware Standard? Offiziell unterstützt Dell ja für den T20 ESXi nicht (mehr).

Nächste Frage (sorry wenn das oben schon irgendwo stand): Wie sind denn die SSDs an die VM bereitgestellt? Passthrough oder RDM?

Letzte Frage: aktuelle VMware Tools installiert? Wenn nein, zieh Dir mal die 10.1.10er für das OS (BSD?) und probier dann mal. Allerdings keine Ahnung, ob das was bringen kann.

 

[Rocker]

Hallo Danke für deine Antwort,

ich nutze die ESXi 6.5 U1 und zwar das Image von VMWare

Die Disks fürs FreeNas 11 hängen an dem Dell H310/IT geflashten Controller, dieser ist per Passthrough an die VM durchgereicht.

VMware Tools ist installiert und läuft.


Ich bin auch schon ein kleines Eck weiter, das kopieren innerhalb FreeNas, von Datastore auf Datastore ist wesentlich schneller.
z.B. : cp /mnt/TANK/XYZ /mnt/MIRROR/XYZ
hier komme ich auf ca. 110 MB/Sek, das ist zwar auch sehr wenig, aber immer noch schneller, als der direkte Zugriff auf das NFS Share


Gruß Rocker

 

[BadBigBen]

Und ich werfe mal Open-E ins gemetzel...

 

[haraldv]

Und ich werfe mal Open-E ins gemetzel...

das ist doch kostenpflichtig?

 

[BadBigBen]

erst über 4TB...

 

[Rocker]

Nun 4TB ist jetzt nicht wirklich viel...
bzw. welche Dateisysteme bietet open-e eigentlich an? evtl schau ich es mir zumindest mal an

Gruß Rocker

 

[gea]

Von allen kommerziellen ZFS Betriebssystemen ist Oracle Solaris das schnellste und das mit den meisten Features insbesondere Verschlüssellung innerhalb von ZFS und sequentiuelles/ schnelles Resilvering. Wenn man das nur nichtkommerziell (für demo und development) nutzt, hat es auch keine Kapazitätsgrenzen. Auch hat Solaris die mit Abstand beste Integration von ZFS, OS und Diensten wie iSCSI, NFS und SMB. Immerhin kommt da NFS und ZFS wie viele andere "Highend Storage Features" ja auch her.

Auf Basis des freien Solaris/ Illumos Forks gibt es NexentaStor CE5 als Community Edition einer kommerziellen NAS Distribution. Man darf das zwar auch nicht kommerziell nutzen und es hat auch Kapazitätslimits aber würde ich immer einer Linux/ZFS Lösung vorziehen.

Auf Illumos/Solarish Basis gibts dann noch OmniOS und OpenIndiana. Nicht ganz so schnell wie Original Solaris aber oft schneller als BSD und Linux aber ansonst mit allen Vorteilen von Solaris, dafür aber OpenSource. Ansonsten würde ich eher was aus der BSD Welt für ZFS Storage nehmen als was mit Linux.

 

[Trambahner]

Wenn NFS gar so langsam ist, dann liegt es ziemlich sicher an der Sync-Einstellung und fehlendem Slog-Device, da per default synchrone Writes von NFS verlangt werden.

Rocker, stell die Datasets wo NFS drauf geht doch mal auf Sync=disabled.

 

[Rocker]

würde es reichen unter ESXi eine VM-Disk zu erstellen und diese dann als Slog Device hinzuzufügen?
wie groß sollte diese sein?

Gruß Rocker

 

[gea]

Nein.
Ein extra Slog Device muss Powerloss Protection beherrschen, geringe Latenzen haben und ausgelegt sein auf hohe Dauerschreibraten bei kleinen Blockgrößen und QD=1.

Eine VM Disk auf den gleichen Platten wie der Pool hat nichts davon, bringt keine Extra Sicherheit und keinen Performancegewinn im Vergleich zum onpool ZIL Logdevice.

 

[Rocker]

Das ist schon klar, ich habe noch eine SSD die dem ESXi zur Verfügung steht, darauf liegen die installimages und Updates, hierauf hätte ich die Virtual Disk angelegt.
Ich hätte das nicht auf den MIRROR aufgesetzt. Powerloss protection hat die SSd natürlich nciht, ABER das System ist ja ein Homeserver und kein Produktivsystem @ Work
Würde die Virtuelle Disk auf der SSD was bringen, oder ist das von vorne herein vergebene Liebesmüh?

Gruß Rocker