Verständnis Fragen ESXI / Proxmox / ZFS / NAS

[fdiskc2000]

Moin zusammen,

ich habe hier ja aktuell einen N40L mit 10GB RAM, 1x 8TB und 3x4TB stehen.
Eigentlich läuft da XPenology drauf (und auf die eine oder andere Weise soll es das auch wieder). Ich würde aber gerne etwas mit ESXI / Proxmox machen (letzterer macht zwar einen guten Eindruck, aber anscheinend geht doch einiges nur über die Konsole. Ich mags halt klicki bunti )

Nun würde ich gerne auf ZFS setzten (wer weiss wann BTRFS in XPEnology kommt und ob das stabil läuft).

Mir ist nur nicht klar, wie man ZFS für die echte Dateiablage / Container realisiert. Da fehlt mir irgendwie noch der letzte Dreh.

Soweit klar:
ESXI / Proxmox ist die Basis. Darauf setze ich verschiedene VM´s ein.
Darauf dann etwas was mit den 3x 4TB ein ZFS Raid erstellt. Was nimmt man da (evtl. mit UI? ) FreeNAS? Und wie geht das mit Proxmox und dem Storage genau? Das blicke ich noch nicht. Und wie reicht man die HDD dann an z.B. FreeNAS weiter?
Und wie kommt nun genau der Storage für den Hypervisor ins Spiel, woher? Wiederum auf eine Freigabe vom FreeNAS?
Macht das so Sinn?

Proxmox kann auch ZFS, habe ich gesehen. Aber das würde ja für die Dateiablage im NAS / XPEnology bedeuten, dass immer die komplette VM "gesichert" wird, oder? Ist denke ich unpraktikabel.

Ihr seht, ich habe da noch einige Lücken und wäre dankbar für Anregungen wie sich diese am Besten schliessen lassen.

 

[oc_parts]

Beim ESXI kannst du nur einen separaten Controller in eine VM durchreichen die dann ZFS unterstützt.
Das kann dann aber dein XPEnology nicht.

Proxmox kann von sich aus mittlererweile ZFS und man kann die Datenträger dann an eine XPEnology VM durchreichen.
Allerdings muss man imho das zfs über die Konsole administrieren.

 

[fdiskc2000]

Ui, das ging ja schnell. Grüße nach Machdeburch

Soweit war mir das fast klar, wobei ich dachte auch der ESXI kann die einzelnen HDD durchreichen mit RDM?
Proxmox kann ZFS, aber dann wären doch immer nur die ganzen VM Container im Snapshot. Wäre das aber nicht sinniger das auf Basis der "Dateifreigabe" zu haben um einzelne Snapshots vom Worddokument zu haben? Oder habe ich da einen Denkfehler?
Proxmox ZFS habe ich gestern in einer VM eingerichtet. Allerdings habe ich, als ich eine HDD der VM entzogen habe, keine Benachrichtigung übr das degraded Raid bekommen. Muss man wohl extra erst einrichten?! Unschön wenn man das vorher nicht weiss.
Einen extra Controller würde ich nicht zwingend kaufen wollen. Wie würdest Du das aufsetzen?

 

[gea]

Mit ESXi und dem N40 ginge das so:
- ESXi installieren (auf USB Stick, einem Sata DOM oder einer Sata Platte)
- Ein lokales Datastore einrichten (Sata DOM oder Sata Platte)
- Eine ZFS Storage VM auf dieses lokale Datastore packen
kann FreeNAS sein oder was mit Solarish wie meine napp-it Appliance die man als .ova nur installieren muss

- Dann die Platten per Physical RDM an die Storage VM durchreichen (per ESXi Console)
Der ZFS Storage wird dann über die Storage VM per Web-UI verwaltet und per iSCSI, NFS oder SMB freigegeben.
ESXi kann dann auf dem NFS Storage weitere VMs ablegen die man per ZFS snapshotten kann.
Move/Clone/Backup der VMs am Besten indem man das NFS Share auch per SMB freigibt.

 

[fdiskc2000]

Vielen Dank, genau solche Hinweise hatte ich erhofft. Etwas zur Klärung noch:

- beim RDM unterliege ich ja nicht der 2TB Grenze, oder?
- an welcher Stelle ist eine SSD sinnvoll? Habe hier noch eine Intel x-25 mit 80GB. Für den Datastore der ZFS VM?
- ist das für den ESXI noch performant, wenn der endgültige VM Storage aus iSCSI, NFS etc. kommt?

Ist das eigentlich nur Theoretisch so machbar, oder auch eine sinnvolle flotte Lösung?

 

[besterino]

Also, wenn ich das richtig verstanden habe, ist die Grundkonfiguration für ESXi + ZFS üblicherweise wie folgt:

Du brauchst prinzipiell 2 HDD-Kontroller: 1x für ESXi und als Speicherplatz (nur) für Deine Storage-VM + 1x zum Durchreichen an die Storage VM.

HDD Kontroller 1: hat entweder 2 Festplatten (wenn Du ESXi auf eine Festplatte installierst) oder nur 1 Festplatte (wenn Du ESXi auf einen USB-Stick installierst) angeschlossen. Hintergrund: Du kannst unter ESXi keine VM auf dem gleichen Medium ablegen, auf dem ESXi selbst installiert ist. Ferner kommt als Speicherplatz für die VMs nur entweder eine HDD oder alternativ eine NFS- oder iSCSI-Freigabe in Frage (eine Möglichkeit zur NFS- oder iSCSI hat man in dieser Konstellation regelmäßig ja nicht, sonst würde man ja nicht über eine Storage-VM nachdenken...).

Also: Kontroller 1 + 1 HDD für Ablage der Storage VM (ggf. + 1 HDD ESXi)

HDD Kontroller 2: An dem hängen dann die HDDs für Storage z.B. im AHCI "JBOD" Modus. Wichtig: kein Raid über den Kontroller, der Kontroller sollte die HDDs idealerweise "ohne eigene Logik" und Modifikationen dem OS zur Verfügung stellen (dieser Zustand bzw. diese Bereitstellung wird häufig kurz "IT Modus" genannt).

Softwareseitig wird ESXi dann so eingerichtet, dass Du die HDD am 1. Kontroller (nur) als Speicherplatz für die VM einrichtest, die das ZFS-Dateisystem als Basis zur Verfügung stellt (häufig OmniOS, Solaris und als web-GUI Napp-it dazu). Die Storage VM hat ihr OS also auf diesem Speicherplatz am 1. Kontroller. An diese Storage VM reichst Du unter ESXi den 2. HDD-Kontroller durch. Die Storage-VM richtet dann darauf ihr Dateisystem ein (ZFS) und die Storage-VM stellt dann diesen Speicherplatz (üblicherweise insb. über NFS und SMB) im Netz bereit. Der Clou: Jetzt kann (auch) ESXi auf die NFS-Freigabe der Storage-VM zugreifen und der Speicherplatz mit ZFS steht a) als Ablageort der "Systempartition" weiterer virtueller Maschinen zur Verfügung und b) für alle Dienste, die in den anderen VMs laufen.

Voilá ZFS für alle und alles (bis auf die Partition auf der die virtuelle Platte für das OS der Storage-VM selbst liegt).

 

[gea]

Wenn man ESXi auf eine Sata Platte/DOM installiert, kann man darauf auch ein lokales datastore für VMs anlegen. Lediglich USB kann man nur zum Booten von ESXi nehmen. Eine zusätzliche Nutzung als datastore geht nicht.

Der Ansatz mit einem zweiten Controller und Hardware Pass-Through des Controllers samt Platten an die Storage VM ist die professionelle Methode da damit ZFS den Controller mit eigenen Treibern ohne Virtualisierung anspricht.

Geht aber mit N40 nicht - dem fehlt die Hardwarevirtualisierung, da geht nur RDM
(Durchreichen einzelner Platten über den ESXi Plattencontroller)

 

[fdiskc2000]

OK, das macht das Ganze nochmal verständlicher, danke.
Aber wenn ich gea richtig verstehe ist beim N40L die 2-Kontroller Variante nicht nutzbar/notwendig, so dass alle 5-6 HDD normal vom N40L Mainboard Controller kommen und davon dann 3 Platten (oder eben mehr) an die Storage VM durchgereicht werden mit RDM.

Wie steht es mit meinen Fragen weiter oben?

 

[oc_parts]

Beste Grüße zurück.

besterino beschrieb die von mir auch gemeinte Passthrough-Möglichkeit. also ein Controller wird durchgereicht und die Platten damit nativ für die VM ansprechbar.

Bei Gea werden die HDDs einzeln per RDM an die VM gereicht. Imho deine einzige Option sofern du nicht die Fileserverfunktion auf dem Host realisierst.

 

[Ingrate]

Interessantes Thema (wenn auch schon etwas älter). Ist das alles noch aktuell?
Ich bin auch neu in Sachen Virtualisierung und möchte mir meinen ersten Homeserver aufbauen. Grundlage ist ein MiniServer mit ASUS P9d-i, 16GB RAM, 4 Ports (LSI Megaraid oder INTEL Raid), LSI 9211-4i als IT Flash. Platten habe ich eine 256GB SSD und 6 SATA 2TBs Platten zur Verfügung. 4 der 2TBs hängen an der LSI Karte und zwei am Controller auf dem Board. Jetzt dachte ich als 1. das LSI Megaraid auf dem Board als IT HBA zu flashen. Grund: ZFS. Da stellt sich die Frage, werden zwei Controller von ESXI zu Freenas weitergeleitet? Was passiert mit den verbleibenden beiden SATA Anschlüssen? Gedacht habe ich an die SSD als VM Storage und Bootmedium für ESXi.

Darauf soll einen ESXi Installation laufen mit einer FreeNAS VM und ein Admin-Windows als VM. Ich dachte auch mal an eine Nextcloud als VM, bin aber wieder ein wenig davon abgekommen. Den Zugriff auf das Storage möchte ich aus der Windows Umgebung im Netzwerk haben.

Frage 1: 2 Controller durchreichen, dabei aber von MoBo Controller nur 2 Ports
Frage 2: die restlichen zwei Ports für SSD (ggf. mit Spiegelung) für ESXi und VM Storage verwenden
Frage 3: Bootspeicher für ESXi auf SSD sinnvoll und wenn ja, kann ich beim Installieren sagen, dass nur 25GB für ESXi reserviert werden, der Rest dann als VM Storage verwendet wird?
Frage 4: Was benötigt ein ESXi System sonst noch an verfügbaren Speicher? (z.B. zum Cachen, ect.?)

Es wird auch immer wieder von USB als Bootmedium geredet. Sinnvoll/Zeitgemäß?

 

[Trambahner]

gea's AIO-Konzept funktioniert wunderbar und ist nachwievor aktuell.

1+2: Nein. Controller werden immer als ganzes durchgereicht. Ausnahme RDM, was für Sata aber nicht supportet ist. Für SAS ist es supportet. Aber RDM ist IMO trotzdem so ne Sache, hat bei mir nie wirklich stabil funktioniert; hat immer irgendwelchen Ärger erzeugt.
3: bei USB Nein*, bei Boot von Sata/SAS/NVME ja (das was ESXI selber nicht benötigt, steht default als Datastore für VMs zur Verfügung)

4: Rechne 2GB Ram für ESXI selbst; je nach Hardware kann das nach oben oder unten schwanken.

*) Der eine odere andere hat mal mit USB als Datastore rumgefrickelt; ist aber nicht out-of-the-Box supportet und bedarf AFAIK manuelle Eingriffe (womit dann USB-Geräte nicht mehr an VMs zugewiesen können)

U.a. wegen 1+2+3 habe ich deswegen ein 3. Storagedevices: Eine NVME-SSD (Intel Optane 900p um genau zu sein).
=> D.h. ich boote von USB, die 900P stellt einen nicht-durchgereichten Datastore dar, auf dem die Storage VM liegt. An diese sind dann Onboard-Sata als auch LSI 3008 durchgereicht. Damit 16 Ports in der VM. Zusätzlich sind Vdisks auf der Optane angelegt, die als L2ARC und SLOG dienen und der Storage-VM für deren Pools zugewiesen sind. Die Optane 900p ist schnell genug dafür.
VMs sind dann auf dem ZFS-Pool (per NFS-Share).
Damit kann ich bei Bedarf ESXI neu installieren und brauch nichtmal die Storarge-VM neu aufsetzen, sondern nur alles wieder einhängen.
Board X11SSH-CTF, alle Slots bis auf den x2 belegt (weil ich noch eine zweite NVME-SSD als Scratchdisk für die VMs hab, die ich als auch durchreiche).


Für Deinen Fall: Du musst also ganz genau überlegen, was Du in den einzigen Slot packst. Genau darum meide ich ITX-Boards.
Mit max. 16GB macht das eh nicht viel Spaß, da viel mit VMs zu machen. Da dann lieber Solaris/OmniOS mit napp-it oder alternativ Freenas/Xigmanas direkt aufs Blech. FreeNAS verspeist die 16GB zum Frühstück, Xigmanas (ehemals Nas4free) ist da genügsamer da puritanischer.

 

[Ingrate]

Danke dir für die ausführliche Info. Also ich habe mir jetzt eine lsi 9211-8i ersteigert. Dann habe ich direkt 8 ports für die 6 satas. D.h. ich kann die onboard satas für ssd usw verwenden. Das mit speicherhungrigem Freenas hab ich schon gelesen. Das macht mir eben auch ein wenig Kopfzerbrechen. Die NVME bekomme ich leider bei diesem board nicht unter. Wegen Freenas nochmals: wäre Openmediavault mit ZFS Erweiterung sparsamer? Oder ratet ihr von Openmediavault ab? Im grunde benötige ich nicht die features wie Plex usw.. soll ein zuverlässiges NAS sein auf ZFS basis.

 

[besterino]

Frohes Neues!

Wenn Du nur ZFS willst, dann nimm idealerweise was, was auch primär (nur) das liefert. Hieße für mich: Solarish.

Aber wenn du die ganzen Freenas Gimmiks nicht nutzt, kommst du ja vielleicht auch mit 8GB hin... (hab ich aber selbst null Ahnung von).

Der 8i ist genau das, was ich auch vorgeschlagen hätte. Hast dann ja noch 2 Anschlüsse für weitere Spielereien frei.

 

[Ingrate]

Interessantes Thema (wenn auch schon etwas älter). Ist das alles noch aktuell?
Ich bin auch neu in Sachen Virtualisierung und möchte mir meinen ersten Homeserver aufbauen. Grundlage ist ein MiniServer mit ASUS P9d-i, 16GB RAM, 4 Ports (LSI Megaraid oder INTEL Raid), LSI 9211-4i als IT Flash. Platten habe ich eine 256GB SSD und 6 SATA 2TBs Platten zur Verfügung. 4 der 2TBs hängen an der LSI Karte und zwei am Controller auf dem Board. Jetzt dachte ich als 1. das LSI Megaraid auf dem Board als IT HBA zu flashen. Grund: ZFS. Da stellt sich die Frage, werden zwei Controller von ESXI zu Freenas weitergeleitet? Was passiert mit den verbleibenden beiden SATA Anschlüssen? Gedacht habe ich an die SSD als VM Storage und Bootmedium für ESXi.

Darauf soll einen ESXi Installation laufen mit einer FreeNAS VM und ein Admin-Windows als VM. Ich dachte auch mal an eine Nextcloud als VM, bin aber wieder ein wenig davon abgekommen. Den Zugriff auf das Storage möchte ich aus der Windows Umgebung im Netzwerk haben.

Frage 1: 2 Controller durchreichen, dabei aber von MoBo Controller nur 2 Ports
Frage 2: die restlichen zwei Ports für SSD (ggf. mit Spiegelung) für ESXi und VM Storage verwenden
Frage 3: Bootspeicher für ESXi auf SSD sinnvoll und wenn ja, kann ich beim Installieren sagen, dass nur 25GB für ESXi reserviert werden, der Rest dann als VM Storage verwendet wird?
Frage 4: Was benötigt ein ESXi System sonst noch an verfügbaren Speicher? (z.B. zum Cachen, ect.?)

Es wird auch immer wieder von USB als Bootmedium geredet. Sinnvoll/Zeitgemäß?

Also ich greife meine Frage nochmals auf. Zwischenzeitlich habe ich den LSI 9211-8port Adapter bestellt. Der wird dann geflasht. Das wäre dann die Ausgangslage für meinen eigenen Homeserver. Da ich noch nie mit Virtualisierung und eigenem NAS zu tun hatte, nochmals die Frage:
WIe ist der step-by-step workaround? Die 6 Sata Platten sollen jedenfalls als Raidz2 erstellt werden und ausschließlich als Datenspeicher für Bildarchiv zur Verfügung stehen. Ich benötige keine Schnickschnacks. Was genial wäre, wäre ein Webzugriff von außen. Sollte das nicht gehen, würde ich versuchen einen VPN Server aufzubauen, mich einzuloggen und dann auf den Storage zugreifen. Ist halt ein kleiner Umweg, der allerdings auch sicherer ist (denke ich z.B.). Echtzeit Encryption benötige ich nicht. Snapshots? Kann mit dem Begriff noch nicht viel anfangen.
Wichtig wäre jetzt erstmal:
- wie wäre der frische Install zu handeln? also Empfehlung der Platten/Speicher Integration mit ESXi (ggf. vSphere) und VM napp-it? Ich habe mich mittlerweile für die nappit Lösung entschieden, da sie Resourcensparender als FreeNAS ist, oder?
- Zur Verfügung stehen: 4 Onboard SATA Connectors mit einer SSD 256GB, 1 64GB SANDISK USB Stick, 6x2TB Platten an LSI 9211-8IT Mode
- Unterstützt nappit auch Webdav oder sftp Zugriff?
- iSCSI lese ich immer wieder, aber was ist das genau? Inwieweit kann ich das in mein Heimnetz integrieren? Ich arbeite noch mit 1GBit LAN. Profitiere ich davon irgendwie, wenn ich z.B. über einen anderen HOST Rechner (Laptop) auf die Bilddatenbank mittels z.B. Lightroom zugreife?
- Cache? Notwendig???
- Snapshots (sofern ich da richtig dahintersteige) wichtig oder kann ich das über VMWare auch lösen, bzw. über Dritthersteller Lösungen?
Ich bin Anfänger und kein Administrator/EDV´ler.

 

[gea]

Auf die SSD an Sata würde ich ESXi installieren.
Dann darauf die die napp-it Storage VM importieren

Die Festplatten werden an den LSI angeschlossen.
Den dazu entweder per pass-through oder die Platten einzeln per RDM an die Storage VM durchreichen.

In napp-it einen Z2 pool erstellen.
Darauf ein Dateisystem für normale Filerdienste und eines für die VMs anlegen.
Ersteres per SMB und zweiteres per SMB und NFS freigeben.

In ESXi das NFS Dateisystem mounten um darauf die weiteren VMs anzulegen.

ESXi free kommt mit Webmanagement. Ein Vsphere Server kostet und wird benötigt um viele ESXis zentral zu managen.


Napp-it ist ein Management Tool für eine Standardinstallation der Unix Betriebssysteme Oracle Solaris und die freien Solaris Forks OpenIndiana und OmniOS. Features werden nicht von napp-it bestimmt, sondern vom jeweiligen OS bzw. den Diensten die man installiert, z.B. Apache als Webserver. ssh (sftp) ist immer dabei. Im Gegensatz zu anderen NAS Systemen wird keine eigene/spezielle Distribution benötigt. Man kann also was ganz minimalistisches (Storage pur) wie OmniOS nehmen oder OpenIndiana GUI mit grafischer Oberfläche, Webbrowser und Office Programmen.

Schreib/ Lesecache Cache ist bei ZFS immer dabei (RAM). Mit einem L2Arc kann man den Lesecache mit einer SSD erweitern

iSCSI ist ein Verfahren um Teile eines zentralen Storage einem Client wie Windows wie eine lokale Festplatte anzubieten

ESXi kann Snaps. Das sind aber Dateien in denen die Änderungen gespeichert werden. Jeder Snap macht das System langsamer und dient nur dazu den früheren Stand kurzfristig zu speichern. Mehr als zwei drei Kurzzeitsnaps sind da nicht drin.

ZFS Snaps frieren den aktuellen Datenstand ein. Sie sind readonly und Trojanersicher. Davon kann man auch zehntausende anlegen.

 

[Ingrate]

Danke Gea für die Erläuterungen. D.h. aber die SSD mit 256GB ist eigentlich viel zu groß, wenn da nur ESXI und deine napp-it VM drauf laufen soll. Alle andere VM´s (in meinem Fall ist das eigentlich nur ein Windows und ggf. noch die Nextcloud VM, wenn alles andere mal läuft). Wenn ich dich allerdings verstehe, sollen die VM´s auf das ZFS System wegen Sicherheit, oder? Wird napp-it auch vollständig in den RAM geladen? Ich glaube mal gelesen zu haben, dass ESXi auch nur ein Bootmedium (z.B. USB) benötigt und dann im RAM läuft. Wäre es dann nicht sinnvoller, ESXi und Nappit VM auf USB zu verfrachten und die SSD dann als reinen Cache zu verwenden? Wieviel Speicher benötigt denn ESXi und Nappit so? Also auf Festplatte? In deiner Lösung hätte ich von Nappit und ESXI kein Backup, da ja beide "nur" auf der SSD liegen. Können sich diese im Hintergrund auch auf die ZFS selbst backupen? Nur mal so in den Raum gestellt ;-)
OpenOS oder OpenIndiana? Was ist besser (speziell für "Nichtprogrammierer". Ich denke OpenIndiana, oder?)

- - - Updated - - -

Ich sehe auch gerade, dass OpenIndiana auf deiner Seite im Mai/2017 als VM erstellt wurde. OpenOS ist da schon sehr aktuell. Kann man bei OpenOS auch noch die "Stellschrauben" in Form von Erweiterungen installieren? Die kosten was, oder?

 

[Trambahner]

Dadurch, dass die VMs auf den ZFS-Pool kommen, hast Du auch dessen Mechanismen für Snapshots, Kloning, Backup-Möglichkeiten (send/recieve) zur Verfügung, ferner den L2ARC (=Ram)-Cache und die LZ4-Komprimierung.
LZ4 kannst Du eigentlich in 99,8% der Fälle bedenkenlos standardmässig auf den Pools aktivieren. Nicht komprimierbare Daten werden sehr schnell erkannt und weitere Kompression vermieden. Es gibt deutlich stärkere Komprimieralgorithmen, aber LZ4 braucht sehr wenig CPU; ein verdammt guter Kompromiss aus Durchsatz und Speicherplatznutzung.

 

[gea]

ZFS ist einfach viel sicherer, schneller und komfortabel als ESXi mit seinem vmfs Dateisystem. Die VMs gehören daher auf ZFS und nicht auf die SSD. Da soll nur das drauf bei dem es egal ist wenn es verlorengeht, also ESXi, die Storage VM und Caches wie L2Arc oder ein Slog um den ZFS Ram-Schreibcache zu sichern (Dafür brauchts aber bessere SSDs).

Solarish ist ein vollwertiges 64 bit Enterprise OS. Das läuft nicht aus dem RAM (außer Spezialdistributionen wie SmartOS). Ein USB Stick ist dann relativ langsam und die meisten USB Sticks viel zu schlecht/unzuverlässig.

Prinzipiell ist der Platz auf Platte abhängig vom RAM und ob man Crash-Dumps und Swap haben möchte. Ich gebe aktuell der Storage VM 40GB. Für die Boot-SSD nehme ich 80GB oder mehr.

Die Idee hinter ESXi und Storage VM ist das Getrennthalten von Virtualisierer, Storage und Diensten.
Wenn ESXi crasht, ist es in 5 Minuten neu installiert und die VMs importiert
Wenn die Storage VM crasht gilt gleiches.

Backup völlig unnötig sofern man da nicht Extras draupackt wie Webserver, Mediaserver etc.
Erst dann muss man sich Gedanken über Backup und Disaster Recovery machen.

Ich bevorzuge daher auch das minimalistische OmniOS z.B. gegenüber einem OpenIndiana GUI.
Daneben ist OmniOS eine Umgebung die professionelles und stabiles Storage als Ziel hat.
Jedes "Extra" macht das nur instabiler.

Das ist damit der Gegenentwurf zu Synology oder ProxMox wo alles auf einem System läuft
und wo jedes Problem das Gesamtsystem beeinträchtigt.


Anonst funktioniert napp-it wie ESXi.
Die Basisversion, ausreichend für Home, SoHo oder Lab use ist frei.

Zusätzlich gibt es eine Pro Version mit Support/ Bugfixes oder Extra Features
(bei napp-it auch als home edition)

 

[Ingrate]

ZFS ist einfach viel sicherer, schneller und komfortabel als ESXi mit seinem vmfs Dateisystem. Die VMs gehören daher auf ZFS und nicht auf die SSD. Da soll nur das drauf bei dem es egal ist wenn es verlorengeht, also ESXi, die Storage VM und Caches wie L2Arc oder ein Slog um den ZFS Ram-Schreibcache zu sichern (Dafür brauchts aber bessere SSDs).

Solarish ist ein vollwertiges 64 bit Enterprise OS. Das läuft nicht aus dem RAM (außer Spezialdistributionen wie SmartOS). Ein USB Stick ist dann relativ langsam und die meisten USB Sticks viel zu schlecht/unzuverlässig.

Prinzipiell ist der Platz auf Platte abhängig vom RAM und ob man Crash-Dumps und Swap haben möchte. Ich gebe aktuell der Storage VM 40GB. Für die Boot-SSD nehme ich 80GB oder mehr.

Die Idee hinter ESXi und Storage VM ist das Getrennthalten von Virtualisierer, Storage und Diensten.
Wenn ESXi crasht, ist es in 5 Minuten neu installiert und die VMs importiert
Wenn die Storage VM crasht gilt gleiches.

Backup völlig unnötig sofern man da nicht Extras draupackt wie Webserver, Mediaserver etc.
Erst dann muss man sich Gedanken über Backup und Disaster Recovery machen.

Ich bevorzuge daher auch das minimalistische OmniOS z.B. gegenüber einem OpenIndiana GUI.
Daneben ist OmniOS eine Umgebung die professionelles und stabiles Storage als Ziel hat.
Jedes "Extra" macht das nur instabiler.

Das ist damit der Gegenentwurf zu Synology oder ProxMox wo alles auf einem System läuft
und wo jedes Problem das Gesamtsystem beeinträchtigt.


Anonst funktioniert napp-it wie ESXi.
Die Basisversion, ausreichend für Home, SoHo oder Lab use ist frei.

Zusätzlich gibt es eine Pro Version mit Support/ Bugfixes oder Extra Features
(bei napp-it auch als home edition)

Danke, ich merke schon, hier wird sich richtig Zeit für den User genommen. Das gefällt mir. DAUMEN HOCH!!!

Jetzt noch eine Frage: Also wenn auf der SSD die ESXi läuft, die Storage VM (Nappit), belege ich 80+40GB. Rest für??? innerhalb deiner 40GB sind dann L2ARC und Slog drin? Crash Dumps/Swap? What´s that? Wichtig oder nicht?

Jetzt bin ich schon so angefixt von Napp-it ;-), dass ich mir überlege, meinen zweiten PC auch so aufzubauen. Quasi auch ESXi/StorageVM als Träger und ZFS mit WorkstationVM. Wisst ihr zufällig, ob ein Primergy TX300S7 Server mit 8 x300GB 10k Festplatten auf internen RAID Controller auch so umgeflasht werden kann, dass er die 8 Platten als IT HBA durchlässt? Dann könnte ich ggf. diese auch als ZFS zusammenfügen. Den Server haben wir in der Arbeit rumstehen. Mal schauen, ob ich den "abjucksen" kann. ;-)

 

[Trambahner]

Die Maschine willst Du aber nicht daheim 24/7 laufen lassen. Säuft vmtl. relativ viel Strom für wenig Storageplatz und dürfte nicht leise sein. Ausserdem dürften die Platten ziemlich runter sein (auch wenn sie noch laufen: die dürften für 5 Jahre konzipiert sein), ferner fehlt ihnen die Performance einer SSD und die Kapazität von (halbwegs) aktuellen Platten.

Als Lab zum stundenweisen Spielen und Lernen kann mans machen, wenn die Kiste nix kostet.

Beim HBA kommts auf den Typ (D-Nummer) an. Fujitsu hat da alles Mögliche an Versionen für ihr OEM-Biz. Wichtig wäre, Chipsatz LSI (nun Broadcom) 2008/2308/3008.
LSI1068/78 und älter ist "mehhh", ebenso Hardware-Raid (LSI 1078/2108/2208).

 

[Ingrate]

LSI MegaRaid SAS 6G 5/6 512MB (D2616) FW 12.12.0.0174 sagt mit der Controller. Die Kiste hat 8 SEAGATE ST300MM0006 300GB/10k SAS Platten drin. Aktuell läuft´s auf RAID5. Soviel konnte ich aus der Ferne schon auslesen ;-) Das sind die die Größten Platten, aber ich dachte, vielleicht kann ich die auch Pass Through durchreichen um darauf ein ZFS RaidZ2 zu erstellen. Ob man den Controller flashen kann??? Und ob´s Sinn macht??? Oder einfach als Raid0 durchgeben???

Der Server soll nicht 24/7 bei mir zuhause durchlaufen. Eher als Workstation. Und da kam mir der Gedanke, eben auch ZFS mit Napp-IT VM zu erstellen. Also Bootmedium ist auch eine SSD 256GB verbaut. Power hat er eigentlich auch (2xE52670er mit je 8C/16T, 96GB RAM).

 

[gea]

L2ARC als SSD Lesecache und Slog als Absicherung des RAM-Schreibcaches sind immer extra (virtuelle) Platten. Für L2Arc rechnet man 5-10x RAM und für Slog 10-20 GB

Wenn der Server Raid-5 kann, ist er für ZFS untauglich.
Man bräuchte also da auch sowas wie einen LSI 9211

 

[Ingrate]

L2ARC als SSD Lesecache und Slog als Absicherung des RAM-Schreibcaches sind immer extra (virtuelle) Platten. Für L2Arc rechnet man 5-10x RAM und für Slog 10-20 GB

Wenn der Server Raid-5 kann, ist er für ZFS untauglich.
Man bräuchte also da auch sowas wie einen LSI 9211

D.h. für L2ARC udn Slog benötige nochmals Platten? RIchtig? Der RAM ist 16GB EEC reg. - bringt L2ARC was?

- - - Updated - - -

Achso, zum Server: also lieber nicht flashen? Sondern eher auch PCI Karte kaufen.

 

[Trambahner]

D2616 = SAS2108 Chip = LSI 9260-8i
=> nix für ZFS.

 

[Ingrate]

Schade. Habe gleich eine zweite 9211-8 bestellt. Die Original verkaufe ich oder behalte sie.

 

[gea]

Eine virtuelle Platte die man per ESXi auf der SSD anlegt ist aus Sicht einer VM eine ganz normale Platte.

Ein L2Arc hilft um so mehr je weniger RAM man hat.
16 GB sind jetzt nicht soviel da sich ESXi (2 GB) und alle VMs was davon nehmen.

 

[Ingrate]

L2ARC als SSD Lesecache und Slog als Absicherung des RAM-Schreibcaches sind immer extra (virtuelle) Platten. Für L2Arc rechnet man 5-10x RAM und für Slog 10-20 GB

Wenn der Server Raid-5 kann, ist er für ZFS untauglich.
Man bräuchte also da auch sowas wie einen LSI 9211

Also ich habe meine Config noch ein wenig nach oben gestuft:
zu den 6-7 SATA´s, die als Storage/VM Pool unter napp-it laufen sollen, habe ich eben eine 256GB SSD an SATA 6G. Und jetzt habe ich noch in der Bucht einen Schlag gemacht: 2x250GB m2 WD Black und einen ASUS Hyper X16 m2 Adapter. Damit ich auf das kleine Board eine zweite PCI Express Karte installieren kann, habe ich eine Supermicro Risercard x16 erworben. Damit erhalte ich aus einer x16 Karte zweimal X8. Die LSI benötigt nur x8, die Hyper wird halt nur auf x8 bedient. Das sollte aber immer noch mehr Power für die kleine Kiste sein, als über die SATA Schnittstellen.

Dedacht habe ich jetzt:
die beiden SSD m.2 als Bootmedium, ESXI/Nappit VM und L2Arc/Slog verwenden. Ggf. dann diese eine SSD auf die andere spiegeln?
Die SSD auf SATA nehme ich ggf. für eine andere Workstation oder verwende sie hier als Storage/Spiegelung der VM´s, oder sonst was her.

 

[Trambahner]

Das mit der Hyperlink x16 und der Risercard wird wohl nur klappen, wenn Board und CPU PCIe-Bifurcation zur Aufteilung der Lanes können oder PLX-Chips verbaut sind.
Sonst wird das nix.

 

[Ingrate]

dann laß ich mich mal überraschen. Andernfalls geht die Risercard wieder zurück.

 

[Trambahner]

Das betrifft ggf. aber auch schon eine einzelne, direkt gesteckte Hyper X16 genauso. Dort sieht der Rechner dann ohne Bifurcation von den 4 Steckplätzen nur einen einzigen. Die anderen sind dann in der Regel tot.

In einen Riser, der Lanes aufteilt, dann noch eine weitere Karte zu stecken die dann ihrerseits Lanes aufteilt: ähm....hab ich keine Erfahrung mit, aber hört sich nicht wirklich lauffähig an.
Ich weiß schon, warum ich keine ITX-Bauform einsetze. Hübsch klein, aber viel zu unflexibel und fast nicht ausbaufähig.

Ohne Bifurcation mehrere PCIe-SSDs zu verbauen bei nur einem Slot, da bleiben einem nur noch teure Controller (Broadcom 9400-16i, k.a. wie der mit Solarish oder BSD geht (oder auch gar nicht) ) oder Spezial-Adapter a la Amfeltec Squid mit PLX-Chip. Letztere für 4SSDs kostet dann so 600-700 Euro...