ZFS: Wie für 3x 6 TB + 3x 8TB konfigurieren

[Traviso]

Ich bin derzeit dabei mir einen Homeserver aufzusetzen. Geplant ist dabei FreeNAS zu verwenden.

Da ich 3x 6TB WD Red Pro und 3x 8 TB Ironwolf Pro durch auflösen von zwei meiner Synology NAS zur Verfügung habe, würde mich interessieren, wie man diese 6 Platten jetzt optimalerweise unter ZFS einsetzen würde.
Oder sollte man ggf. noch z.B. auf 4x 6TB und 4x 8TB "aufstocken".
Wichtig wäre mir Speicherplatz, aber natürlich auch Redundanz.

Vielen Dank im Voraus für die Rückmeldungen !

 

[quotengrote]

z.B. 2x vdevs a raidz1 was aber nicht mein favorit wäre, dann lieber jeweils noch eine 8ter und 6er zukaufe Und 4x vdevs gemirrored

 

[gea]

Die zwei Optionen:
2 x Z1 = 28 TB Nutzkapazität
iops wie 2 Platten (ca 200 iops), 1 Platte je vdev darf ausfallen, fallen zwei/vdev aus ist der Pool verloren

Alternative
1 x Z2 aus allen Platten = 24 TB Nutzkapazität (4 x 6 TB)
iops wie 1 Platte (ca 100 iops), 2 beliebige Platten dürfen ausfallen.

Ist eine Abwägung max Kapazität/Performance vs höhere Sicherheit der Daten.

Man kann dann nach und nach die 6TB durch 8 TB ersetzen (für 32TB) und aus den 6TB Platten einen Backup Pool erstellen - auch offline per ext. Gehäuse oder gar USB.

 

[Traviso]

Vielen Dank euch beiden für die schnelle Rückmeldung.

Ist eine Abwägung max Kapazität/Performance vs höhere Sicherheit der Daten.

und aus den 6TB Platten einen Backup Pool erstellen - auch offline per ext. Gehäuse oder gar USB.

In der Tat vergisst man (ich) dies immer wieder. Ich würde mir jetzt glatt überlegen, ob ich nicht nur die 3x 8 TB nehmen soll (evtl. + eine weitere 8 TB Platte) und die 3x 6 TB in ein externes Gehäuse packe, um entsprechend Backups machen zu können.
Ich habe ein Supermicro X11SCH-F Board, so dass das Backup dann nur per USB gehen würde.
Gibt es für ein externes Gehäuse für Backup Laufwerke auch eine Empfehlung ?

Beitrag automatisch zusammengeführt: 25.10.2020

Alternative
1 x Z2 aus allen Platten = 24 TB Nutzkapazität (4 x 6 TB)
iops wie 1 Platte (ca 100 iops), 2 beliebige Platten dürfen ausfallen.

Ist eine Abwägung max Kapazität/Performance vs höhere Sicherheit der Daten.

Mir ist eingefallen, dass ich auch noch eine vorhandene Drobo 5D3 mit 5x 8TB als Backupeinheit per USB anschließen könnte. Dann wäre die Variante mit 1x Z2 aus allen Platten die von mir präferierte.
Wird so eine über USB angeschlossene Drobo-Einheit von FreeNAS erkannt ?

 

[gea]

Ob die Drobo unter FreeNAS läuft kann ich nicht sagen da ich ausschließlich mit ZFS unter Solarish arbeite. Ich würde aber davon abraten selbst wenn es läuft. Die Drobo fasst die Platten intern zu einem eigenen Raid zusammen. Man verliert damit einen der wichtigsten ZFS Vorteile, die automatische Selbstreparatur bei Datenfehlern. Auch ist USB nicht gerade für Server-Tauglichkeit bekannt, von der geringeren Performance mal ganz abgesehen.

Wann immer möglich würde ich die einzelnen Platten direkt zu einem ZFS Raid zusammenfassen (nach Möglichkeit ohne USB), also über eine Backplane mit Hotplug Einschüben, externe SAS Gehäuse ohne Raid wie https://geizhals.de/highpoint-rocketstor-rs6414s-a2231585.html?hloc=at&hloc=de oder einfache einzelne 3,5" Sata Wechselplatteneinschübe.

Bei Sata die max. Kabellänge Platte->Mainboard/HBA Sata von 1m beachten.

 

[Traviso]

Ob die Drobo unter FreeNAS läuft kann ich nicht sagen da ich ausschließlich mit ZFS unter Solarish arbeite. Ich würde aber davon abraten selbst wenn es läuft. Die Drobo fasst die Platten intern zu einem eigenen Raid zusammen. Man verliert damit einen der wichtigsten ZFS Vorteile, die automatische Selbstreparatur bei Datenfehlern. Auch ist USB nicht gerade für Server-Tauglichkeit bekannt, von der geringeren Performance mal ganz abgesehen.

Guter Punkt.

Wann immer möglich würde ich die einzelnen Platten direkt zu einem ZFS Raid zusammenfassen (nach Möglichkeit ohne USB), also über eine Backplane mit Hotplug Einschüben, externe SAS Gehäuse ohne Raid wie https://geizhals.de/highpoint-rocketstor-rs6414s-a2231585.html?hloc=at&hloc=de oder einfache einzelne 3,5" Sata Wechselplatteneinschübe.

Danke für den Link. Wäre ein Controller, wie dieser: https://geizhals.de/broadcom-9200-8e-hba-bulk-lsi00188-a491691.html geeignet für die Anbindung des externen SAS-Gehäuses ? Soweit ich gesehen habe, sollte dieser Controller einen LSI SAS2008 Controllerbaustein mit zwei externen Anschlüssen haben.

 

[gea]

Der wäre ok, aber sowas altes nicht neu kaufen.

Wenn dann gebraucht was mit 4/8e, LSI 2008 (ist uralt), 9207 (etwas neuer und schneller) oder 3008 (aktuell) suchen. Ideal mit IT firmware, IR firmware ist auch ok. Gut wäre 4e oder 8e. Man kann aber auch nach 4e/4i (würde ich machen) suchen oder einen internen SAS Port (aus 8i) per Slotblechadapter nach außen führen.

lsi 8e it mode in | eBay

lsi 8e it mode aus einer riesigen Auswahl an finden. Tolle Angebote bei eBay!

www.ebay.de

 

[Traviso]

Wenn dann gebraucht was mit 4/8e, LSI 2008 (ist uralt), 9207 (etwas neuer und schneller) oder 3008 (aktuell) suchen. Ideal mit IT firmware, IR firmware ist auch ok. Gut wäre 4e oder 8e. Man kann aber auch nach 4e/4i suchen oder einen internen SAS Port (aus 8i) per Slotblechadapter nach außen führen.

Super, danke für die zahlreichen Tipps. Dann werde ich mir einen dieser Controller besorgen. Die 3008er scheint es nur mit internen Ports zu geben, so dass ich diese Variante in Verbindung mit einem Slotblechadapter derzeit vorziehe.

 

[Traviso]

Ich wollte nochmal wegen eines externen Backupgehäuses nachfragen. Ich habe mir jetzt auch noch eine LSI 9400 besorgt und plane 2 der 4 SAS-Ports per Slotblech extern zur Verfügung zu stellen.

Wie könnte man jetzt das Backuplaufwerksgehäuse gestalten ? Ich dachte mir, einen kleinen Tower mit Wechselplatteneinschüben zu besorgen und dort wiederum per Slotblech-Adapter die 2 SAS-Anschlüsse nach innen als 8x SATA-Anschlüsse bereitzustellen oder damit auf meinen RESCV360 Expander zu gehen.
Zusätzlich ein Netzteil zur Spannungsversorgung der Festplatten.
Da ich das Backupgehäuse nicht konstant laufen lassen möchte, stellt sich die Frage, wie man einen z.B. zeitabhängigen Betrieb realisieren könnte.
Sollte man beispielsweise ein günstiges Mainboard einbauen, um damit z.B. die Spannungsversorgung für die Festplatten zeitabhängig per Linuxsystem zu aktivieren oder gibt es diesbezüglich andere Ideen ?

 

[Traviso]

Das Thema hat sich für mich erledigt, da ich gestern das von @gea empfohlene Gehäuse in der 8 Bay-Variante für den Preis der 4 Bay-Variante erwerben konnte.
Es ist zwar die Variante 6418AS, aber ich gehe davon aus, dass ich den mitgelieferten Raid-Controller nicht benötige und direkt an meinen HBA anschließen kann.

 

[Traviso]

Vielleicht kann mir jemand weiterhelfen, wie ich das Ganze jetzt OS-seitig aufsetzen soll.

Hier meine vorhandene Hardware:

Mainboard: Supermicro X11SCH-F
RAM: 32 GB (2x 16 GB) Kingston Server Premiere DDR4 RAM (wird nächste Woche auf 4x 16 GB erhöht)
Prozessor: Intel Xeon 2146G
HBA: LSI 9217 4i4e (wird nächste Woche durch einen Broadcom 9400 16i + Slotblende mit 2x SFF-8088 extern ersetzt)
Grafikkarte: HP GT730
SSD1: 2x M.2 500 GB WD Blue SSD
SSD2: 3x Sandisk 3D 1 TB SSD (als raidz pool für die VM´s und Docker-Container)
HDD1: 9x 8 TB Ironwolf Pro (raidz2 pool für Daten)
HDD2: 3x 6 TB WD Red Pro (raidz pool für Daten)
Backup: Highpoint Rocketstor 6418AS mit 7x 8 TB WD Red

Ich habe jetzt etwas mit Unraid + ZFS-Plugin gespielt, da ich gerne ZFS verwenden möchte.

Nach vielem Lesen scheint mir aber auch ESXi oder Proxmox + OmniOS + Napp-IT WebGUI eine sehr gute Option zu sein.

Ich möchte auf dem Server meine diversen Sicherungs-NASs zusammenfassen + Plex Mediastation + Homebridge + Nextcloud + Windows VM + Linux VM + Mac VM + Docker und einige weitere Kleinigkeiten laufen lassen.

Nicht ganz klar ist mir nun, wie das Ganze funktioniert, so ich z.B. ESXi als Hypervisor installiere und darauf OmniOS mt der Napp-IT WebGUI als VM laufen lasse. Verwalte ich dann den ganzen Festplattenspeicher/SSD-Speicher als zpools von OmniOS aus ? Und wie kann ich dann anderen VM´s entsprechend Platz zuteilen, der über OmniOS bereitgestellt wird.

Vielleicht kann jemand mal einen alten Mann diesbezüglich aufklären .

Und hat vielleicht noch jemand eine Empfehlung für eine kleine USV-Einheit in Towerform, die ich mit dieser Konfiguration verwenden könnte.

 

[gea]

Vielleicht kann mir jemand weiterhelfen, wie ich das Ganze jetzt OS-seitig aufsetzen soll.
..

Nicht ganz klar ist mir nun, wie das Ganze funktioniert, so ich z.B. ESXi als Hypervisor installiere und darauf OmniOS mt der Napp-IT WebGUI als VM laufen lasse. Verwalte ich dann den ganzen Festplattenspeicher/SSD-Speicher als zpools von OmniOS aus ? Und wie kann ich dann anderen VM´s entsprechend Platz zuteilen, der über OmniOS bereitgestellt wird.

Die "typische" Lösung sieht so aus:

Man nimmt eine kleine Sata SSD/M.2 (ab 80GB) als Bootlaufwerk und installiert darauf ESXi. Auf dem restlichen Platz wird die Storage VM OmniOS mit napp-it installiert (z.B. mit dem sofort lauffähigen ova template). Sonst kommt nichts mehr auf den lokalen ESXi Datastore mit vmfs Dateisystem.

Die eigentlichen Datenplatten werden von OmniOS als ein oder mehrere ZFS Pools verwaltet. Dazu muss OmniOS die Platten sehen. Dazu kann man den kompletten Controller an OmniOS geben oder mit einem SAS Kontroller auch einzelne Platten.

OmniOS erstellt auf dem ZFS Pool dann ein Dateisystem z.b. nfs und man aktiviert darauf NFS und SMB. Diese NFS (Netzwerkdateisystem) Freigabe nutzt man dann in ESXi zum Ablegen der weiteren VMs.

Vorteil: ZFS + Cache ist schneller und sicherer als vmfs (ESXi Dateisystem), man hat kein Problem mit vielen oder gar sehr vielen Snaps so wie bei ESXi Snaps, man kommt per SMB an die VMs für copy/move/backup/snap restore (Windows vorherige Version). Man sollte bei Nutzung des schnellen Schreib-Ramcaches unter ZFS sync write aktivieren. Wenn das z.B. bei einem Plattenpool zu langsam ist eine SSD/NVMe mit powerloss protection als Log device hinzufügen.

 

[Traviso]

Die "typische" Lösung sieht so aus:

Man nimmt eine kleine Sata SSD/M.2 (ab 80GB) als Bootlaufwerk und installiert darauf ESXi. Auf dem restlichen Platz wird die Storage VM OmniOS mit napp-it installiert (z.B. mit dem sofort lauffähigen ova template). Sonst kommt nichts mehr auf den lokalen ESXi Datastore mit vmfs Dateisystem.

Die eigentlichen Datenplatten werden von OmniOS als ein oder mehrere ZFS Pools verwaltet. Dazu muss OmniOS die Platten sehen. Dazu kann man den kompletten Controller an OmniOS geben oder mit einem SAS Kontroller auch einzelne Platten.

OmniOS erstellt auf dem ZFS Pool dann ein Dateisystem z.b. nfs und man aktiviert darauf NFS und SMB. Diese NFS (Netzwerkdateisystem) Freigabe nutzt man dann in ESXi zum Ablegen der weiteren VMs.

Vorteil: ZFS + Cache ist schneller und sicherer als vmfs (ESXi Dateisystem), man hat kein Problem mit vielen oder gar sehr vielen Snaps so wie bei ESXi Snaps, man kommt per SMB an die VMs für copy/move/backup/snap restore (Windows vorherige Version). Man sollte bei Nutzung des schnellen Schreib-Ramcaches unter ZFS sync write aktivieren. Wenn das z.B. bei einem Plattenpool zu langsam ist eine SSD/NVMe mit powerloss protection als Log device hinzufügen.

Ich danke dir für die Erklärung. Jetzt kann auch ich es nachvollziehen.

Werden die neueren LSI (Broadcom) HBA´s (LSI 9400) von ESXi (6.7) unterstützt ? Und so wie ich dich verstehe, ist für dich ESXi gesetzt und Proxmox nicht unbedingt eine Alternative.

 

[Firebl]

So herum sollte die Unterstützung kein Problem sein. Die LSI2008 werden nur noch von 6.7 unterstützt. Ansonsten nimm gleich 7.0 wenn du den 9400er kaufst.

 

[Traviso]

So herum sollte die Unterstützung kein Problem sein. Die LSI2008 werden nur noch von 6.7 unterstützt. Ansonsten nimm gleich 7.0 wenn du den 9400er kaufst.

Alles klar. Danke für die Info.

Gestern hatte ich testweise einmal Proxmox installiert. Dabei wurden mir nur 4 meiner Laufwerke in der GUI angezeigt. Mit fdisk -l in der Shell wurden jedoch alle Laufwerke gelistet. Beispielsweise wurden mir die SSD´s, welche am Onboard-SATA-Anschluss angeschlossen sind, nicht angezeigt. Sehr verwirrend....

Später werde ich einmal ESXi installieren.