TrueNAS Scale Storage Planung, Homeserver die 100te

[MultumInParvo]

Hallo zusammen, ich hatte das schon im Mainboard Faden geschrieben, denke aber hier ist ein geeigneterer Platz dafür. Trotz reletiv vieler Fäden zum Thema habe ich keine eindeutige best practice Lösung gfunden, irgendwie macht es jeder anders. Bevor ich mich ins TrueNAS Scale Forum begebe (und zerissen werde, die User sind zwar freundlich, aber verstehen europäische Stromspar-Heimserver User nicht so richtig vom Gefühl), wollte ich hier um eure Meinung Wissen bitten.

Hardware
Ich brauche Hilfe bei der Storage Planung meines neuen NAS/Server auf dem Gigabyte MC12 Boards.
Das Board hat folgende Anschlüsse:
Erweiterungsslots1x PCIe 4.0 x16, 1x PCIe 4.0 x4, 1x M.2/M-Key (PCIe 3.0 x1, 2280/2242)
Anschlüsse intern 6x SATA 6Gb/s (B550)

Ich hab das Board gekauft weil AM4 ECC läuft, (2*32GB ECC DDR4 mit 5600X plus dem MC12 Board vorhanden). Und ich nicht bereit war auf W680 etc. Kosten, die Ultra-Low Power Lösungen waren mir zu einschränkend für Storage Kapazität plus 10Gig Networking, deshalb dieser "Kompromiss".

OS Entscheidung
Ich würde gerne erstmal von Hypervisor weg kommen und es nur mit TrueNAS Scale probieren, warum: Komplexitätsreduktion, ich weiß nicht ob ich die Zeit und Muße habe, mich in Proxmox einzuarbeiten.

Anforderung
Datengrab für Medienbereitstellung (Kodi, erstmal kein Jellyfin), Fotodatenbank für Lightroom Bildbearbeitung/Storage (die aktuellsten Fotos gerne auf schnellem Storage, die älteren Archive auf langsamerem Speicher), neuer zentraler Punkt um die aktuelle auf Raspberrys gehosteten Apps zu virtualisieren, dazu zählt aktuell Nextcloudpi (Nextcloud hosting), Home-Assistant, Pihole mit Wireguard VPN, DNS Crypt usw.

Storage
den ich überlege zu nutzen/anzuschaffen für die nächsten 5-6 Jahre (hoffentlich mehr als ausreichend).

1) TrueNAS OS
1* 240GB SSD für TrueNAS Scale (Backups der Config entsprechend natürlich)

2) TrueNAS Apps und Data
TrueNAS Apps die ich gerne nutzen möchte (siehe oben) und deren Daten/Installation, die Planung hier fällt mir am schwersten
Frage: ist es sinnig den Speicherort der TrueNAS Apps und der TrueNAS Daten zu trennen auf verschiedene (zwei) ZPOOLs und (zwei) VDEVs, oder ist das nicht nötig?
da man auf dem MC12 ja bei meinem 5600x max. 4*NVME unter bekommt (der 1xNVME will ich potentiell für einen NVME auf SATA Adapter nutzen)

2.1 Trennung von Data und App-Installation
App-Installation
2* 512GB NVME SSD Gen3+Gen4 (vorhanden), Mirror, Installationsort für die Nextcloud Apps (Nextcloud Data kann dort nicht liegen da zu viele User mit zu vielen Daten ca. 600GB aktuell Nextcloud, stark steigend),
App-Data
SSD oder NVME Storage für Nextcloud Data und Lightroom Bilder der aktuellen Kundenprojekte/Fotos,
Option 1) 2*4TB NVME Mirror (2* nur weil 2 Steckplätze in PCIex16 von den 2*512GB NVME belegt wären, ist mir eigentlich für den weiter steigenden Datenverbrauch zu wenig Speicherplatz, günstiger 450 Eur ca.),
Option 2) 3*3.84TB RaidZ1 SSD (Kingston DC600M mixed usage, mehr sicherheit, mehr speicherplatz, aber auch deutlich teurer, 1000EUR)

oder
2.2 keine Trennung von Apps und Data
wenn TrueNAS App Speicherort und Data nicht getrennt werden müssen/sollten und alles auf einem Zpool+VDEV liegen kann

wie Option 2) 3*3.84TB RaidZ1 SSDs und sich die NVME Storage für zukünftige Entwicklungen offen halten
Option 3) 3*4TB RaidZ1 NVME (700EUR, keine Power-Loss Protection) dafür 1*NVME Storage frei bspw. für Optane NVME des HDD Mediengrabs (siehe unten),

3) Mediengrab
3*16TB RAIDz1 HDDs (Seagate),

4)
Backup: 1*16TB local + cloud/external

Was denkt ihr. mache ich gedanklich fehler, bitte gerne darauf hinweisen. ich lerne gerne dazu, mein letzter NAS Bau ist jahre her, ZFS etc. ist auch neu für mich.

 

[pwnbert]

Kommt drauf an, wennst für die Daten SSDs hast, kannst die Apps dazu legen.
Ich hab ne SSD für Apps, weil Daten auf HDDs liegen.

App-Installation

Wenn extra, Single SSD, wenns tot ist, installierst halt neu bzw. spielst ein Backup auf (ist ja nicht so eine große Datenmenge, richtest ein automatisches Backup ein Richtung Datenplatte und gut). Wenn. Kauf halt nicht das billigste, dann wirds schon nicht sterben. Irgendwas kann immer sein, nicht verrückt machen, solang die Daten selbst geschützt sind, so what.

Sagmal, blöde Frage, hab ich eine 10g Netzwerkkarte (oder zumindest 2.5 GbE) überlesen?
Für die brauchst du eig. den PCIe 4.0 x4 Slot am Board.

Wenn du 1 GbE verwenden willst, kannst die SSDs vergessen und ne HDD nehmen, die 80mb/s schafft ein Z1 in jeder Lebenslage ...

 

[wddn]

10GBit NIC in den PCIe 4x slot
M.2 Asus Hyper Card in den PCIe 16x slot und dann 4x M.2 SSDs mit bifurcation

Ich nutze 2x SSDs als Mirror für special vDev für mein HDD array und 2x mirrored für die VMs.

TrueNAS Scale auf irgend eine popelige SSD - würde den auf dem Mainboard nehmen.
L2ARC und SLOG würde ich mir sparen: viel RAM und special vDev bringen meist mehr.

Ich mag TNS, aber die Apps sind nicht sehr gut gemacht - Proxmox ist da robuster (Alternative: Proxmox und darauf TNS virtualisiert und die Apps in Proxmox)

 

[MultumInParvo]

ja 10gbit NIC kommt in den 4x slot, bzw. würde auch den vergleich mit 2.5gig anstellen.

wddn,
in deiner signatur steht trueNAS Scale Server, nicht Proxmox Server. aber ich verstehe deine Empfehlung, vielleicht guck ich mir auch nochmal ein paar proxmox videos an zum setup. ein freund von mir schwört auch auf den hypervisor.

davon abhängig,
proxmox auf einer eigenen SSD, eine weitere SSD dann für truenas scale auch separat von allen anderen proxmox containern/linux VMs? oder kann ich truenas scale auf derselben SSD/ZPool laufen lassen wie alle anderen vms die proxmox verwaltet?
special vDev: kann ich dafür meine 2*512GB NVMEs nutzen, oder sollte man da besser auf optane technologie usw. zugreifen? oder reichen da auch popelige SATA SSDs, gibts da ne mindestgröße an speicherplatz die ein special vdev haben muss bei 3*16TB HDDs?

 

[wddn]

wddn,
in deiner signatur steht trueNAS Scale Server, nicht Proxmox Server. aber ich verstehe deine Empfehlung, vielleicht guck ich mir auch nochmal ein paar proxmox videos an zum setup. ein freund von mir schwört auch auf den hypervisor.

Ich habe noch einen Thin Client mit Proxmox auf dem OPNSENSE, PiHole, Cloudflared, Omada Controller, Home Assistant am Laufen…

Ich habe daher den direkten Vergleich: ursprünglich wollte ich die meisten Apps auf dem TNS Server laufen lassen, aber zu viele Probleme… Daher wird der TNS hauptsächlich als Filrserver dienen und die meisten Apps gehen auf den Proxmox Server.

Beitrag automatisch zusammengeführt: 23.01.2024

special vDev: kann ich dafür meine 2*512GB NVMEs nutzen, oder sollte man da besser auf optane technologie usw. zugreifen? oder reichen da auch popelige SATA SSDs, gibts da ne mindestgröße an speicherplatz die ein special vdev haben muss bei 3*16TB HDDs?

Reicht dicke…
Ist nur für kleine Metadaten und beschleunigt daher ein bisschen

 

[gea]

Reicht dicke…
Ist nur für kleine Metadaten und beschleunigt daher ein bisschen

Kommt darauf an was man als small blocksize setzt.

Bei sehr kleinen Werten wie 4K sind das nur Metadaten und Mini Files. Setzt man das größer z.B. 64K, so landen alle Files bis 64K mit auf dem Special Vdev. Das sind praktisch alle Office Dokumente. Da gehts schnell dass ein special vdev vollläuft und dann nicht mehr genutzt wird,

 

[wddn]

Kommt darauf a was man als small blocksize setzt.

Korrekt - aber dafür musst du manuell eingreifen.
Über TrueNAS scale UI geht das nicht.

Ich habe 4x16TB als striped mirror (ähnlich RAID10) mit 2x 1TB NVME @ Mirror.
Müsste mal schauen wie voll die sind…

 

[pwnbert]

Müsste mal schauen wie voll die sind…

Mach das bitte.