[Kaufberatung] Architektur/OS für NAS + Virtualisierung

[rokim]

Hallo zusammen,

so langsam möchte ich mich von meinem DS213j trennen und etwas Neues aufbauen. Dabei schwanke ich fast täglich zwischen den unterschiedlichen Lösungsmöglichkeiten und habe mittlerweile schon ein Dutzend Warenkörbe zusammengestellt... Die Beiträge hier im Forum waren bisher sehr wertvoll für mich, um mich in die Materie einzuarbeiten, aber irgendwie hänge ich gerade fest vor der finalen Entscheidung.

Das wären meine Anforderungen:

• NAS: Backup für PCs/Smartphones (Bilder, Videos, Dokumente), Bereitstellen Medienbibliothek (Filme, Serien)
  Angedacht sind 4x 18TB (RAID 5), was reichlich Platz lässt im Vergleich zum aktuellen 3TB Setup
• Virtualisierung/Container: Jellyfin (2 Clients, teilweise Transcoding), *arr-Stack, Home Assistant, Immich, Joplin, Tandoor, Traefik, Watchtower
• "Angemessener" Stormverbrauch (natürlich so gering wie möglich )
• Platz bzw. Formfaktor spielt keine Rolle, im Keller ist viel Platz

Offene Punkte:

• Ich bin absolut unsicher, was die Architektur angeht: Ein System, das als NAS + Container-Host dient oder lieber zwei getrennte Systeme?
  Bei einem System würde ich beim Selbstbau landen, wobei es hier im Forum wunderbare Vorschläge gibt. Bei zwei getrennten Systemen würde es vermutlich ein N100 und ein NAS "von der Stange" (z. B. Synology) werden.
• Generell habe ich keine große Erfahrung mit Proxmox, Unraid oder TrueNAS. Nach vielen Stunden Einlesen habe ich aber keine Sorge, mich in eins der Systeme einzuarbeiten.
  Bei der 1-System-Variante wäre mein Favorit aktuell TrueNAS, auf dem ich die ganzen Container laufen lassen kann. Bei der 2-System-Variante wäre ich bei Proxmox auf dem N100 und einem Standard-NAS.

Wie würdet ihr das Ganze angehen? Vielen Dank schon mal an alle!

 

[gea]

Die flexibelste Lösung ist ein Virtualisierer als Basis und darauf VMs für Dienste. Bisher war ESXi das Maß der Dinge wenn es um Performance und geringen Resourcenverbrauch geht. Seit ESXi auch privat richtig Geld kostet, geht der Trend zu Proxmox . Das ist ein Debian mit voller Unerstützung für ZFS. Wenn man nur SMB Storage auf ZFS braucht, kann man sich eine eigene Storage VM (=Debian mit ZFS auf Debian mit ZFS) sparen. Einfach SAMBA installieren und VMs für sostige OS Virtualisierung.

Da die Proxmox GUI nur grundlegendes ZFS Management bietet, kann man eine eigene ZFS GUI hinzufügen (Houston, Cockpit, Poolsman oder mein Napp-it). Legt man Wert auf überragende SMB Performance, ist Windows Server + Hyper-V + SMB direkt eine weitere Option. Da läuft künftig auch ZFS (aktuell beta). Mein napp-it geht mit Windows

 

[Haldi]

Ich bin absolut unsicher, was die Architektur angeht: Ein System, das als NAS + Container-Host dient oder lieber zwei getrennte Systeme?

Verstehe ich nicht.
Welche vorteile versprichst du dir von 2 Systemen?

 

[pwnbert]

Easy:

1x NAS
AMD mit ECC
1x V-Host
Intel mit GVT-g (iGPU SR-IOV)

Ein Hypervisor mit allem drauf klingt zwar cool, isses aber nicht (zumindest ist es nicht so einfach), wenn man erstmal in der realen Welt angekommen ist.
Been there, done that, ich eiere gerade damit rum.

Neuerdings würde ich tatsächlich überlegen das getrennt zu bauen, auch wenn ichs jetzt in einem baue und das mal soweit durchziehe.


Ein TrueNAS Scale BareMetal hat schon was.
AMD B550 Brett mit Ausstattung nach Wahl (z.B. Asus Strix, Asrock Riptide), IPMI kann man sich imho dafür schenken obwohl cool (weil das TrueNAS Scale so rocksolid läuft... installierst 1x mit Monitor und fasst es nimmer an), also 6x SATA, 2.5 GbE NIC... 2x32gb DDR4 und gut.

Am V-Host kannst dann rummurksen, wie du lustig bist, ohne dein NAS irgendwie zu stören.
Mit ner mittleren Intel-CPU und M.2 only (ohne PLP) läuft das recht sparsam.


Man kann auch alles auf eine Kiste klatschen.
Wird dann halt recht voll und ggf. etwas unübersichtlich, ist sicher ne gute Sache, wenn man fit damit ist.
Wie gesagt, das Problem der iGPU ist real. AM4 iGPUs haben den Resetbug, inwiefern der Proxmox Workaround funktioniert, kann ich nicht sagen, dafür ECC. Intel haben zwar das GVT-g, was funktikonieren sollte, dafür kein ECC (zumindest alle leistbaren Kombinationen).

=> Schwierig.

 

[rokim]

Verstehe ich nicht.
Welche vorteile versprichst du dir von 2 Systemen?

pwnbert hat das wunderbar zusammengefasst. Letztendlich erhoffe ich mir dadurch etwas Komplexitätsreduktion und Entkoppelung für die Zukunft. In einer idealen Welt läuft das NAS > 10 Jahre annähernd wartungsfrei durch, während ich ohne großes Risiko auf dem anderen System basteln und ausprobieren kann.

Dazu noch jeweils die hoffentlich passende Hardware je Anwendungszweck (Intel für V-Host vs. AMD für NAS). Vielleicht möchte oder muss ich wegen der Mediathek in ein paar Jahren etwas an der Hardware des V-Hosts ändern. Natürlich würde das alles auch auf einem System funktionieren, weshalb mich vor allem eure bisherigen Erfahrungen interessieren.
Vielen Dank @pwnbert , eine solche Antwort ist für mich aktuell sehr wertvoll!

 

[pwnbert]

Bitte gern, das ist halt meine Erfahrung. Ich mach das aber auch nicht hauptberuflich.
Bin momentan selbst ein bissl am zweifeln, obs echt so schlau ist, das NAS virtuell zu betreiben am Universal-V-Host.

Mir stürzt Proxmox durchgehend ab, wenn ich PCIe Devs falsch durchreiche, nicht nur die eine VM. Also wenn man hier sehr viel rumspielen mag, ist es blöd, den Filer auch da drauf zu haben.
TrueNAS läuft baremetal echt rocksolid, da gibts gar nix. Proxmox wsl. auch, dazu kann ich nix sagen, aber das rumspielen ist es halt.

Ich bin mir halt echt nicht sicher, wie ichs in Zukunft machen will. 3 Server wollte ich eigentlich echt nicht, also Backupserver, V-Host und NAS, aber evtl. wärs nicht so blöd.
Was man sich am Ende spart ist ja auch die Frage... so ein HBA braucht auch mal schnell 10W und kostet 50-250€ (gebraucht, je nach Modell).. wie groß die Einsparung dann echt ist, alles auf 1 Kiste laufen zu haben, hm... mal sehen, wo ich lande.


Wie gesagt, für den Filer kannst dir IPMI eigentlich schenken, andererseits ist das Gigabyte MC12LE0 verlockend. Wenns nur ein Filer sein soll, kannst du auch eine schwächere CPU nehmen, braucht auch keine iGPU weil du eh nix beschleunigen musst (ob jetzt Passthrough oder Virtual-GL).
Insofern kannst MC12LE0 + 5600 + 64gb 3200 ECC UDIMM nehmen. Die paar W, die der 5600 mehr braucht als die APU sind auch egal, wenn du >4 HDDs drin hast, das geht unter.
Zudem sind 64gb mehr als genug für ARC-Cache (wsl. reichen 32gb schon vollkommen, würds Budget abhängig machen), du kannst dann aber so Containerkram laufen lassen z.B. Home-Assistent, Backup-Agent oder so irgendwas... so leichte Sachen, dies in den TrueNAS "Apps" gibt, welche du nicht am V-Host willst.

Am V-Host (hier eher Intel, meiner AMD-Erfahrung nach) wäre IPMI schon wichtig, damit du hier auch bequem ins Bios kommst um rumzuspielen, rebooten kannst, und so Kram. Meine ersten Proxmox-Erfahrungen sagen, dass das durchaus nützlich ist.
Intel-Hardware kann ich dir aber keine empfehlen, da ich da absolut nicht fit bin.
Auf jeden Fall aufpassen auf die Details, da steckt oft der Teufel drin. Lass dir von den Intel-Cracks erklären, was du brauchst, bezügl. GVT-g / GPU SR-IOV und PCIe Passthrough-"Tauglichkeit" sowie PCIe Bifurication-Möglichkeiten (bei AMD kenne ich mich da mittlererweile sehr gut aus).


Du brauchst halt das nötige Spielgeld für 2 Systeme, aber so ist das nunmal...