[Kaufberatung] Yet another (True)NAS-System evtl. in Kombination mit Virtualisierung

[Buliwyf Stonehand]

Erst mal vielen Dank für die zahlreichen interessanten Beiträge, die ich beim Querlesen bereits entdecken konnte. Ich freue mich über jeden Input, kann aber gut verstehen, falls das Thema schon etwas ausgelutscht ist. Jedenfalls freue ich mich über jede neue Erkenntnis, die sich vielleicht aus dem Thread ergibt. Ich entschuldige mich schon mal für die Wall-of-Text. Part 1 und 2 kann man gegebenenfalls ja einfach überspringen. 😅


Der Stand der Dinge

Aktuell laufen bei mir folgende Systeme:

HP ProLiant MicroServer N54L

• TrueNAS Core 13.0-U4
• 16 GB DDR3 ECC RAM (2x 8 GB)
• 5x 8 TB HGST Deskstar NAS HDD als RAID-Z1
• Intel Dual-Port Gigabit NIC (Link Aggregation)
• 240 GB SSD Mushkin Triactor MKNSSDTR240GB (OS)

Dell PowerEdge T30

• VMware ESXi 6.7u3
• Intel Xeon CPU E3-1225v5
• 64 GB DDR4 ECC RAM (4x 16 GB)
• Fujitsu RAID Controller D2616 + BBU
• 4x 3 TB WD Red als RAID-10
• Intel Quad-Port Gigabit NIC
• 60 GB SSD SanDisk SDSSDP06 (OS)

Beide Systeme hängen an einer USV (APC-Back-UPS Pro 550). Laut USV brauchen beide Systeme inkl. Modem und Switch ca. 130 W im normalen Betrieb.

Der N54L dient seit 2013 als NAS und wurde 2017 von 3 TB WD Red HDDs auf 8 TB HGST erweitert. Inzwischen ist der Pool allerdings zu 70 % belegt und ich wollte nicht erst bis 85 % warten, bevor ich mich um eine neue Lösung umschaue. Ich hatte 2017 schon gewisse Bedenken, was RAID-Z1 in Verbindung mit 8 TB HDDs betrifft. Deshalb wollte ich bei diesem Upgrade auf RAID-Z2 mit 6 HDDs umsteigen. Mehr als 5 Stück bekomme ich im Gehäuse leider nicht sinnvoll unter und nach 10 Jahren lohnt sich vielleicht doch mal der Umstieg auf eine aktuellere Basis. Auf dem NAS liegen überwiegend Medien (Filme, Serien, Fotos), aber auch diverse Backups anderer Systeme und noch etwas Kleinkram. Da überwiegend große Dateien linear geschrieben/gelesen werden, konnte das Gigabit-Netz in den meisten Fällen auch problemlos ausgelastet werden. Private Fotos und Backups werden auf externen HDDs sporadisch gesichert. Der Rest ist mit einem gewissen Aufwand wieder beschaffbar, weshalb sich die Kosten für eine ausreichend große Backup-Möglichkeit nicht wirklich gelohnt hätten. In Zukunft würde der N54L dann als Backup des Neuen NAS dienen und entsprechend auch nur laufen, wenn gerade eine Replication durchgeführt wird.

Den T30 nutze ich als Hypervisor. Anfangs hatte ich noch Emby als Jail auf dem NAS, aber dank der lediglich 2 eher gemächlichen CPU-Kerne, lief das nur leidlich gut. Seit 2017 ist Emby auf den T30 umgezogen und diverse weitere Dienste folgten im Lauf der Jahre. Aktuell läuft darauf folgendes:

• RouterOS in Kombination mit einem DrayTek Vigor 165 als Ersatz für die Fritz!Box
• Starface als Ersatz für die Telefoniefunktion der Fritz!Box
• Home Assistant Operating System
• Eine Debian VM, um diverse Docker-Container (z.B. Mailcow, Jellyfin, Nextcloud, Traefik) zu betreiben
• Eine Windows Server VM, Hauptsächlich für Veeam Backup (Sicherung der VMs auf dem NAS)

Mit der Leistung des T30 wäre ich eigentlich noch zufrieden. Mal abgesehen von der Windows VM fallen die HDDs nicht wirklich negativ auf und auch die CPU hat die meiste Zeit nicht allzu viel zu tun, da das Streaming im LAN immer per Direct-Play erfolgt, also nichts transkodiert werden muss. Wenn doch mal über das Internet auf Filme oder Serien zugegriffen wird, kommt die CPU hingegen ziemlich ins Schwitzen. Ist jedoch nur selten der Fall.


Das Ziel

Um Mittelfristig nicht in Bedrängnis zu geraten, weil mein ZFS-Pool voll läuft, habe ich vor ein paar Tagen (für etwas über 13 € pro TB) 6x 18 TB Toshiba MG09 HDDs bestellt, um sie als RAID-Z2 unter TrueNAS zu betreiben. Hauptziel ist, diese irgendwo unterzubringen. Als Gehäuse habe ich gerade ein SilverStone CS380 V2 im Zulauf. Da steht allerdings noch nicht fest, ob ich es wirklich behalte, da unter anderem erst mal der Zustand (Amazon WHD) geprüft werden muss und auch die Möglichkeiten zur Aufstellung etwas begrenzt sind. Alternativ fände ich z.B. auch das SilverStone CS381 interessant. Allgemein war mein Wunsch 6 oder mehr Hot-Swap-Einschübe zu haben. Aufgrund des begrenzten Platzes am Netzwerkkasten sollte das Gehäuse nicht sehr viel Tiefer als 40 cm sein. das CS380 ist in der Hinsicht schon am Limit. In das Gehäuse sollte mindestens ein microATX-Board passen. Noch ziemlich offen ist die Frage, welches Mainboard und welche CPU in das NAS kommen. Ich würde gerne weiterhin ECC RAM nutzen. Mir ist dabei bewusst, dass das für ZFS nicht zwingend notwendig ist, aber ich habe dafür einfach allgemein eine Vorliebe, wenn es um Server geht, die 24/7 möglichst störungsfrei laufen sollen. Als Software werde ich bei TrueNAS bleiben. Hier bin ich allerdings noch unentschlossen, ob Core oder Scale. Die Hardware sollte ein halbwegs vernünftiges Preisleistungsverhältnis haben, wobei auch der Kauf von gebrauchten Komponenten eine Option wäre. Mir ist bewusst, dass TrueNAS und 6 HDDs (ohne Spindown) nicht gerade eine gute Voraussetzung für ein stromsparendes System sind, aber es wäre schön, wenn sich da ein guter Mittelweg finden lässt.

Beim Stöbern nach Hardware kam mir der Gedanke, dass ich bei der Gelegenheit ja eventuell NAS und Hypervisor in einem System vereinen könnte. Zumindest würde das Platz, aber auch das ein oder andere Watt einsparen. Jedoch befürchte ich, dass sich die Mehrkosten selbst bei den aktuellen Energiepreisen nicht wirklich schnell amortisieren würden. Da ich mit dem T30 im Großen und Ganzen noch zufrieden bin, wäre das also lediglich als denkbare Option zu sehen. Auf die Virtualisierungsmöglichkeiten von TrueNAS Scale würde ich dabei übrigens eher nicht zurückgreifen wollen. Eher würde ich dazu TrueNAS als VM aufsetzen und weiterhin ESXi oder auch Proxmox nutzen.


Kurzfassung

Gesucht wird halbwegs energieeffiziente Hardware mit gutem PLV für ein NAS mit TrueNAS (RAID-Z2). Optional kann dabei die Zusammenlegung mit einem aktuell parallel zum NAS genutzten Hypervisor-System (ESXi oder Proxmox) erwogen werden. Die Lautstärke spielt übrigens absolut keine Rolle. Das Ding steht im Keller.

Bereits vorhanden:

• 6x 18 TB Toshiba MG09 HDDs (eine weitere HDD liegt noch als Cold Spare bereit)
• SilverStone CS380 V2 (8x Hot-Swap, bis ATX geeignet)
  Alternativen dazu dürfen trotzdem gerne genannt werden, da es ja nach Zustand und Platzknappheit bezüglich Aufstellungsort wieder gehen muss.

Erforderlich:

• Untersützung von ECC RAM (mindestens 32 GB)
• Gehäuse nicht viel tiefer als 42 cm
• Ausreichende Single-Thread-Performance für SMB
• Sinnvolles Preisleistungsverhältnis
  Ist letztendlich natürlich auch ein Hobby, dass ich mir gerne auch etwas kosten lasse, aber ich will es auch nicht völlig übertreiben.

Wünschenswert:

• Mindestens 6x Hot-Swap
• IPMI
• Halbwegs energieeffizient

Falls etwas von meinen Anforderungen bzw. Plänen völliger Blödsinn ist, darf man mich darauf natürlich auch gerne hinweisen und Alternativen anbieten. 🤪

 

[asche77]

Streaming vom T30: Du hast aber die iGPU des Xeon schon an die VM durchgereicht, die das transcoding macht?! Unter ESXi und Plex auf einer Debian VM (mit plexpass und iGPU) habe ich auf meinem T30 keinerlei Probleme, Sachen zu transcodieren - anders sähe das aus, wenn man Richtung 4k und HDR ginge.

 

[Buliwyf Stonehand]

Streaming vom T30: Du hast aber die iGPU des Xeon schon an die VM durchgereicht, die das transcoding macht?!

So weit ich mich erinnern kann, war Hardware-gestütztes Transcoding bei Emby nur in der kostenpflichtigen Variante möglich. Da ich die kostenlose Variante verwendet habe, war das also nie eine Option. Beim Umstieg auf Jellyfin habe ich mich dann ehrlich gesagt nicht mehr damit befasst, da es eigentlich nicht wirklich relevant für mich war. Zuhause können alle Abspielgeräte direkt ohne Transcoding Filme und Serien wiedergeben. Außerhalb des LANs nutze ich das Ganze eigentlich nur, um Musik zu streamen. In seltenen Fällen "leiht" sich mal ein Freund einen Film aus. Das ist bisher eigentlich die einzige Situation, in der es nützlich wäre. Aber wenn das Thema NAS mal durch ist, schaue ich mir die Sache in Verbindung mit Jellyfin noch mal an.

 

[asche77]

Jellyfin unterstützt iGPU transcoding. Damit wäre das dann kein bottleneck mehr (CPU-transcoding ist SEHR fordernd).

Gibt es sonst performance-issues beim T30, die Dich stören? Falls Laufwerksgeschwindigkeit: Wären 3.84Tb SSDs statt der 3TB HDDs eine Möglichkeit? @mrpasc hätte glaube ich noch welche ...

Ansonsten stellt sich mir die Frage, wenn die Leistung jetzt schon passt, warum dann was ändern? (Ausser den T30 von 3 auf 6 HDD aufzubohren oder ein externes disk shelf anzubinden)

 

[Buliwyf Stonehand]

Gibt es sonst performance-issues beim T30, die Dich stören? Falls Laufwerksgeschwindigkeit: Wären 3.84Tb SSDs statt der 3TB HDDs eine Möglichkeit?

Ja, darüber hatte ich auch schon nachgedacht. Das wäre ich eventuell als nächstes angegangen. Die Lösung mit den HDDs ist es damals vor allem geworden, weil diese schon im Schrank lagen und ich zufällig über ein günstiges Angebot für den RAID-Controller gestolpert bin.

Ansonsten stellt sich mir die Frage, wenn die Leistung jetzt schon passt, warum dann was ändern?

Primär ging es mir eigentlich nur um Ersatz für das NAS. Die Variante, das mit einem Tausch des T30 und der Kombination von beiden System zu verbinden, war nur so eine Idee, die sich dabei ergeben hat.

Ausser den T30 von 3 auf 6 HDD aufzubohren oder ein externes disk shelf anzubinden

Du meinst, den T30 zusätzlich als NAS zu nutzen und z.B. TrueNAS als VM darauf laufen zu lassen? Wäre natürlich die günstigste Variante, insofern hat das schon was.

Die 6 HDDs im T30 unterzubringen stelle ich mir weniger angenehm vor, sowohl was Platz als auch Kühlung angeht. Und Hot-Swap bzw. Wechselrahmen wäre schon nett, wenn auch nicht unbedingt notwendig. Was den RAM angeht, wäre es auch schon am Limit, was ich mir so vorgestellt habe. 64 GB ist ja die Maximalbestückung und 32 bis 64 hätte ich gerne TrueNAS gegönnt.

Welches Disk Shelf würde sich dafür anbieten und wie bindet man das am besten an?

 

[Potz]

Da du so zufrieden bist mit dem was du hast und vieles auch noch nicht wirklich alt ist, würde ich darüber nachdenken, ob du im laufenden Betrieb einen Weg findest alles zu zerpflücken und nur ein neues System aufzubauen, was du dann nach Geschmack entweder mit ESXi oder Proxmox betreibst. Basis wäre ein Supermicro X11SSL-F, X11SSM-F, X11SSH-F oder X11SSH-LN4F und ansonsten vieles was du so im T30 verbaut hast (CPU, RAM, NIC). Falls sich dein D2616 auf IT flashen lässt, könnte auch der bleiben und würde an eine TrueNAS VM durchgereicht werden. Ansonsten musst du überlegen, ob du auch Performance verzichtest und die SATA-Devices einzeln an die VM reichst (keine Ahnung, ob das unter ESXi klappt; Proxmox kann das) oder ob du einen HBA kaufst (oder ein X11SSL-CF). Zunächst mal würde das reichen, weil du alle VMs per iSCSI mit Plattenplatz versorgen könntest. Eine Ergänzung könnten noch zwei SSDs für die VMs sein. Mir gefällt daran, dass du ein Mainboard und evtl. HBA & Netzteil kaufen musst, da du sonst alles hast, bzw. Platten und Gehäuse schon gekauft hast. Meiner Meinung nach kannst du so bei vertretbaren Kosten einen nennenswerten Teil deiner Hardware noch lange weiter nutzen. Durch den Wechsel auf einen Selbstbau mit Standardhardware hast du dann in 5 Jahren oder so die freie Wahl, z.B. Mainboard, CPU und RAM zu tauschen, aber deine Platten, den HBA, Gehäuse evtl. auch weitere Teile wie Netzteil, Lüfter und Kühler weiter zu verwenden.

 

[Buliwyf Stonehand]

Jellyfin unterstützt iGPU transcoding. Damit wäre das dann kein bottleneck mehr (CPU-transcoding ist SEHR fordernd).

Ich habe es heute mal getestet. Leider unterstützt Skylake bei Quick Sync wohl kein 10-bit HEVC. Würde sich also nur eingeschränkt nutzen lassen. Dazu kommt das Problem, dass Veeam Backup per ESXi Snapshots erstellt, um von laufenden VMs Backups anzulegen. Snapshots sind leider bei Hardware-Passthrough nicht mehr möglich. Ist jetzt kein Beinbruch, da ich es ohnehin nur aus Neugierde aktiviert hatte. Eine echte Notwendigkeit besteht für Hardware-Transcoding aktuell nicht.

Ausser den T30 von 3 auf 6 HDD aufzubohren oder ein externes disk shelf anzubinden

Dazu gefunden habe ich das SilverStone TS821S. Hattest du so etwas gemeint? Würde allerdings stolze 420 € kosten. Dazu würden dann noch zwei Mini-SAS-Kabel und ein Controller mit externen Anschlüssen kommen. Alternativ müsste ich sehen, ob ich den Fujitsu-Controller mit der IT Firmware flashen kann, um dann die Kabel einfach ins Gehäuse zu führen. Die VMs würden bei der Gelegenheit auf SSDs umziehen. Habe ich deinen Vorschlag so richtig verstanden und gibt es dazu eventuell auch noch günstigere Alternativen zu dem Gehäuse von SilverStone?

Edit: Gehäuse ist nur mit 2,5" HDDs nutzbar. Habe ich leider erfolgreich mehrfach überlesen.

würde ich darüber nachdenken, ob du im laufenden Betrieb einen Weg findest alles zu zerpflücken und nur ein neues System aufzubauen

Grundsätzlich wäre das eine Möglichkeit. Allerdings würde es die Sache wesentlich entspannter machen, wenn ich alles in Ruhe fertig machen könnte, ohne das bestehende System völlig lahmzulegen. Der Rest der Familie würde sich vermutlich wenig begeistert zeigen, wenn für unbestimmte Zeit Internet und Festnetz ausfallen. Smart-Home und Medien-Server lassen sich noch eher verschmerzen.

Falls sich dein D2616 auf IT flashen lässt

Muss ich mir noch ansehen. Ich meine aber in Erinnerung zu haben, dass es bei Fujitsu nicht oder zumindest nicht ohne weiteres möglich ist.

Gehäuse schon gekauft

Vom Gehäuse würde ich nicht zu viel abhängig machen. Das kam gestern an und mal abgesehen davon, dass die Zustandsbeschreibung von Amazon recht optimistisch war, ist die Tiefe schon echt grenzwertig für den Platz, der eigentlich dafür vorgesehen ist. Die Qualität finde ich ehrlich gesagt auch eher dürftig. Positiv ist, dass es noch mal einen kleinen Preisnachlass gab, da unter anderem der Schlüssel fehlt, und es mich letztendlich 103 € kosten würde. Günstiger findet man vermutlich nichts mit 8 HDD-Einschüben. Falls es doch nicht zum Einsatz kommt, kann es auch problemlos an Amazon zurück gehen.

 

[Shiga]

Wieso setzt du nicht TrueNAS Scale ein?
Kubernetes/Docker, KVM, ZFS usw. alles ist dabei,
Ich betreibe meine VMs auch auf dem TrueNAS per KVM.

 

[Buliwyf Stonehand]

Ganz allgemein bin ich kein großer Fan von All-in-one-Lösungen und setze lieber für jedes Anwendungsgebiet darauf spezialisierte Software ein. Abgesehen davon wirkte der VM/Container-Part von Scale auf mich, in den Reviews, die ich dazu gesehen hatte, etwas unfertig. Da scheint sich zwar inzwischen schon wieder einiges getan zu haben und auch weiterhin viel zu tun, aber aktuell würde ich dafür eher auf eine bewährte Lösung setzen anstatt auf eine Lösung, die quasi gerade erst aus den Kinderschuhen raus ist. Auch Dinge, wie die unterschiedliche Ausnutzung des RAMs bei Scale, lassen mich aktuell eher noch zu Core tendieren, auch wenn ich mich in der Hinsicht noch nicht endgültig entschieden habe.

Aber was wäre denn aktuell eigentlich der Vorteil, die Virtualisierung per TrueNAS zu lösen anstatt TrueNAS zu virtualisieren?

 

[Shiga]

Ganz allgemein bin ich kein großer Fan von All-in-one-Lösungen und setze lieber für jedes Anwendungsgebiet darauf spezialisierte Software ein. Abgesehen davon wirkte der VM/Container-Part von Scale auf mich, in den Reviews, die ich dazu gesehen hatte, etwas unfertig. Da scheint sich zwar inzwischen schon wieder einiges getan zu haben und auch weiterhin viel zu tun, aber aktuell würde ich dafür eher auf eine bewährte Lösung setzen anstatt auf eine Lösung, die quasi gerade erst aus den Kinderschuhen raus ist. Auch Dinge, wie die unterschiedliche Ausnutzung des RAMs bei Scale, lassen mich aktuell eher noch zu Core tendieren, auch wenn ich mich in der Hinsicht noch nicht endgültig entschieden habe.

Aber was wäre denn aktuell eigentlich der Vorteil, die Virtualisierung per TrueNAS zu lösen anstatt TrueNAS zu virtualisieren?

TrueNAS Scale setzt auf K8S, was soll da in den Kinderschuhen stecken?
Der Vorteil ist Leistung, ich kann so die Intel GPU mit mehreren Container sharen, 10 Gigabit wird anständig ausgenutzt, meine Plex Mediathek mit ca. 200'000 Folgen/Filme intialisiert nicht ewig, der Container hat direkt Zugriff auf ein NVMe Temp Drive zum transcodieren.

 

[Buliwyf Stonehand]

TrueNAS Scale setzt auf K8S, was soll da in den Kinderschuhen stecken?

Das bezog sich nicht auf Kubernetes, sondern auf Scale und in erster Linie auf das UI. Und ich meinte auch nicht ausschließlich das Thema Container/Virtualisierung in dem Kontext.

Der Vorteil ist Leistung, ich kann so die Intel GPU mit mehreren Container sharen, 10 Gigabit wird anständig ausgenutzt

Und all das geht mit ESXi oder Proxmox nicht?

meine Plex Mediathek mit ca. 200'000 Folgen/Filme intialisiert nicht ewig

Ich bin mir nicht sicher, was du mit initialisieren meinst oder ab welcher Zeitspanne für dich "ewig" beginnt, aber bislang konnte ich in der Hinsicht noch keine Probleme feststellen. Sollte ich mal bei 200.000 Videodateien angekommen sein, mag sich das ändern.

direkt Zugriff auf ein NVMe Temp Drive zum transcodieren

Transkodieren ist bislang eigentlich kein Thema und aktuell würde auch sicher nicht der Massenspeicher limitieren.



Ehrlich gesagt habe ich ja den Eindruck, die Diskussion geht gerade ein wenig am Thema vorbei.

 

[Shiga]

Und all das geht mit ESXi oder Proxmox nicht?

Dann musst du die GPU vom Host Blacklisten und in deine Container-Host VM durchreichen,
sprich sie zeigt dir dann nichts mehr an von deinem Hypervisor nach dem Boot.

Das bezog sich nicht auf Kubernetes, sondern auf Scale und in erster Linie auf das UI. Und ich meinte auch nicht ausschließlich das Thema Container/Virtualisierung in dem Kontext.

Finde ich nicht, das UI ist super und kann gleich viel wenn nicht mehr als das normale TrueNAS.

Ich bin mir nicht sicher, was du mit initialisieren meinst oder ab welcher Zeitspanne für dich "ewig" beginnt, aber bislang konnte ich in der Hinsicht noch keine Probleme feststellen. Sollte ich mal bei 200.000 Videodateien angekommen sein, mag sich das ändern.

Paar Minuten vs. paar Sekunden, meine den Scan der Mediathek.

Transkodieren ist bislang eigentlich kein Thema und aktuell würde auch sicher nicht der Massenspeicher limitieren.

Dann ist ja gut.

 

[Buliwyf Stonehand]

Dann musst du die GPU vom Host Blacklisten und in deine Container-Host VM durchreichen,
sprich sie zeigt dir dann nichts mehr an von deinem Hypervisor nach dem Boot.

Danke für den Hinweis. Ich behalte das mal im Hinterkopf.

Finde ich nicht, das UI ist super und kann gleich viel wenn nicht mehr als das normale TrueNAS.

Darum ging es mir auch gar nicht. Das UI hat(te) einfach zum Teil noch seine Eigenheiten und Fehler. Aber ich habe ja bereits eingeräumt, dass sich daran bereits viel getan hat. Außerdem waren manche Dinge (noch) nicht über das UI möglich. Frag bitte nicht nach Details, so genau habe ich das aktuell nicht mehr in Erinnerung. Ich behaupte ja auch nicht, niemals auf TrueNAS Scale umsteigen zu wollen, aber aktuell tendiere ich dazu, bei Core zu bleiben. Ein späterer Wechsel auf Scale ist ja kein Problem. Dass Scale besser geeignet sein soll als Proxmox für Virtualisierung sehe ich derzeit einfach nicht. Ich will hier aber auch niemanden von meinem Standpunkt überzeugen.

Paar Minuten vs. paar Sekunden, meine den Scan der Mediathek.

Keine Ahnung, wie das unter Plex gehandhabt wird, aber Jellyfin fügt neue Medien eigentlich automatisch hinzu. Einen vollen Scan über die gesamte Sammlung mache ich eigentlich so gut wie nie. Da das so selten vorkommt, stört es mich dann auch tatsächlich nicht, wenn es ein paar Minuten dauern sollte. Ich sehe aber auch nicht so recht, weshalb das mit beispielsweise Proxmox als Unterbau so viel länger dauern würde.

 

[Potz]

Aber was wäre denn aktuell eigentlich der Vorteil, die Virtualisierung per TrueNAS zu lösen anstatt TrueNAS zu virtualisieren?

Ein natives TrueNAS wäre ein schnelleres NAS als ein virtualisiertes. Wie groß der Unterschied ist, hängt davon ab wie du das System genau gestaltest. Für hohe Performance musst du die Datenträger und auch die NICs an TrueNAS durchreichen. Ein weiterer Vorteil ist ein simpleres System. Das ist für manche Anwendungszwecke sicher nicht zu vernachlässigen. Ein großer Nachteil von TrueNAS als Virtualisierer wäre die Mächtigkeit und letztendlich die Zuverlässigkeit. Aus letzterem Grund gehe ich gerade auch weg von TrueNAS als Virtualisierer, auch wenn ich noch keine Probleme hatte. Ich versuche mein Glück mit Proxmox, aber mit ESXi bist du gut aufgestellt.

 

[gea]

Virtualisierer und Fileserver sollten eine möglichst hohe Verfügbarkeit haben. In Zeiten in denen man monatlich kritische Sicherheitsupdates installieren sollte eine sportliche Aufgabe. Am Besten gelingt das mit einem maximal minimalistischen Virtualisierer und der Virtualisierung aller Dienste. Der Storageserver sollte ebenfalls minimalistisch sein und keine weiteren Dienste bereitstellen.

Das ist der Grund warum ich bei ESXi bleibe und auch den Storageserver neben anderen VMs darauf virtualisiere. Der Performanceverlust ist minimal sofern man ähnlich CPU und RAM wie bei einer Barebone Installation bereitstellt. TrueNAS/FreeNAS ist halt etwas fett und braucht doch einiges an RAM zusätzlich zu dem was ZFS gerne hätte. Für ESXi sollte man auch ca 2-4GB RAM einrechnen, ein vollwertiges Linux wie ProxMox als Basis braucht nochmal mehr.

Mit ESXi und einem Solaris ZFS Filer sehe ich 16GB RAM als Minimum, mit anderen ZFS Systemen und Proxmox eher 32 GB, mehr ist schneller da ZFS mit mehr RAM schneller wird.

 

[wddn]

@Buliwyf Stonehand

Ich wollte zuerst einen all-in-one Server aber habe mich fuer zwei Server entschieden:
Server 1: Proxmox Hypervisor fuer essentielle Dienste (essentiell = schreit jemand zu Hause falls der Server nicht laeuft?)
Server 2: TrueNAS Scale mit nicht-essentiellen Diensten

Server 1: Proxmox Hypervisor - 5-10W
Hardware:

• HP T620 Plus Thin Client
• AMD GX-420CA mit 4c/4t
• 16GB RAM
• 120GB SATA SSD
• Intel i350-T4 NIC

Software:

• Proxmox 7.4.3
• OPNSense
• Pi-Hole
• Home Assistant
• Omada Controller

Server 2: TrueNAS Scale - 50-100W
Hardware:

• Asrock Rack X470D4U
• Ryzen 2700X 8c/16t + Noctua NH-U9DX i4
• 4x16GB ECC DDR4 Samsung 2666Mhz
• Intel X710-DA2 NIC
• Boot Pool: Crucial P2 NVME SSD 250GB for OS
• VM Pool: 2x Micron 7300 Pro 960GB NVME SSD (PLP, 1.9PB TBW) - mirrored for usage for VMs, Apps, ISO Storage
• Storage Pool: 4x HDD CMR striped mirror with 2x mirrored NVME for special vDev

Software:

• TrueNAS Scale Bluefin
• Pi-Hole 2
• Omada Controller 2
• Jellyfin
• Kavita
• cloudflared
• Nextcloud
• Heimdall

Vorschlag fuer deine Situation:

Dell PowerEdge T30 als TrueNAS Server

• VMware ESXi 6.7u3 -> TrueNAS Scale
• Intel Xeon CPU E3-1225v5 -> ok
• 64 GB DDR4 ECC RAM (4x 16 GB) -> ok
• Fujitsu RAID Controller D2616 + BBU -> notwendig?
• 4x 3 TB WD Red als RAID-10 -> 6x18TB an die 6x SATA des Mainboards
• Intel Quad-Port Gigabit NIC -> optional schnellere NIC
• 60 GB SSD SanDisk SDSSDP06 (OS) ->PCIe M.2 Adapterkarte, fuer OS, oder PCIe SATA (HBA) Controller
• RouterOS in Kombination mit einem DrayTek Vigor 165 als Ersatz für die Fritz!Box -> OPNSense, oder pfSense?
• Starface als Ersatz für die Telefoniefunktion der Fritz!Box
• Home Assistant Operating System -> Hypervisor?
• Eine DebianVM, um diverse Docker-Container (z.B. Mailcow, Jellyfin, Nextcloud, Traefik) zu betreiben
  • Mailcow, Traefik -> Hypervisor
  • Jellyfin, Nextcloud -> TrueNAS
• Eine Windows Server VM, Hauptsächlich für Veeam Backup (Sicherung der VMs auf dem NAS)
• Pi-Hole?

Neuer stromsparender Hypervisor
z.B. Mini PC
SSD storage

• Hypervisor: VMware ESXi 6.7u3 oder Proxmox
• Router: OPNSense, oder pfSense
• Starface als Ersatz für die Telefoniefunktion der Fritz!Box
• Home Assistant Operating System
• Eine DebianVM, um diverse Docker-Container (z.B. Mailcow, Jellyfin, Nextcloud, Traefik) zu betreiben
  • Mailcow, Traefik -> Hypervisor
• Eine Windows Server VM, Hauptsächlich für Veeam Backup (Sicherung der VMs auf dem NAS)
• VPN: Cloudflared als tunnel?

HP ProLiant MicroServer N54L
ich wuerde mal schauen, ob du die Fujitsu RAID Controller D2616 + BBU als HBA flashen kannst um mehr SATA Anschluesse zu haben + Molex splitter und dann die 5x8TB und 4x3TB HDDs nutzen als Backup Server mit TrueNAS - quasi cold storage

So, evtl. kannst du ein paar Inspirationen rausnehmen
Alexander

 

[gea]

ich wuerde mal schauen, ob du die Fujitsu RAID Controller D2616 + BBU Karte in den N54L bekommst um mehr SATA Anschluesse zu haben + Molex splitter und dann die 5x8TB und 4x3TB HDDs nutzen als Backup Server mit TrueNAS - quasi cold storage

Niemals nie nicht Raidcontroller mit BBU für ZFS nehmen. Man verliert die Reparaturfähigkeit von ZFS bei Prüfsummenfehlern und die Copy on Write Absturzsicherheit oder sicheres sync write ist nicht mehr gewährleistet.

Besser einen 6G oder gleich 12G LSI SAS HBA (z.B. LSI 9300) nehmen. Die können 2X12G SAS oder 6G Sata

 

[wddn]

Niemals nie nicht Raidcontroller mit BBU für ZFS nehmen

Absolut korrekt!

Ich bin immer shr vorsichtig alte HDDs wegzugeben, wenn da mal wichtige Daten darauf waren - auch wenn die erase tools ja ausreichend sein sollen. N54L als grosse JBOD Partition, oder sogar stripes mit den Platten, oder alles verkaufen.

 

[Buliwyf Stonehand]

@wddn danke für die Anregungen und die Beispielzusammenstellungen. Ich habe heute Nachmittag schon mal einen Blick darauf geworfen, aber hatte bis eben noch nicht wirklich Zeit, mich damit auseinanderzusetzen. An und für sich würde mir die Trennung beider Systeme schon gefallen, aber gleichzeitig denke ich mir, beides zu kombinieren wäre vielleicht effizienter. Und bisher liefen ohnehin immer beide gemeinsam. Dienste wie Jellyfin und Nextcloud sind ohnehin darauf angewiesen, dass das NAS erreichbar ist.

Fujitsu RAID Controller D2616 + BBU -> notwendig?

Der dürfte in Zukunft nicht mehr gebraucht werden. Neben dem relativ günstigen Anschaffungspreis war damals vor allem Neugierde auf ein Hardware-RAID mit der Hauptgrund dafür. Ich wollte es einfach mal ausprobieren. Bastel- und Spieltrieb eben.

6x18TB an die 6x SATA des Mainboards

6x 3,5" im T30 klingt etwas ambitioniert. Ich glaube, offiziell sind bis zu 4 Plätze vorgesehen. Der einfache Wechsel wäre damit auch gestorben, mal ungeachtet dessen, wie notwendig das in der Praxis wirklich wäre.

RouterOS in Kombination mit einem DrayTek Vigor 165 als Ersatz für die Fritz!Box -> OPNSense, oder pfSense?

Ich bin von OPNsense zu RouterOS gewechselt und bisher eigentlich sehr zufrieden damit.

VPN: Cloudflared als tunnel?

VPN habe ich aktuell über RouterOS gelöst.



Mir kam heute der Gedanke, ob es sich nicht vielleicht anbieten würde, die CPU in meinem Desktop-Rechner zu erneuern und die alte CPU im neuen Server einzusetzen. Wäre ein 3700X. Wäre das eine halbwegs sinnvolle Wahl oder spricht etwas deutlich dagegen? Mehr Rechenleistung könnte ich im Desktop-PC durchaus nutzen können. Früher oder später wäre hier sicher ein Upgrade fällig geworden. Dank meiner Milchmädchenrechenkünste wäre die CPU für den Server somit gratis. 🤪

Außerdem ist mir eingefallen, dass ich noch ein be quiet! Straight Power 10 mit 500 W hier rumliegen habe. Somit würden "nur" noch Mainboard, RAM und SSDs für die VMs fehlen. Beim RAM fällt die Entscheidung relativ einfach. Die günstigsten 32 GB DDR4 Module mit ECC. Also vermutlich Kingston oder Micron. Bei den SSDs irgendwas zuverlässiges mit relativ hohem TBW. NVMe wäre natürlich von der Leistung besser, aber für ein Mirror aus zwei SSDs würden sich die beiden freien 3,5" Hot-Swap Einschübe im Gehäuse anbieten. Wirklich gefordert werden sie bei dem, was darauf läuft ja eigentlich nicht.

Hauptfrage wäre dann eigentlich, welches Mainboard sich dafür anbieten würde. Natürlich immer vorausgesetzt, mein Gedanke mit dem 3700X erweist sich nicht als kompletter Hirnfurz. Gedacht hatte ich es mir so, den SATA-Controller an TrueNAS durchzureichen und über TrueNAS auf den SSDs im Mirror den Speicherplatz für die restlichen VMs zur Verfügung zu stellen. ESXi und TrueNAS würden auf einer kleinen M.2 SSD auf dem Mainboard landen. Die 6 HDDs, wie bereits geplant, im RAID-Z2 als Datengrab. Ja nach Mainboard würde dann noch das Intel Quad Port NIC in den neuen Server wandern.

Was den Verbrauch angeht, wäre ich schon zufrieden, wenn der neue Server sich in etwa auf dem Niveau der beiden alten Systeme in Summe bewegen würde. Der N54L würde, so wie er ist, als Backup-NAS dienen. Was ich mit dem T30 und den alten 3 TB WD Reds anfangen, müsste ich mir noch überlegen. Ich kenne die Preise nicht, aber vermute fast, ein Verkauf würde sich kaum noch lohnen. Eventuell einfach als Test- oder Backup-System, dass bei Bedarf gestartet wird.

 

[wddn]

Hauptfrage wäre dann eigentlich, welches Mainboard sich dafür anbieten würde.

Asrock Rack X470, oder 570.
IPMI und ECC (unregistered UDIMM) support, bifurcation…
Ich glaube den RAM könntest du vom T30 nehmen

 

[Buliwyf Stonehand]

Ich glaube den RAM könntest du vom T30 nehmen

Wäre zumindest eine mögliche Übergangslösung. Allerdings würde ich mir gerne die Option offen lassen, den RAM weiter aufzurüsten. Deshalb auch 32 GB Module statt 16 GB wie im T30. So würde auch der T30 weiterhin nutzbar bleiben.

Update:

Ich habe jetzt angefangen, die fehlenden Teile zu bestellen. Beim Mainboard versuche ich mein Glück mal mit einem ASRock X570M Pro4. Sollte damit alles funktionieren, wie ich es mir vorstelle, wäre es für 99 € ein Schnäppchen. Wenn nicht, geht es eben zurück und ich versuche ein anderes Board bzw. passe den Plan noch mal an. Von Crucial direkt bekommt man übrigens aktuell Micron 32 GB DDR4 ECC Module mit 3200 MHz für 72 € das Stück, dank 10 % Newsletter-Gutschein. Die neue CPU für den Desktop-PC kam heute an und wird spätestens morgen getauscht. Damit läge die CPU für den Server auch schon bereit. Netzteil habe ich gestern aus dem alten Gehäuse ausgebaut und ebenfalls bereitgelegt. Sobald Mainboard und RAM angekommen sind, können die ersten Versuche beginnen.

 

[Buliwyf Stonehand]

Ich wollte mal einen kurzen Zwischenstand hier lassen. Vielleicht hilft es ja dem ein oder anderen in einer ähnlichen Situation.

Der Server ist so weit zusammengebaut und es laufen testweise Proxmox und TrueNAS Core (als VM) darauf. Allerdings sind aktuell noch 64 GB Non-ECC RAM verbaut, da sich die Crucial-Bestellung erst heute auf den Postweg gemacht hat. Außerdem habe ich mich noch nicht entschieden, welche SSDs für den VM-Pool gekauft werden. Als Platzhalter sind deshalb gerade noch zwei alte 128 GB SSDs verbaut, die zufällig hier rumlagen. Im Idle (ohne HDD-Spindown) liegt die Leistungsaufnahme bei ca. 59 W. Kein Stromsparwunder, aber schon deutlich unter dem bisherigen Wert der beiden alten Systeme. Und das bei mehr Leistung und Speicherplatz. Selbst wenn sich der Wert mit dem anderen RAM und den anderen SSDs, sowie weiteren VMs und ein paar Containern, etwas erhöhen sollte, wäre ich noch ganz gut dabei. Bei der Gelegenheit fällt mir ein, auch für die Quad-Port-Gigabit-Karte werden noch ein paar Watt dazu kommen. Die läuft momentan noch im alten Server.

Im BIOS habe ich ein PPT von 45W festgelegt und zudem ein Vcore-Offset von -50 mV eingestellt. In Cinebench ergab das 13 % weniger Punkte im Multicore-Benchmark. Dafür erheblich weniger Leistungsaufnahme und Abwärme. Der Kühler konnte die CPU ohne wirklich aufzudrehen bei ca. 60 °C halten. Die maximale Leistungsaufnahme (unter Windows 11 und ohne die HDDs) lag dabei bei 209 W. Momenten unter Proxmox im Idle liegt die Temperatur bei 34 °C (Umgebungstemperatur 25 °C). Die HDDs sind im Idle übrigens bei 36 °C. Bei einem kurzen Benchmark wurden sie nur 1-2 °C wärmer.

Headless-Betrieb, ohne Grafikkarte, ist mit dem ASRock X570M Pro4 kein Problem. Auch das Durchreichen der beiden SATA-Controller klappt offenbar problemlos. Hot-Swap funktioniert ebenfalls. Das waren alles für mich wichtige Punkte, bei denen meine Recherche zumindest kein ganz eindeutig positives Bild ergeben hat. Hier hatte ich aber offenbar Glück.

Basissystem​

CPU	AMD Ryzen 7 3700X	bereits vorhanden​
Mainboard	ASRock X570M Pro4	99,00 €​
RAM	4x Micron 32GB DDR4-3200 ECC CL22 (128 GB)	291,28 €​
SSD (System)	Samsung OEM Datacenter SSD PM9A3 960GB, M.2	88,79 €​
NIC	Intel I350-T4	bereits vorhanden​
PSU	be quiet! Straight Power 10 500W	bereits vorhanden​
Gehäuse	SilverStone Case Storage CS380 V2	103,31 €​
Summe		582,38 €​

Speicher​

Medien und Backups	6x Toshiba MG09ACA 18TB, 512e, SATA 6Gb/s (108 TB)	1.496,88 €​
VMs	??? 2x Solidigm SSD D3-S4520 1.92TB, 2.5", SATA ???	350 €​
Summe		1.846,88 €​

Wären aktuell 2429,26 € für alles. Wobei man sicher darüber diskutieren könnte, ob man nicht eventuell doch ein paar Euro für den 3700X ansetzt, da das Upgrade des Desktop-Rechners schon stark von der Planung des Servers getrieben war. Je nach Wahl der SSDs kann der Endbetrag sicher auch noch deutlich schwanken. Über Tipps, was die SSDs für den VM-Pool (Mirror) angeht, würde ich mich natürlich freuen. Spätestens wenn alles eingebaut und eingerichtet ist, würde ich dann noch ein kurzes Endfazit hier lassen. Bisher bin ich jedenfalls zufrieden.

 

[mrpasc]

Bei den SSDs irgendwas zuverlässiges mit relativ hohem TBW. NVMe wäre natürlich von der Leistung besser, aber für ein Mirror aus zwei SSDs würden sich die beiden freien 3,5" Hot-Swap Einschübe im Gehäuse anbieten. Wirklich gefordert werden sie bei dem, was darauf läuft ja eigentlich nicht.

Neu oder gebraucht? Wenn’s SATA 2,5“ sein soll:
Samsung PM883/PM893 oder SM883, Micron 5200/5300/5400 PRO oder MAX, Seagate Nytro 1351/1361 oder 1551. Die ersteren jeder Marke sind offiziell „Read intensive“, die nach dem „oder“ „Mixed use“. Wobei für den Homelab Gebrauch die „Read intensive“ völlig ausreichend sein sollten.

Alternativ: Wenn du einen freien PCIE x16 Slot hast und der x4x4x4x4 Bifurcation kann: Eine PCIE zu 4x NVME Karte und mit 2 M.2 NVME wie z.B. die Samsung PM9A3 anfangen und bei Bedarf kannst du später noch zwei nachrüsten…

 

[Buliwyf Stonehand]

Neu oder gebraucht?

Ist letztendlich eine Frage des Preises. Die Solidigm würden mich in der 2 TB Variante 175 € pro Stück kosten, in der 4 TB Variante 295 €. Viele Angebote auf dem Gebrauchtmarkt sind preislich auf dem gleichen Niveau oder sogar teurer. Die sehr wenigen Angebote, die dieses Preisniveau unterbieten sind dann in der Regel Modelle von vor 5 Jahren oder älter, haben schon einige Betriebsstunden hinter sich und kommen ohne Gewährleistung und/oder Garantie. Also gebraucht, grundsätzlich ja, aber leider gehen hier meine Preisvorstellungen wohl nicht mit denen der Anbieter zusammen.

Wenn’s SATA 2,5“ sein soll

Ist natürlich bezogen auf die Leistung nicht gerade die erste Wahl und selbst was den Preis angeht, sind andere Formfaktoren ja inzwischen tendenziell günstiger zu haben. Mir hätte bei der Lösung einfach gefallen, die beiden verbleibenden 3,5" Einschübe nutzen zu können. Ich habe aber ehrlich gesagt auch schon darüber nachgedacht, ob eine andere Lösung nicht doch vernünftiger wäre.

Alternativ: Wenn du einen freien PCIE x16 Slot hast und der x4x4x4x4 Bifurcation kann: Eine PCIE zu 4x NVME Karte und mit 2 M.2 NVME wie z.B. die Samsung PM9A3 anfangen und bei Bedarf kannst du später noch zwei nachrüsten…

Ja, wäre eine interessante Alternative, auch wenn ich mir die PCIe Slots gerne vorerst noch frei gehalten hätte, so weit wie möglich, um für eventuelle spätere Erweiterungen Optionen offen zu halten. Ich werde mir darüber nochmal Gedanken machen.


Update

Ich werde es mal mit M.2 SSDs und Bifurcation versuchen. Deutlich mehr Leistung und vergleichbare bzw. eventuell sogar tendenziell niedrigere Anschaffungspreise. Dafür allerdings die zusätzlichen Kosten für den Adapter. Dazu noch die einfache Möglichkeit, später ein zweites Mirror VDEV hinzuzufügen. Größter Nachteil ist wohl die vermutlich deutlich höhere Leistungsaufnahme. Der Verlust des PCIe x16 Slots sollte verkraftbar sein. Da ich wohl bei Proxmox bleibe kann ich den Pool auch direkt dort erstellen und muss nicht mehr umständlich über die TrueNAS VM gehen, wie es bei ESXi der Fall gewesen wäre.

Eben einen ASRock Hyper Quad M.2 für 85 € geordert. Einen anderen Adapter mit 4x M.2 PCIe 4.0 x4 und maximal 24 cm Länge konnte ich nicht finden. Mal sehen, welche SSDs es nun werden.

 

[wddn]

Eben einen ASRock Hyper Quad M.2 für 85 € geordert. Einen anderen Adapter mit 4x M.2 PCIe 4.0 x4 und maximal 24 cm Länge konnte ich nicht finden. Mal sehen, welche SSDs es nun werden.

Ich hatte das „gleiche“ Problem, da ich ursprünglich einen Microserver wollte - ich bin daher auf die ASUS Hyper M.2 mit 4x PCIe 3.0 für 40€ gegangen. Reicht vollkommen

 

[Buliwyf Stonehand]

ich bin daher auf die ASUS Hyper M.2 mit 4x PCIe 3.0 für 40€ gegangen. Reicht vollkommen

Kann es sein, dass der Adapter inoffiziell auch PCIe 4.0 kann? Als Übertragungsmodus wird PCIe 4.0 x4 erkannt und zumindest die 4400 MB/s sollten bei PCIe 3.0 x4 ja eigentlich nicht möglich sein.

ASRock Hyper Quad M.2​

ASUS HYPER M.2 X16 CARD V2​

 

[mrpasc]

Gut möglich, der Adapter hat ja keinerlei „Intelligenz“ in sich (keinen PCIE Switch Chip), er teilt ja nur die Lanes auf. Könnte kurz genug sein dass es reicht ohne Retimer.
Oder du hast die offizielle PCIE-4 Version erwischt, die gibt es ja auch 🤔

 

[Buliwyf Stonehand]

Gut möglich, der Adapter hat ja keinerlei „Intelligenz“ in sich (keinen PCIE Switch Chip), er teilt ja nur die Lanes auf. Könnte kurz genug sein dass es reicht ohne Retimer.

Ja, wäre auch mein einziger Erklärungsansatz dazu. Hat mich jedenfalls positiv überrascht, weil ich davon bisher nirgendwo gelesen hatte. Als ich explizit danach gesucht habe, konnte ich zumindest eine Rezension auf Amazon entdecken, in der jemand das Gleiche berichtet. Macht mir die Entscheidung dann letztendlich doch sehr leicht.

Nur als Ergänzung zum Vergleich der beiden Adapter: Der von Asus ist etwas leiser, dafür werden die SSDs beim Benchmark 2-3 °C wärmer. Spielt sich trotzdem alles in einem völlig harmlosen Bereich bis 46 °C ab. Der Lüfter im Adapter von ASRock dreht wohl, selbst wenn der Wahlschalter auf halber Kraft steht, eine Ecke schneller.

Oder du hast die offizielle PCIE-4 Version erwischt, die gibt es ja auch 🤔

Ich will nicht mal völlig ausschließen, dusselig genug dafür zu sein, aber der Nachfolger würde mit seinen 27 cm gar nicht erst ins Gehäuse passen. 😅

 

[Buliwyf Stonehand]

Inzwischen habe ich die beiden alten Server vollständig auf den Neuen migriert. Die Leistungsaufnahme im Vergleich zu vorher ist ca. 30 W geringer. Immer noch reichlich, aber in Anbetracht der Steigerung an Leistung und Speicherplatz noch vertretbar, finde ich. Die finale Konfiguration sieht übrigens so aus:

Basissystem​

CPU	AMD Ryzen 7 3700X	bereits vorhanden​
Mainboard	ASRock X570M Pro4	99,00 €​
RAM	4x Micron 32GB DDR4-3200 ECC CL22 (128 GB)	291,28 €​
M.2 Adapter	ASUS Hyper M.2 X16 Card V2	39,88 €​
SSD (System)	Samsung OEM Datacenter SSD PM9A3 960GB, M.2	88,79 €​
NIC	Intel I350-T4	bereits vorhanden​
PSU	be quiet! Straight Power 10 500W	bereits vorhanden​
Gehäuse	SilverStone Case Storage CS380 V2	103,31 €​
Summe		622,26 €​

Speicher​

Medien und Backups	6x Toshiba MG09ACA 18TB, 512e, SATA 6Gb/s (108 TB)	1.496,88 €​
VMs	2x Micron 7400 PRO - 1DWPD Read Intensive 3.84TB, 512B, M.2 22110	491,28 €​
Summe		1.988,16 €​

Am Ende sind es 2610,42 € geworden für alles. Allerdings auch dank bereits vorhandener Komponenten. Dafür sollte jetzt aber auch wieder für einige Jahre Ruhe sein. Das Gehäuse habe ich übrigens nicht regulär aufgestellt sondern auf die Gehäuseseite ohne Lufteinlass gelegt. Da die Materialstärke der Seitenwand eher dünn ausfällt und sie auch nicht flach sondern nach außen erhaben ist, habe ich einfach die Füße des Gehäuses mit Adaptern aus dem 3D-Drucker und doppelseitigem Klebeband an der Seite des Gehäuses befestigt. Ist jetzt sozusagen eine größere Variante des SilverStone CS381.

 

[MultumInParvo]

kannst du nochmal etwas zum aktuellen IDLE stromverbrauch sagen? also wo du aktuell mit proxmox und den HDDS/NVMEs stehst?