[Kaufberatung] Homeserver build für Videoediting (und mehr)

[POWJK]

Hallo zusammen,

ich war verrückt genug zu glauben, dass ich das allein hinbekomme, aber da ich jetzt nach tagelanger Recherche und sehr vielen unterschiedlichen Informationen und Meinungen leicht verwirrt bin, traue ich mich doch mal um Hilfe zu bitten.

Das Forum hier scheint einiges an Kompetenz und freundlicher Hilfsbereitschaft zu versammeln, daher bin ich mal so frei…

Mein Qnap ist jetzt 10 Jahre alt und hat weitgehend ausgedient. Außerdem wurde es mangels Performance zuletzt nur noch für (sehr langsame) Backups genutzt. Außerdem hat sich mein Verwendungsbedarf geändert.

Ursprünglich, dachte ich als Ersatz an ein Qnap mit Thunderbolt (z.B TVS-672XT), aber das auf ZFS basierende „Hero“-Betriebssystem hat - was man so liest - wohl eher Alpha-Status. Eventuell sind diverse Probleme auch auf die mangelnde RAM-Kapazität zurückzuführen. Auch meine zweite Idee - ein Qnap TS-h973AX (10GBe) - wird zusammengefasst sehr mäßig bewertet.

Mit vielen weiteren Gründen warum ich mich für eine DIY-Lösung entschieden habe, will ich nicht langweilen, daher zur Sache:

Einsatzszenario
Primär:

• Datenspeicher für Fotos und 4K ProRes Videomaterial, mit der Option bei Bedarf auch (begrenzt) direkt vom NAS per MacBook editieren zu können. Umso höher der Datendurchsatz (Read) desto besser, aber mit min. 800 Mb/s könnte ich mich arrangieren.

Außerdem:

• Backup für 2 PCs und 2 Macs (Timemachine)
• 1 VM für Home-Automations-Verwaltung (Homebridge)

Nice to have (optional):

• Streaming Möglichkeit für eigenes Material (Plex?)
• Zusätzliche VM(s) zum Testen (Spielerei)

Gewünschte Eigenschaften

• ZFS-Dateisystem (Truenas Core?)
• Min. 40TB Speicherplatz mit der Option bei Bedarf ggf. aufzurüsten (Ich dachte an 5x 16 TB HDD im RaidZ1 ?)
• Kompaktes Case, das auf den Schreibtisch passt. Es sollte nicht sehr breit-, dürfte dafür aber höher sein. Z.B wäre ein Fractal Node 804 und andere Cases, die Festplatten in der Breite anordnen zu breit. Ein Node 304 wäre z.B ok, aber wenn ein größeres Mainboard (mATX?) Sinn macht, darf es auch höher sein. HotSwap wird nicht benötigt.
• ECC-RAM scheint mir nicht erforderlich, was die Auswahl an möglichen Boards u. CPUs deutlich erweitern dürfte.

Ideen/Gedanken/Sonstiges

Ich würde mich als „Prosumer“ bezeichnen. Ich muss mit meinen Produktionen kein Geld verdienen, habe aber einen gewissen Anspruch. Ich brauche daher keine teure Enterprise-Lösung, habe aber etwas Budget gespart, so dass ich mich auch nicht nur am Preis orientieren muss.

Wie ich es verstanden habe, cached ZFS vorwiegend über den RAM. Abgesehen von den nicht verfügbaren Asrock-Rack Server-Boards, haben iTX Platinen nur zwei Slots mit Max 64 GB. Reicht das? Ich meine im Kontext mit möglichen Caching-Szenarien für brauchbare Transferraten. Anders gefragt:

• Was scheint empfehlenswert? Z.B besser zwei HDDs mehr, kein Caching, SSD(s) nur fürs OS?
• Zusätzliche SSDs für Caching?
• Oder/und ein separater Pool mit M.2 SSD für Produktivarbeit?
• Was ist in diesem Zusammenhang von Optane-Memory zu halten?
• Was sollte/muss davon gemirrort werden?
• Ich hatte gelesen, dass ein Onboard Sata-Controller ggf. ein Bottleneck sein könnte und daher besser ein separater verbaut werden sollte. Ist das noch aktuell?

Sorry, mein Text ist eh schon viel zu lang, daher nur noch eine Sache: Bei meiner ersten Recherche suchte ich nach einem MB mit Thunderbolt. Ich dachte, dass sei mit Truenas kein Problem. Das war wohl etwas naiv… Man findet dazu sehr wenige und widersprüchliche Infos. Ggf. funktioniert TB3 (eingeschränkt mit halber Bandbreite) mit bestimmten Chipsätzen, TB4 aber wohl (noch?) nicht…
Mit der Chance auf eine zukünftige Implementierung, wäre es cool auf dem MB einen TB-Port verfügbar zu haben, da ich mir aber schon einen Thunderbolt zu 10GBe Adapter für mein MacBook gekauft habe, ist das keine Voraussetzung.

Anyway… Wer es bis hierhin geschafft hat: Vielen Dank fürs Lesen und deine Zeit. Ich erwarte hier keine umfassende Analyse, freue mich aber über jeden Input. Falls du zu irgendeinem der Punkte Ideen, Anmerkungen oder Vorschläge hast, immer her damit!

Many Danke!

 

[Supaman]

Vergiss alles, was mit "NAS" zu tun hat, jedenfalls solange es auf Hardwarebasis ist (QNAP, Synology etc).
Zu unflexibel, zu wenig Ram, zu wenig CPU Power. Oder sooo teuer, das man das anders abbilden kann.

Das Szenario schreit grade zu nach einem Virtualisierungsserver mit performanter CPU und entsprechend (ECC) Ram.
Da kannst Du dann nach belieben TrueNAS und sonstige VMs drauf laufen lassen, und hast noch fFexibilität, wenn was in Zukunft dazu kommt.

Die Ausstattung ist ein Balanceakt zwischen Leistungsanspruch, Ressourcenverbrauch (Platz, Energie), zulässiger Geräuschentwicklung und Geldbeutel.

Was noch fehlt wären Angaben, wie Du von den Clients zugreifen möchtest - die geforderten 800 mb gehen nur mit 10GB
und dafür braucht man geeignete Switche und Netzwerkkarten, und die möglichkeit geeignete Kabel zu verlegen.

 

[Shihatsu]

Huom.... das schreit fast nach "meiner" Lösung:
Einen gut abgehangenen Epyc + 128GB RAM + 6 HDDS (für mehr als 3 Platten nimmt man Z2) + diverse SSDs. Proxmox druff, dann TrueNAS als Filer virtualisieren und Platten durchreichen. Da kann man dann auch gerne eine USB4 / TB3 KArte kaufen und die einer / allen VMs zur Verfügung stellen oder oder oder. Preislich intensiv und dazu nicht ganz stromsparend, aber dann hat man die volle Flexibilität.

 

[POWJK]

Vergiss alles, was mit "NAS" zu tun hat, jedenfalls solange es auf Hardwarebasis ist (QNAP, Synology etc).
Zu unflexibel, zu wenig Ram, zu wenig CPU Power. Oder sooo teuer, das man das anders abbilden kann.

Vielen Dank für den Beitrag! Dann hat mich mein Eindruck offensichtlich nicht getäuscht und wir sind uns einig. 😉

Das Szenario schreit grade zu nach einem Virtualisierungsserver mit performanter CPU und entsprechend (ECC) Ram.
Da kannst Du dann nach belieben TrueNAS und sonstige VMs drauf laufen lassen, und hast noch fFexibilität, wenn was in Zukunft dazu kommt.

Interessant, hatte ich noch nicht auf dem Schirm…

Die Ausstattung ist ein Balanceakt zwischen Leistungsanspruch, Ressourcenverbrauch (Platz, Energie), zulässiger Geräuschentwicklung und Geldbeutel.

Den Leistungsanspruch und Platzbedarf hatte ich versucht einzuordnen, der Energieverbrauch interessiert mich nur sekundär. Die Kiste soll wie gesagt auf dem Schreibtisch stehen und mir nicht das Papier vom Holz blasen, aber solange ich noch telefonieren kann, bin ich nicht sonderlich empfindlich - hab eh ‘n Tinitus 😁 (eine HPE Blade Geräuschkulisse ist damit aber nicht gemeint! 😄)

Was noch fehlt wären Angaben, wie Du von den Clients zugreifen möchtest - die geforderten 800 mb gehen nur mit 10GB
und dafür braucht man geeignete Switche und Netzwerkkarten, und die möglichkeit geeignete Kabel zu verlegen.

Ja, dass Netzwerk ist natürlich auch ein Thema, aber ich wollte es an dieser Stelle nicht übertreiben. Ein „kleiner“ Switch mit z.B. 2x 10GBe + ein paar 2,5 oder/und 1GBe wird reichen. Primär benötigt nur der MacBook die Bandbreite, den anderen 3 Clients reicht weniger.

Huom.... das schreit fast nach "meiner" Lösung:
Einen gut abgehangenen Epyc + 128GB RAM + 6 HDDS (für mehr als 3 Platten nimmt man Z2) + diverse SSDs. Proxmox druff, dann TrueNAS als Filer virtualisieren und Platten durchreichen. Da kann man dann auch gerne eine USB4 / TB3 KArte kaufen und die einer / allen VMs zur Verfügung stellen oder oder oder. Preislich intensiv und dazu nicht ganz stromsparend, aber dann hat man die volle Flexibilität.

Vielen Dank Shihatsu! Sehr interessant, die Sache mit Proxmox und der TB3-Karte. Da. muss ich mich wohl noch mit Proxmox beschäftigen… „Oder oder oder“, ja, genau… Das ist ja die Sache, die es meiner Rübe so schwer macht. Da muss mich mal jemand an die Hand nehmen! 🙃
Sind irgendwo noch Details zu deinem Setup zu finden?

 

[Shihatsu]

Ja, hier:
Basis ist ein Supermicro H11SSL-i v2 Mainboard mit 128GB RAM und einem EPYC 7551P. Das tolle hieran sind ohne Ende PCI-slots und lanes.
Diese Slots sind gefüllt mit einer Intel X520 10GB SFP+ Netzwerkkarte, einer i350 4xGigabit-Karte, einer USB3-Karte, einer zum HBA geflashten "RAID" Karte, einer NVIDIA Quadro 400 GPU und einer ASUS nvme-pcie-adpaterkarte mit 4 m.2 Slots. Das Board unterstützt bifurcation und die ausgewählte Hardware lässt sich ganz oder in Teilen an VMs durchreichen. Die Platten sind 6 16TB Enterpriseplatten, dazu eine 7te im Schrank. Die 6 hängen an dem HBA und diser ist direkt an die TrueNAS-VM durch gereicht. Proxmox ist auf einer einzelnen intel enterprise SSD installiert, VMs leben auf einer weiteren intel enterprise SSD und werden täglich gesnapshottet.
An VMs läuft TrueNAS (das gönnt sich die Hälfte des RAMs, die HBA-Karte, einen der beiden 10GB Netzwerkanschlüsse, einen der Gigabitanschlüsse und ganze 4 cores), diverse Heimautomationsdinger (Homematic, Homeassistant, Raspberrymatic, debmatic, iobroker, homehub - ich experimentiere hier noch relativ viel), jellyfin als Mediaserver (das gönnt sich eine der nvmes des Adapters, einen Gigabitanschluss und die GPU, die TrueNAS pools sind mittels cifs-utils als SMB Freigaben gemountet), eine WindowsVM wenn es garnicht mehr ohne Redmond geht, diverse Dockers, Terraforms und LFEdge Nodes für die Arbeit, außerdem noch LXE-Container mit Krimskrams wie ein omada controller und ein grafana für die Visualisierung des ganzen.

 

[POWJK]

Wow! Ich bin ja grundsätzlich für alles offen und auch für so einen „Quatsch“ zu haben, aber bis zu 2 TB Ram, 32 Cores / 64 Threads (550,- für das MB u. 1000,-€ für die CPU) ist glaube ich ein klitzekleines bisschen drüber. 😀 Es gibt für mich kein Entwicklungsszenario, bei dem ich auch nur annähernd Bedarf an diesem Ausbaupotential für mich sehe.

Trotzdem ist das eine super Inspiration. Vielen Dank dafür!

Hättest du vielleicht einen Ansatz für eine abgespeckte (Proxmox-) Version?

 

[Shihatsu]

Wichtig bei meinem Post davor: Gut abgehangen! Ich kaufe sowas nicht neu, das krieg ich bei der Regierung nicht durch. Das Board, CPU und RAM kamen hier aus dem Marktplatz als Bundle, und so was findet man recht häufig. Diese Hardware (bis auf Platten) altert richtig gut und langsam - hier kauft man gerne gebraucht.

 

[Thokar]

Mich würde interessieren, wieviel deine Kiste im Idle zieht ?

 

[Shihatsu]

Sie idlet nicht

Edit sagt: Ich habe es auch nie gemessen. Ich kriege einen Zuschuss zu den Energiekosten seit Corona, weil einiges aus den Büros in die Homeoffices verteilt werden musste. Die LFEDge Buildchain die darauf läuft würde ich ohne das nicht betreiben, denn die läuft tatsächlich alle 6h los...

 

[n3cron]

Versuch es mal mit sowas in der Art.
Du kannst gerne anstelle von ECC normalen RAM verwenden und anstelle eines Ryzen Pro einen normalen Ryzen verwenden.

Pro WS X570-ACE｜Mainboards｜ASUS Deutschland

ASUS Workstation-Mainboards sind für Fachleute in den Bereichen KI-Training, Deep Learning, Animation oder 3D-Rendering konzipiert. Mit erweiterbarer Grafik, Speicherplatz, beeindruckender Konnektivität und Zuverlässigkeit sind die Pro Workstation-Mainboards die ideale Lösung für Kreativprofis...

www.asus.com

Ich nutze so eine Konstellation als Proxmox LAB. Bezüglich des Speichers ich hatte nochmal die gleiche SSD schon da und auch der eSports Duo mag etwas übertrieben sein.

Kurze Facts: Das System erfüllt alle Spezifikationen um mit ECC-RAM kompatibel zu sein, das Mainboard hat alles was man so brauch um Erweiterungen einfügen zu können.
Selbst SAS (Server Festplatten) sind dank des U2 Slots möglich und es gibt einen eingebauten RAID Controller auch für m2.

Wichtig: Erst ab Ryzen PRO ist volle ECC Integration möglich, einziger Nachteil in Gänze: Es geht nur maximal Dual Channel RAM (mehr geht mit den CPUs auch nicht, aber bis zu 128GB ECC.)

Die Kiste zieht selbst im Betrieb recht wenig, Die Komponenten sind sehr effizient.

Für knappe 1200-1300€ hast du dafür praktisch einen echten Server. Da du für Zuhause keine Datenbankintensive Anwendungen laufen lassen würdest, wirst du keinen unterschied zu Quadchannel oder Octachannel RAM feststellen.

 

[mrpasc]

[Achtung enthält Eigenwerbung!]

Gebrauchte Workstation ergeben auch wunderbare „All-in-one“ Homeserver. Vorteil: sind vom Hersteller von Haus aus auf eher leisen Betrieb optimiert und sparen etwas Strom im Gegensatz zu einem Server da es meist keine BMC IPMI Fernwartung gibt. Das ist dann wiederum für manche ein Nachteil.
In den nächsten Tagen tauchen hier zwei Dell Precision T7820 im Marktplatz auf die eventuell passen könnten 😎

 

[POWJK]

Danke @n3cron. Top! 👍

Mit dem ATX-Format muss ich mich dann zwar von meiner ursprünglichen Idee einer kompakten Schreibtischlösung verabschieden, aber wenn es mit Blick auf Skalierbarkeit und Flexibilität Sinn macht, kann ich mich damit arrangieren.

Ich lese mich parallel schon ein und will hier auch keine Schulung abgreifen, aber vielleicht lassen sich meine ersten Fragen einfach beantworten?

• Wenn ich keinen M.2 Port opfern will, bräuchte ich für meine geplanten 5- o. 6 Drehscheiben einen separaten Controller, oder übersehe ich etwas?
• Wie passt die Erwähnung das Onboard-RAID-Controllers zu der geplanten Verwendung von Freenas und ZFS/RAIDZ? @Shihatsu sagte: “…dann TrueNAS als Filer virtualisieren und Platten durchreichen.“ Bedeutet das, dass alle Platten, die für TrueNas verwendet werden sollen, dann exklusiv nur dort verfügbar sind? Müssen für weitere VMs andere Drives verwendet werden, die man auf Proxmox-Ebene ggf. „raidet“?
• Abschließend:
  Freenas kann doch auch VMs, wenn ich zwischen Lern-/Konfigurationsaufwand und Flexibilität abwägen will, könnte ich doch mein Szenario (Fileserver, Homebridge, ggf. Mediastreaming) doch auch ausschließlich auf Freenas abbilden, oder spricht da entschiedenes dagegen?

Danke!

 

[Supaman]

• Wenn ich keinen M.2 Port opfern will, bräuchte ich für meine geplanten 5- o. 6 Drehscheiben einen separaten Controller, oder übersehe ich etwas?

Entweder Board mit genug SATA Anschlüssen drauf, oder am M2 bzw PCie einen Verteiler bzw Karte einstecken.

• Wie passt die Erwähnung das Onboard-RAID-Controllers zu der geplanten Verwendung von Freenas und ZFS/RAIDZ? @Shihatsu sagte: “…dann TrueNAS als Filer virtualisieren und Platten durchreichen.“ Bedeutet das, dass alle Platten, die für TrueNas verwendet werden sollen, dann exklusiv nur dort verfügbar sind? Müssen für weitere VMs andere Drives verwendet werden, die man auf Proxmox-Ebene ggf. „raidet“?

Bei Virtualisierung entweder Verwaltung über den Virtualisierer, dort dann beliebigen Storage Pool - ggf mit Raid - erstellen und dort dann Volumes anlegen, die man der VM zuordnet. Oder das Device/Platte dediziert eine eine VM "abgeben", dann steht diese(s) exklusiv dort zu Verfügung.

• Abschließend:
  Freenas kann doch auch VMs, wenn ich zwischen Lern-/Konfigurationsaufwand und Flexibilität abwägen will, könnte ich doch mein Szenario (Fileserver, Homebridge, ggf. Mediastreaming) doch auch ausschließlich auf Freenas abbilden, oder spricht da entschiedenes dagegen?

Danke!

Viele Wege führen nach Rom - meine persönliche Meinung dazu ist; div. NAS Produkte (FreeNAs, TrueNAS, Unraid etc) haben zwar vom eigenen App Store bis zu virtualisierungs Funktionen inwzwischen alles an Board, sind in meinen Augen aber eher ein "Gemischtwaren Laden" - können viel, aber nicht richtig (bzw so wie man es situationsbedingt benötigt).

Virtualisierer -> da TrueNAS drauf hat mehr Flxibilität. Wenn Du denn dann den Großteil innerhalb des NAS abbilden möchtest.

 

[AliManali]

Gebrauchte Workstation ergeben auch wunderbare „All-in-one“ Homeserver.

...eher gebrauchte Serverhardware wegen IPMI. Ich habe ja eine C612 Sixcore in Betrieb. CPU ist dauernd ausgelasetet, aber das ist den Anwendungen geschuldet. Und für Storage allein braucht es wohl nicht 128GB. Aber die mittleren Enterprise Plattformen machen schon Sinn in der Virtualisierung, von wegen PCIe Slots und so.

 

[n3cron]

Danke @n3cron. Top! 👍

Mit dem ATX-Format muss ich mich dann zwar von meiner ursprünglichen Idee einer kompakten Schreibtischlösung verabschieden, aber wenn es mit Blick auf Skalierbarkeit und Flexibilität Sinn macht, kann ich mich damit arrangieren.

Ich lese mich parallel schon ein und will hier auch keine Schulung abgreifen, aber vielleicht lassen sich meine ersten Fragen einfach beantworten?

• Wenn ich keinen M.2 Port opfern will, bräuchte ich für meine geplanten 5- o. 6 Drehscheiben einen separaten Controller, oder übersehe ich etwas?
• Wie passt die Erwähnung das Onboard-RAID-Controllers zu der geplanten Verwendung von Freenas und ZFS/RAIDZ? @Shihatsu sagte: “…dann TrueNAS als Filer virtualisieren und Platten durchreichen.“ Bedeutet das, dass alle Platten, die für TrueNas verwendet werden sollen, dann exklusiv nur dort verfügbar sind? Müssen für weitere VMs andere Drives verwendet werden, die man auf Proxmox-Ebene ggf. „raidet“?
• Abschließend:
  Freenas kann doch auch VMs, wenn ich zwischen Lern-/Konfigurationsaufwand und Flexibilität abwägen will, könnte ich doch mein Szenario (Fileserver, Homebridge, ggf. Mediastreaming) doch auch ausschließlich auf Freenas abbilden, oder spricht da entschiedenes dagegen?

Danke!

Supaman hat schon ein paar dinge erwähnt.

• Du kannst den U.2 Port opfern oder über PCIE eine Sata Erweiterung einbauen. Onboard sind es 4x SATA 2x M.2 Opfern müsstest du nichts, du kannst alle Ports nutzen, nur du würdest beim 3. PCIE Slot Bandbreite Opfern, der würde in der Konstellation mit IGPU und ausgelasteten M.2 auf PCIE 3.0 x4 zurück fallen. Was aber für einen SATA Controller absolut ausreichend wäre. z. B https://www.amazon.de/dp/B09JXXY1K6/?smid=A7P7EAUWU945G&tag=preisvergleich-idealode-21&linkCode=asn&creative=6742&camp=1638&creativeASIN=B09JXXY1K6&ascsubtag=2022-09-25_1e9305386d019e615aba5550acf98f40a164a81c4a7a0205ded5204d2ed6f432&th=1&psc=1
• Du nimmst für dein Trägersystem den OnBoard Controller um dein Hostsystem mit Redundanz zu sichern. (Dein Betriebssystem)
• Das speichert die Konfigurationen deiner VMs und soll im Fall eines weiteren Systems das für Softwareraid genutzt wird dieses im Betrieb etwas absichern. (es ist kein Backup)
  • Die übrigen Datenträger werden von der Softwarelogik des der/des Software-RAIDs gemanged.
  • Du machst 1x RAID 1 (Hardwarecontroller) und den Rest nach belieben über Softwarecontroller.
• Du kannst mit einem System wie Unraid/Proxmox etc. nach belieben Hardware direkt an die VM durchschleifen. Du könntest theoretisch einfach zum testen z. B mit 4 Platten, eine VM mit TrueNAS und 2x durchgeschleiften Datenträgern dort ein RAID 1 machen und mit den anderen beiden Platten eine FreeNAS VM und die anderen beiden Platten durchschleifen und dort ein RAID1 machen. Mit jeweils unterschiedlichen Dateisystemen.

Proxmox ist was VMs angeht sehr ausgereift meiner Meinung nach und sollte als unterbau verwendet werden, mit Unraid hatte ich durchaus auch gute Erfahrungen.

Mal ein Beispiel wie ich das meine:

Ich würde so viel Speicher im Layer 1 zur Verfügung stellen, das es ausreichend ist genug für die VMs zur Nutzung bereit gestellt wird, die Speicher Erweiterung in der VM oder als ISO Pool für Proxmox etc. selbst kann man dann das RAID Datenträger Pool verwenden das man angelegt hatte.
Für Datensicherung reicht ein DAS, eine einfach Festplatte die dann vom Layer 1 Sicherungen anlegt. Sollte dessen RAID ausfallen, kannst es mit der Sicherung aus der einfachen Platte wiederherstellen, dort ist auch die falls gewünscht zusätzliche RAID-VM enthalten und dessen Konfiguration.
Angesichts der Risiken eines möglichen Stromausfalls, würde ich auch noch eine einfache Line-Interactive USV Empfehlen bis ca. 300w. z. B sowas hier PowerWalker VI 650SE LCD/IEC Unterbrechungsfreie Stromversorgung (UPS) 650 VA 4 AC-Ausgänge Line-Interaktiv

Natürlich kannst du alles nach deinem Gusto machen, wie du möchtest. Es sind ja nur Empfehlungen und IT ist ja vielfältig. Die Links sind gewählt, weil die Mehrheit der Menschen mittlerweile einen Amazon Account haben.

 

[Trambahner]

Proxmox selbst auf nem HW Raid1 installieren? Warum? Kann man doch auf ein ZFS Mirror installieren und davon booten. > Hw Raid nicht notwendig.

 

[n3cron]

Proxmox selbst auf nem HW Raid1 installieren? Warum? Kann man doch auf ein ZFS Mirror installieren und davon booten. > Hw Raid nicht notwendig.

Weil das Hardwareraid schon da ist und quasi keine Rechenleistung extra benötigt. Wer keinen Controller hat, kann das gerne machen und sich mit der Lösung ohne beschäftigen, aber er möchte ja erst lernen und testen und dafür würde ich den Unterbau nicht mit Zfs verwenden. Bevor man ZFS empfiehlt muss man auch die Nachteile erwähnen z.B erhöhter Arbeitsspeicher Bedarf, da gehen wohl schon bis 4GB RAM nur für das Filesystem drauf.

Er kann auf dem HW Raid1 BTRFS draufsetzen, muss er aber nicht.

 

[Trambahner]

Es macht aus meiner Sicht wenig Sinn, Proxmox zu benutzen und dann extra eine VM anlegen, welche dann wieder a la ESXI per Passthrough ZFS-Storage erhält und diese über Netzwerkprotokoll freigibt.
Für ESXI als "all-in-one" Lösung ist das durchaus sinnvoll, da ESXI selber keine guten lokalen Storageoptionen hat und man so alle VMs und deren Daten auf den/die Storagepools bekommt.

Aber wenn man Proxmox nimmt (welches ZFS out-of-the-box kann), kann man doch gleich geradlinig einfach Proxmox auf einem Mirror installieren und hängt an die anderen Ports die Disks/SSDs für den ZFS-Storage dran.
Proxmox hat ja Debian drunter, also auf der Shell Samba/NFS Server nachinstallieren und gut is. Für VMs und auch für den Datenspeicher.
Bzgl. ZFS und Ram: die Storage-VM braucht ja auch selber virtuellen Ram. je nach Konfiguration (z.B. als Cache) entsprechend sogar viel.

 

[Shihatsu]

Agree to disagree - proxmox ist als Filer eher so "meh" - zumindest verglichen mit einem TrueNAS oder ähnlichem. Ich würde immer versuchen das richtige Werkzeug für die richtige Anforderung zu nehmen. Es ist einfach deutlich angenehmer Freigaben, Poolkontrolle, ZFS und co. via TrueNAS Gui zu machen als auf der Proxmox-Konsole herum zu reiten. Klar kann man das machen, aber ich finds eher so "meh" - das tolle an einer Virtualisierungslösung ist ja das man für jede Anforderung eine dedizierte Lösung hochziehen kann.

 

[n3cron]

Agree to disagree - proxmox ist als Filer eher so "meh" - zumindest verglichen mit einem TrueNAS oder ähnlichem. Ich würde immer versuchen das richtige Werkzeug für die richtige Anforderung zu nehmen. Es ist einfach deutlich angenehmer Freigaben, Poolkontrolle, ZFS und co. via TrueNAS Gui zu machen als auf der Proxmox-Konsole herum zu reiten. Klar kann man das machen, aber ich finds eher so "meh" - das tolle an einer Virtualisierungslösung ist ja das man für jede Anforderung eine dedizierte Lösung hochziehen kann.

So war das auch von mir angedacht. So kann man nichts kapput oder falsch machen. Zumal du die jeweiligen VMs deaktivieren kannst um die Ressourcen für was anderes zu nutzen, wenn dein Unterbau diese blockiert/in Anspruch nimmt kannst du nichts mehr ändern oder nur umständlich. Der overhead ist dank pass-through quasi nicht vorhanden.

 

[besterino]

So kann man nichts kapput oder falsch machen.

Ich glaube, wenn ernst gemeint ist das ein ganz gefährlicher Irrglaube!

Meine Meinung: Gerade eine Lösung mit einer Storage-VM beinhaltet schon so ein paar Themen, die ggü. einer Lösung direkt auf dem Host potentiell nachteilig sind. Allerdings dürfte die praktischste Einschränkung sein, dass man alle auf dem VM-Storage abgelegten VMs beenden muss, wenn man grundlegende Änderungen an der Storage-VM vornimmt (inkl. vorsichtshalber auch Updates). Davon ab ist TrueNAS (Core) performancemäßig bei Storage auch nicht die größte Wucht in Tüten (zumindest nicht, als ich das zuletzt selbst ausprobiert habe, da allerdings mit ESXi als Hypervisor und darauf TrueNAS als Storage-VM).

 

[n3cron]

Ich glaube, wenn ernst gemeint ist das ein ganz gefährlicher Irrglaube!

Das ist Berufserfahrung. Jeder ESXi von der Firma wurde so eingerichtet und bis auf Datenträger Ausfälle vereinzelt, keine Probleme gehabt. Das ist einfach gut erprobt.

 

[Ceiber3]

Ich lese hier ein haufen Config's die bestimmt ein vielfaches an Strom brauchen als die OEM Nas und auch um ein vielfaches größer sein werden.

Die Frage ist, brauchte er das alles wirklich ? Seine Anforderungen klingen jetzt nicht so das ma da ein großes Workstaion/Server System braucht.

 

[n3cron]

Ich lese hier ein haufen Config's die bestimmt ein vielfaches an Strom brauchen als die OEM Nas und auch um ein vielfaches größer sein werden.

Die Frage ist, brauchte er das alles wirklich ? Seine Anforderungen klingen jetzt nicht so das ma da ein großes Workstaion/Server System braucht.

Du kriegst halt nix ordentliches für weniger Geld, was flexibel und skalierbar ist. Das ist halt nicht nur Storage sondern ein vollwertiger Prosumer Server/Workstation.
Sogar ECC fähig. Sowas kann man durchaus auch im Gewerbe für produktive Arbeiten verwenden dort wo keine teure Server Prozessoren gebraucht werden. Natürlich kannst du das auch günstiger machen und auf ECC verzichten keine Frage, aber in Summe seiner Anforderungen würde schon eher zu dem hier tendieren, es muss kein teurer vollwertiger Server sein.

 

[POWJK]

Wow, interessante Diskussion. Vielen Dank für die Meinungen. Übrigens: Mir raucht die Birne... 😁

Also, ich hab da schon Bock drauf: Virtualisierungsplattform, VMs, Flexibilität... Ich traue mir das auch zu, weil ich Spaß dran habe, aber es sollte straight sein und nicht von hinten durch die Hose mit doppeltem FlicFlac. Denn in erster Linie geht es mir nicht um ein Homelab, sondern um das produktive Nutzen! Wenn ich noch einmal daran erinnern darf: Ich möchte hochqualitatives Footage speichern und wenn möglich direkt auf dem Server verarbeiten. Dafür benötige ich entsprechenden Datendurchsatz. Alles andere kommt erst danach und ist Bonus.

Idealerweise sollten die Daten dabei auch möglichst sicher- und vor Hardwareausfällen geschützt sein, daher präferiere ich nach allem was ich dazu gelesen und gesehen habe ZFS. Ich weiß, "Raid(Z) ist kein Backup", aber da wo ich lebe, ist die Internetanbindung sehr mäßig und ich werde keine 50TB als Backup in die Cloud schieben können. Eine USV habe ich am Start und schon im Einsatz.

 

[Supaman]

Also, ich hab da schon Bock drauf: Virtualisierungsplattform, VMs, Flexibilität... Ich traue mir das auch zu, weil ich Spaß dran habe, aber es sollte straight sein und nicht von hinten durch die Hose mit doppeltem FlicFlac. Denn in erster Linie geht es mir nicht um ein Homelab, sondern um das produktive Nutzen!

Dann ist der nächste Schritt: einfach mal machen... entweder mit preiswerter Schmalspur Hardware mal ausprobieren, oder direkt mit der richtigen Hardware starten.

Wenn ich noch einmal daran erinnern darf: Ich möchte hochqualitatives Footage speichern und wenn möglich direkt auf dem Server verarbeiten. Dafür benötige ich entsprechenden Datendurchsatz. Alles andere kommt erst danach und ist Bonus.

Reiner Datendurchsatz ist ja erstmal Easy: NVMe Storage dann direkt auf dem Server verarbeiten oder per 10Gbe anbinden.

Idealerweise sollten die Daten dabei auch möglichst sicher- und vor Hardwareausfällen geschützt sein, daher präferiere ich nach allem was ich dazu gelesen und gesehen habe ZFS.

Hier muss man differenzieren was für Dich Sinn macht:

1) willst Du nur Deine Daten sgeschützt haben: AutoBackup auf internen Datenträger
2) willst Du bei Ausfall eines Datenträgers weiterarbeiten -> redundante Lösung im Sinne von Hawrdware Raid oder Software Replikation bzw Dateisystem,
hängt u.a. von der virtualisierungsplattform ab.
3) oder willst Du die totale Ausfallsicherheit inkl. des Servers, dann kannst Du mit Proxmox auch einen 3 Knoten hyperconverged Ceph Cluster bauen.
4) unabhängig von allem: internes Backup auf 2tes System Spiegeln, das darf dann auch eine externe Platte oder ein NAS sein.

Ich weiß, "Raid(Z) ist kein Backup", aber da wo ich lebe, ist die Internetanbindung sehr mäßig und ich werde keine 50TB als Backup in die Cloud schieben können. Eine USV habe ich am Start und schon im Einsatz.

Einen Cloud Sync würde ich so pauschal nicht ausschliessen, es kommt drauf an wie viel sich ändert. Wenn Du nur wenig Änderungen / neue Dateien hast, dauert der initiale Sync lange, danach wird es überschaubar.

 

[n3cron]

Cloud ist Geschmackssache, ist halt das einige offsite Backup was man als home User günstig machen kann.

 

[underclocker2k4]

Einen Cloud Sync würde ich so pauschal nicht ausschliessen, es kommt drauf an wie viel sich ändert. Wenn Du nur wenig Änderungen / neue Dateien hast, dauert der initiale Sync lange, danach wird es überschaubar.

Sehe ich auch so. Auch wenn ich persönlich von Cloud nicht so viel halte, wenn Cloud für einen grundsätzlich ne Option ist, dann sollte man sich mal das Änderungsvolumen anschauen und das im Verhältnis zum Internetupload setzen. Oftmals ist der DL ja sehr vielversprechend, aber hier zählt ja eher der Upload.
Und für den init Sync kann man das "NAS" ja auch mal zu einem Kumpel/Fam/what ever mitnehmen, der eine schnelle Leitung hat, ggf. sogar Glasfaser mit wahnwitzigen > 100mbit UL) Dann geht das schnell und man muss dann @home nur immer das Delta schieben. (im Idealfall ist dann der Storage auch schon richtig sortiert etc.)

 

[Ceiber3]

Oder einfach laufen lassen, irgendwann ist das Backup oben. Ich nutze deswegen auch nur Sync, da so nur die neusten Datein hochgeladen werden, verschiebe ich was, wird es auch in der Cloud einfach verschoben.

 

[underclocker2k4]

Oder einfach laufen lassen, irgendwann ist das Backup oben.

Von welcher durchschnittlichen Lebenserwartung von HW gehst du so aus?

Wenn es schlecht läuft und der TE hat nur nen einfachen DSLer mit z.B. 1MBit Upload:
1MBit/s=0,125MByte/s
Es ging um 50TB
50TB=50.000.000MB (jaja, 1024er...)

50.000.000MB/0,125MB/s=400.000.000s=111.111h=4.629d=12,7y
Ein Upload wäre also nach 12,7 Jahren 24/7 und Idealbedingungen erledigt.
Realistisch sind dann wohl eher 15Jahre oder sogar mehr. Denn man will das Internet ggf. ja auch für was anderes nutzen.
Da ist in der Regel die Hardware vorher komplett durch, als dass der Upload fertig ist.
Auch sollte man nicht vergessen, dass die HDDs in der Zeit dauerhaft gelaufen sind, also keinen IDLE gesehen haben.
Geht man mal von 5W/HDD und 6HDDs aus, sind das 30W 24/7 über 15 Jahre sind das 4MWh bei 30ct/kWh sind das 1200EUR, nur für die HDDs selber. (bei gleichbleibendem Preis über 15 Jahre...)
Mit etwas Glück hat man in .de nach 15 Jahren ggf. dann die 2MBit im Upload.

Ich weiß nicht, klingt unter Umständen nicht so sinnvoll einfach zu warten.