[Kaufberatung] NAS-Projekt: 400 TB

[Kelek]

Hallo zusammen,

ich plane mit dem "Projekt 400" meinen aktuellen Server abzulösen.

Aktueller Server:
CPU: Xeon E3-1245v6
Board: Supermicro X11SSH-LN4F
Ram: 2x 16GB Samsung DDR4-2133 ECC + 2x 16GB Samsung DDR4-2400 ECC
PSU: 650W XFX XTR 80+ Gold
SSD: Samsung 850 Pro
HDD: 12x WD Red 8 TB im Raid 6 + 3x Toshiba 18TB im Raid 5
Raidcontroller: Adaptec 71605 16-port
Case: Lian Li PC-A75


Mit dem "Projekt 400" plane ich einen Server mit ca. 400TB brutto Kapazität.


Neuer Server:
CPU: Ryzen 9 Pro 7945
Board: ASROCK B650D4U-2LT2T/BCM (leider aktuell sehr schwer zu bekommen)
Ram: 2x 32GB oder 48GB DDR5 ECC Ram
PSU: Seasonic Prime TX-850 (bereits vorhanden)
SSD: SSD Samsung 990 PRO 1 TB
HDD: 2x12 Toshiba MG10 20TB jeweils im Raid 6
Raidcontroller: Microsemi Adaptec SmartRAID 3154-24i
Case: Nanoxia Deep Silence 6 Rev.B + zusätzlicher 10 Slot HDD Cage (bereits vorhanden)

Wichtig ist mir in erster Linie natürlich der Speicherplatz + ein paar Leistungsreserven für Docker und andere Applikationen.


Da das Ganze natürlich sehr teuer wird, plane ich erst mal nur mit 12 HDDs zu starten und den 2ten Raid Ende des Jahres nachzuziehen.

Optisch soll es dann so aussehen:

Was meint ihr zu dieser Konfiguration? Bin gerne für Vorschläge & Verbesserungen offen

 

[gea]

Soll da Windows mit ntfs drauf oder warum sonst Hardware Raid-6.
Modernes Softwareraid ist viel zuverlässiger und eher schneller und selbst für Windows gibt es moderneres Softwareraid mit ReFS und ZFS

 

[Kelek]

Wollte da Windows drauf machen. Ich traue mich noch nicht an ein Software RAID. Mit einem RAID Controller habe ich nur gute Erfahrungen gemacht.
Habe aktuell Probleme mein Wunsch MB aufzutreiben. Ist fast über all vergriffen

 

[gea]

Modernes Software Raid mit Dateisystemen wie btrfs (mit Einschränkung), ReFS oder ZFS, ist Hardwareraid haushoch überlegen. Grund ist Copy on Write und Prüfsummen auf Daten und Metadaten. Stürzt ein Raid-6 beim Schreiben ab, so ist mit einer bestimmten Wahrscheinlichkeit das Raid oder Dateisystem korrupt ohne dass chkdsk das Problem erkennen oder reparieren kann. Verändert sich in einem herkömmlichen Raid-1 Daten eines Mirrorteils z.B. wegen bitrot so kann mangels Prüfsummen nicht erkannt werden welcher Mirror gut oder schlecht ist.

Modernes Softwareraid hat diese Probleme nicht mehr. Der schlechte Ruf von Softwareraid kommt von seltsamen Lösungen kombiniert mit "alten" Dateisystemen.

 

[sandreas]

Modernes Software Raid mit Dateisystemen wie btrfs (mit Einschränkung), ReFS oder ZFS, ist Hardwareraid haushoch überlegen.

Du sagst das mit solcher Überzeugung... Technisch mag das auch stimmen, aber was sagst du denn zu den Software-Bugs von (Open)ZFS, die silent data corruption nach sich ziehen können?
Dazu noch diese ganzen Probleme bei der native Encryption (ich würde sagen, dass Native-Encryption-Feature ist kaum mehr als "experimental").

Versteh mich nicht falsch, ich mag ZFS sehr gern und setze es selbst ein, aber mir ist bei den kürzlichen Bug-Reports und meinen anschließenden Recherchen bzgl. ZFS doch etwas mulmig zu mute geworden.

 

[p4n0]

Als reine Storage-Buechse halte ich das Board + CPU fuer voll daneben.
Hast nur einen 16er Slot und der geht fuer den Controller drauf. Wenn du dann ne ordentliche (Q)SFP NIC reinzimmern moechtest ist schon Feierabend.

Fuer solch ein Projekt muss ein Dickschiff her. Also Xeon oder Epyc. Aber das Zeug saeuft Strom. Vor allem mit sovielen HDDs.

 

[Speeddeamon]

Warum überhaupt noch hdds? Wer tut sich das an?

 

[sandreas]

ein Dickschiff

Haha, YMMD. Danke für diesen Ausdruck - ich hab laut gelacht.

Aber das Zeug saeuft Strom. Vor allem mit sovielen HDDs.

Und hier sehe ich tatsächlich die große Frage, die sich mir auch stellt: Braucht man 400TB Daten wirklich im Direktzugriff oder könnte es auch ein "on demand" Storage server werden, der 20TB Verkehrsdaten 24/7 bereit stellt und im Archivmodus hauptsächlich offline den Rest speichert.

@Kelek
Nichts gegen dein Vorhaben, aber der Betrieb eines solchen "Monstrums" ist kaum noch mit Homelab zu bezeichnen. Bist du n größerer Youtuber mit 8K Footage? Falls ja, könntest du dir mal das Video hier anschauen:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

oder das:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Sind zwar schon älter, aber vielleicht kannst du da etwas nützliches raus ziehen.

 

[gea]

Du sagst das mit solcher Überzeugung... Technisch mag das auch stimmen, aber was sagst du denn zu den Software-Bugs von (Open)ZFS, die silent data corruption nach sich ziehen können?
Dazu noch diese ganzen Probleme bei der native Encryption (ich würde sagen, dass Native-Encryption-Feature ist kaum mehr als "experimental").

Versteh mich nicht falsch, ich mag ZFS sehr gern und setze es selbst ein, aber mir ist bei den kürzlichen Bug-Reports und meinen anschließenden Recherchen bzgl. ZFS doch etwas mulmig zu mute geworden.

ZFS selber ist nach 20 Jahren kommerziellem Einsatz ultra ausgereift. Solaris mit native ZFS zählt zum stabilsten was man im Bereich Storage überhaupt haben kann. Auch Illumos mit OpenZFS aber eigenem Repository gilt als sehr stabil. In den letzten Jahren gab es da keine ernsthaften Problemreports.

Selbst unter Linux muss man das genauer betrachten. ZoL wird ja nicht so selten eingesetzt, dennoch war die Anzahl der Issues überschaubar und noch wichtiger, die Probleme wurden sehr zügig bearbeitet. Das Hauptdilemma von ZoL ist die Vielzahl der Linux Distributionen die notwendige Aktualisierungen z.B. auf 2.2.3 gar nicht oder verspätet erhalten oder sogar noch mit Versionen ausgeliefert werden die als Buggy gelten. Mit ein Grund warum Solaris, Illumos aber auch Free-BSD als stabiler gelten.

Ein defektes Raid Array ohne ZFS (egal ob Softwareraid oder Hardwareraid) wird im Vergleich dazu viel häufiger passieren. Mangels Issutracker "Diverse Probleme mit Windows Raid und ntfs" wird das aber nirgends erfasst. Jeder erduldet da einsam sein Schicksal während im ZoL Issuetracker fast jedes Problem umgehend landet.

400 TB ohne CoW und Prüfsummen wollte ich aber ganz sicher nicht haben.

 

[sandreas]

ZFS selber ist nach 20 Jahren kommerziellem Einsatz ultra ausgereift.

Das Problem ist, wie du schon beschreibst, dass ZFS nicht immer gleich implementiert ist und selten jemand Solaris, Illumos oder OpenIndiana im Homelab einsetzt.

Selbst unter Linux muss man das genauer betrachten.

Da bin ich bei dir. Jedoch: Obwohl die Anzahl der Issues überschaubar ist, sind sie doch teilweise sehr einschneidend. Wir reden hier ja von potenziellem Datenverlust ohne Verschulden des Benutzers.

Ein defektes Raid Array ohne ZFS (egal ob Softwareraid oder Hardwareraid) wird im Vergleich dazu viel häufiger passieren. Mangels Issutracker "Diverse Probleme mit Windows Raid und ntfs" wird das aber nirgends erfasst. Jeder erduldet da einsam sein Schicksal während im ZoL Issuetracker fast jedes Problem umgehend landet.

Vermutlich hast du recht. Das soll(te) auch kein ZFS bashing werden, sondern eher die Meinung eines erfahrenen Nutzers abfragen Ich kann mir nicht mehr vorstellen, auf ZFS zu verzichten (allein schon wegen der Snapshots und dem Senden dieser - obwohl Proxmox nicht immer die aktuellste ZFS Version einsetzt, nehmen sie die Probleme offenbar ernst:

~# zfs version
zfs-2.2.2-pve1
zfs-kmod-2.2.2-pve1

Anfang des Jahres war es noch die 2.1.4.


Vielen Dank für deine Meinung dazu.

 

[Firebl]

Wieso nimmst du den 3154? Adaptec hat bereits die 3200er Reihe. Wir haben im Testsystem das externe Topmodell, den SmartRAID Ultra 3254-16e/e. Absolut Top. So macht auch Hardware-RAID-Controller spaß.

 

[Luckysh0t]

Modernes Software Raid mit Dateisystemen wie btrfs (mit Einschränkung), ReFS oder ZFS, ist Hardwareraid haushoch überlegen

Wobei ReFS dank MS auch mal für sehr hohen Puls sorgt. Vor wenigen Jahren gab es mal ein Update, danach waren die Speicherpools weg. Der erste Blick am frühen Morgen ins Monitoring war entsprechend spannend…

Da unsere Backupspeicher als HW raid 60 laufen mit einfacher ReFS Formatierung, sind wir glücklicherweise von ggf. Weiteren Problemem verschont geblieben, mit powershell ging dann der reimport und es war glücklicherweise alles wieder funktionsfähig.

Wobei klar, auch HW Controller von Bugs betroffen sein können - das steht außer Frage. Von den ganzen anderen Funktionen die ein SW bieten kann, kann ein HW RAID nur träumen.

Ich bin ja selbst ZFS Fan. Am liebsten würde ich mein Windows auf zfs installieren um zfs send und co nutzen zu können ^^. Ohne in einer virtualisierung zu stecken.

 

[besterino]

@Luckysh0t: evtl. mit iSCSI-Boot realisierbar?

 

[the_pi_man]

gut gemeinter Hinweis: Höre auf @gea !
Der ist hier das Urgestein und Hardwareguru, was solche Problem wie deines angeht.

 

[gea]

Wobei ReFS dank MS auch mal für sehr hohen Puls sorgt. Vor wenigen Jahren gab es mal ein Update, danach waren die Speicherpools weg. Der erste Blick am frühen Morgen ins Monitoring war entsprechend spannend…

Da unsere Backupspeicher als HW raid 60 laufen mit einfacher ReFS Formatierung, sind wir glücklicherweise von ggf. Weiteren Problemem verschont geblieben, mit powershell ging dann der reimport und es war glücklicherweise alles wieder funktionsfähig.

Wobei klar, auch HW Controller von Bugs betroffen sein können - das steht außer Frage. Von den ganzen anderen Funktionen die ein SW bieten kann, kann ein HW RAID nur träumen.

Ich bin ja selbst ZFS Fan. Am liebsten würde ich mein Windows auf zfs installieren um zfs send und co nutzen zu können ^^. Ohne in einer virtualisierung zu stecken.

Software wird weiterentwickelt. Bugs wirds da immer wieder geben können. Storage ist daher nie set and forget. Mit einer der Gründe für externes Disasterbackup selbst bei ZFS Z3, da eventuell nicht die neueste Softwarerelease des Filers nehmen falls es doch mal einen kritischen Bug im Filer gibt.

ReFS auf Hardwareraid ist aber wie Autofahren mit ausgeschaltetem Airbag. Man hat ein Sicherheitsfeature, nutzt es aber nicht. Man nimmt ja ReFS wegen der zwei entscheidenden Sicherheitsfeatures gegenüber ntfs, nämlich Prüfsummen auf Metadaten und idealerweise Daten (sollte man auf jeden Fall aktivieren) und Copy on Write. Letzteres sorgt dafür dass atomare Schreibvorgänge wie Schreiben eines Datenblocks und Aktualisieren der Metadaten oder Schreiben eines Raid Stripe nacheinander über alle Platten des Arrays immer komplett geschrieben werden oder falls der Rechner beim Schreiben abstürzt komplett verworfen werden und der vorherige Stand des Dateisystems oder Raid gültig bleibt.

Copy on Write setzt aber voraus dass das OS komplette Kontrolle über einzelne Schreibvorgänge jeder Platte hat. Mit Hardwareraid gibt es kein Copy on Write. Stürzt der Rechner beim Schreiben ab, ist der Stand des Dateisystems oder Raid undefiniert. Da es keine Prüfsummen auf Datenblockebene gibt, hat man nichtmal die Chance zu Prüfen ob Probleme da sind. Chkdsk kann ja keine echten Daten-Fehler finden sondern nur einfache strukturelle Fehler.

Hardwareraid + [btrfs|ReFS|ZFS] = Fehlkonfiguration da genauso unsicher wie Hardwareraid + ntfs. ReFS Prüfsummwn können bei defekten Raid oder Dateisystemen dann auch nichst retten, allenfalls manchmal sagen was kaputt ist. Cache+ BBU/Flash im Hardwareraid kann das Risiko nur minimieren das es über echte Datenstrukturen vor allem wenn mehrere Nutzer Daten parallel schreiben nichts weiß.

Das wollte man vermutlich mit ReFS statt ntfs gerade nicht haben.

ps
Neuestes ZFS 2.2.3 ist als rc2 auch für Windows verfügbar.
ZFS seitig ist es praktisch aktuelles Open-ZFS (Daten sollten also so sicher sein wie auf ZoL), Anpassungen an Windows und ZFS Treiber brauchen aber noch etwas Reife für produktiven Einsatz.

 

[Luckysh0t]

Hardwareraid + [btrfs|ReFS|ZFS] = Fehlkonfiguration da genauso unsicher wie Hardwareraid + ntfs. ReFS Prüfsummwn können bei defekten Raid oder Dateisystemen dann auch nichst retten, allenfalls manchmal sagen was kaputt ist. Cache+ BBU/Flash im Hardwareraid kann das Risiko nur minimieren das es über echte Datenstrukturen vor allem wenn mehrere Nutzer Daten parallel schreiben nichts weiß.

Das ist mir bewusst. Nur gibt es diese Systeme in der Form schon etwas länger bei uns, da war ReFS für seine Raid Level noch nicht so...sagen wir berühmt.
Wir nutzen ReFS (bzw XFS im immutable repo) u.a aufgrund des Fast Clone Features von Veeam.

 

[Trambahner]

Der Pro 7945 ist unnötig für daheim, 7900/7900X und PPT limitieren wenn es 12 Kerne sein sollen. Kann genauso ECC.

Insgesamt ist AM5 natürlich keine sonderlich Idle-Power freundliche Lösung. AM4 wäre da etwas sparsamer.

Die HDDs im Case machen mir etwas sorgen. die linke 10er Reihe mit HDDs wird kaum Luftstrom abbekommen vom Frontlüfter.
Die 4 HDD oben sind aktiv belüftet? Wenn nein, nicht gut.

Zu den Vorteilen ZFS wurde bereits geschrieben, da brauch ich nix zu anfügen.

 

[gea]

Das ist mir bewusst. Nur gibt es diese Systeme in der Form schon etwas länger bei uns, da war ReFS für seine Raid Level noch nicht so...sagen wir berühmt.
Wir nutzen ReFS (bzw XFS im immutable repo) u.a aufgrund des Fast Clone Features von Veeam.

Mit Hardwareraid+BBU/Flash und USV kann man das Risiko minimieren.
Wird aber vermutlich eh der Fall sein.

 

[pwnbert]

CPU: Ryzen 9 Pro 7945

Nimm doch einen Eypc, evtl. auch "nur" nen 7003er. Ist nicht teurer aber hat sinnvoll I/Os. Auf die paar Watt kanns nicht ankommen.

Raidcontroller: Microsemi Adaptec SmartRAID 3154-24i

Oh gott mach doch ein Software Raid...
Selbst ReFS kann doch son LVM Zeug? Kann doch gar nicht schlimmer sein, als ein RaidController.

Case: Nanoxia Deep Silence 6 Rev.B + zusätzlicher 10 Slot HDD Cage (bereits vorhanden)

Warum nicht ein ordentliches 19er Gehäuse, damit der Austausch kein Krebs ist? Bei dem Preis doch auch egal. Aber wenn dus so magst, wird schon laufen.

SSD: SSD Samsung 990 PRO 1 TB

Nix Datacenter, nix Mirror, nix PLP? Kein Plan was du brauchst bzw. vor hast.

Versteh mich nicht falsch, ich mag ZFS sehr gern und setze es selbst ein, aber mir ist bei den kürzlichen Bug-Reports und meinen anschließenden Recherchen bzgl. ZFS doch etwas mulmig zu mute geworden.

Haha ja, aber mach mal Recherche zu Bugs von Raid-Controllern. Da hast dann wochenlang Alpträume ...

 

[Luckysh0t]

Mit Hardwareraid+BBU/Flash und USV kann man das Risiko minimieren.
Wird aber vermutlich eh der Fall sein.

Ja, alles andere wäre tollkühn.

 

[HansBohne]

Hehe wir haben auch aktuell ein (18*16 TB + 7*22 TB) = 442 TB brutto Server Setup daheim allerdings verteilt auf 3 Systeme. weil wir aktuell nicht mehr als 100 TB am Stück brauchen.

Bei uns läuft auch nur ZFS (mind RAIDZ2) unter Linux und FreeBSD auf 2 Systemen immer die aktuellste Version auf einem System die originale OS Version.

Hardware RAID würde ich aktuell nicht mehr nutzen - und ist auch lange her das wir dass hatten als es FreeBSD 8 mit ZFS gab sind bei uns die echten HW Controller rausgeflogen, auch wenn die teuer waren - wenn ich ein Server bastle dann soll er immer das sein, was gerade technisch am besten ist - ich kann da nichts nehmen bei dem ich denke naja das ist nett und brauchbar aber ich könnte auch sehr viel besseres haben.

Dass OpenZFS Fehler hat das ist klar - sieht man ja in jeder Version was es alles an Fixes gab https://github.com/openzfs/zfs/releases/tag/zfs-2.2.3 - aber das schöne ist die Fehler bleiben selten im Verborgenen - und es hat sehr viele Features, die sicherstellen dass Datenfehler erkannt und repariert werden. Beim HW Contoller hat man trotzdem zusätzlich zu den möglichen Fehlern des HW Controllers auf jeden Fall immer die Fehler des Filesystems, das man auf den Storage des HW Controllers draufmacht ich glaube nicht dass das mehr Sicherheit ist.


Für Systeme mit vielen HDDs und grossen Volumes bietet ZFS auch RAIDZ3 (3 HDDs können gleichzeitig ausfallen ohne Verlust)

zfs/module/zfs/vdev_raidz.c at master · openzfs/zfs

OpenZFS on Linux and FreeBSD. Contribute to openzfs/zfs development by creating an account on GitHub.

github.com

Und man kann bestehendes ZFS seit Neuestem erweitern!

 

[Gen8 Runner]

Ich gebe auch noch meinen Senf dazu.

Zum Rest wurde ja schon genug gesagt, würde auch auf Software RAID setzen. Ich habe TrueNAS im Einsatz, aber auch die anderen ZFS Vertreter sind gut und ZFS ist einfach genial!

ABER:
Gehäuse würde mir Bauchschmerzen bereiten. Ich habe auch ein Nanoxia Gehäuse im Einsatz (kann dir aber gar nicht genau sagen welches). Grundsätzlich sehr zufrieden mit. Hatte dort auch vorher 14 Platten drin. Auch zwei Käfige nebeneinander gehabt, so wie du das planst. Aber miss und prüf vorher nochmal genau nach, ob das auch mit deinem Netzteil sauber passt.
Bei mir war damals der Käfig so eng am Netzteil dran, dass die Kabel heftigst gebogen werden mussten. Deshalb flog auch der Käfig raus, da mir das viel zu kriminell war.

Und bei deinem Netzteil nochmal gucken, ob das genug Power hat in Sachen Anlaufstrom. Wenn erstmal 24 Festplatten auf einmal starten, kann der Anlaufstrom so hoch sein, dass die Kiste überhaupt nicht startet.

 

[the_pi_man]

Wenn ich soviel Geld in Platten investieren will, habe ich auch die paar hundert Euro für ein professionelles 19Zoll Rack Gehäuse mit bis zu 24 Einschüben.

 

[Kelek]

Haha, YMMD. Danke für diesen Ausdruck - ich hab laut gelacht.


Und hier sehe ich tatsächlich die große Frage, die sich mir auch stellt: Braucht man 400TB Daten wirklich im Direktzugriff oder könnte es auch ein "on demand" Storage server werden, der 20TB Verkehrsdaten 24/7 bereit stellt und im Archivmodus hauptsächlich offline den Rest speichert.

@Kelek
Nichts gegen dein Vorhaben, aber der Betrieb eines solchen "Monstrums" ist kaum noch mit Homelab zu bezeichnen. Bist du n größerer Youtuber mit 8K Footage? Falls ja, könntest du dir mal das Video hier anschauen:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

oder das:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Sind zwar schon älter, aber vielleicht kannst du da etwas nützliches raus ziehen.

Danke für die 2 Videos.
Der große Speicherbedarf hat wirklich was mit YouTube zu tun. Mehr will ich an dieser Stelle nicht verraten.

Beitrag automatisch zusammengeführt: 22.03.2024

Wieso nimmst du den 3154? Adaptec hat bereits die 3200er Reihe. Wir haben im Testsystem das externe Topmodell, den SmartRAID Ultra 3254-16e/e. Absolut Top. So macht auch Hardware-RAID-Controller spaß.

Ich will 24 Platten an den Controller hängen und auf SAS Expander verzichten.
Der 3154 hat alles was ich brauche.

Beitrag automatisch zusammengeführt: 22.03.2024

ZFS selber ist nach 20 Jahren kommerziellem Einsatz ultra ausgereift. Solaris mit native ZFS zählt zum stabilsten was man im Bereich Storage überhaupt haben kann. Auch Illumos mit OpenZFS aber eigenem Repository gilt als sehr stabil. In den letzten Jahren gab es da keine ernsthaften Problemreports.

Selbst unter Linux muss man das genauer betrachten. ZoL wird ja nicht so selten eingesetzt, dennoch war die Anzahl der Issues überschaubar und noch wichtiger, die Probleme wurden sehr zügig bearbeitet. Das Hauptdilemma von ZoL ist die Vielzahl der Linux Distributionen die notwendige Aktualisierungen z.B. auf 2.2.3 gar nicht oder verspätet erhalten oder sogar noch mit Versionen ausgeliefert werden die als Buggy gelten. Mit ein Grund warum Solaris, Illumos aber auch Free-BSD als stabiler gelten.

Ein defektes Raid Array ohne ZFS (egal ob Softwareraid oder Hardwareraid) wird im Vergleich dazu viel häufiger passieren. Mangels Issutracker "Diverse Probleme mit Windows Raid und ntfs" wird das aber nirgends erfasst. Jeder erduldet da einsam sein Schicksal während im ZoL Issuetracker fast jedes Problem umgehend landet.

400 TB ohne CoW und Prüfsummen wollte ich aber ganz sicher nicht haben.

Dann werde ich mir ZFS doch mal näher anschauen. Danke für den Tip

 

[pwnbert]

Ist halt schwer zu erraten, was du eigentlich genau willst.


Wenns nur ein großes NAS sein soll, TrueNAS Scale mitm Epyc, weil er auch nicht teurer ist, dafür aber ordentlich RAM nimmt ohne Zicken (kA wie 128gb momentan auf AM5 sind), 256gb kann man schon machen in dem Fall.

 

[Kelek]

Ist halt schwer zu erraten, was du eigentlich genau willst.


Wenns nur ein großes NAS sein soll, TrueNAS Scale mitm Epyc, weil er auch nicht teurer ist, dafür aber ordentlich RAM nimmt ohne Zicken (kA wie 128gb momentan auf AM5 sind), 256gb kann man schon machen in dem Fall.

Hauptsächlich soll das Teil ein sehr großer Speicher für meine Daten werden.

Kannst du mir eine konkrete Empfehlung für ein Board + CPU geben?

 

[pwnbert]

Nicht wirklich, ich hab selber nur (ein paar) AM4 im Betrieb.

Schau einfach mal diese Listen durch und setz dir die Filter:

Mainboards AMD Epyc mit CPU-Kompatibilität: Epyc 7003 Preisvergleich Geizhals Österreich

Preisvergleich und Bewertungen für Mainboards AMD Epyc mit CPU-Kompatibilität: Epyc 7003

geizhals.at

Prozessoren (CPUs) AMD mit CPU-Serie AMD: Epyc 7003 Preisvergleich Geizhals Österreich

Preisvergleich und Bewertungen für Prozessoren (CPUs) AMD mit CPU-Serie AMD: Epyc 7003

geizhals.at

Das hier hat z.B. sau viele SATA, du musst dir aber ganz genau anschauen, wie das mit diesen Anschlüssen genau funktioniert (diese ganzen SFF-...), Server Technik ist da bissl anders als Desktop, da gibts Dinge, die kennt man als erfahrener Desktop-Hardware Mensch noch nicht so.

ASRock Rack ROMED6U-2L2T ab € 712,60 (2024) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für ASRock Rack ROMED6U-2L2T ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: µATX • Sockel: AMD SP3 • Chipsatz: System-on-Chip (SoC) • CPU-Kompatibilität: CPU-Kompatibili… ✔ AMD Epyc ✔ Testberichte ✔ Günstig kaufen

geizhals.at

Dazu gibts sogar nen Luxx Test:

Viele PCIe- und Storage-Optionen: Das ASRock Rack ROMED6U-2L2T im Test - Hardwareluxx

ASRock Rack ROMED6U-2L2T im Test

www.hardwareluxx.de

Du hast auf dem Brett bis zu 31 SATA Anschlüsse, PCIe ohne Lane-Sharings und M.2 Slots. Dazu 2x 10 GbE (wobei du bei der Menge PCIe Slots locker einen für ne schöne Glasfaser-Karte opfern kannst).

CPU z.B. sowas:

AMD Epyc 7303P ab € 574,25 (2024) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für AMD Epyc 7303P ✔ Produktinfo ⇒ Kerne: 16 (16C) • Threads: 32 • Turbotakt: 3.40GHz • Basistakt: 2.40GHz… ✔ AMD ✔ Testberichte ✔ Günstig kaufen

geizhals.at

Sind halt "nur" Zen 3 Cores, mit nicht so viel Base Clock, aber immerhin 16 davon, und mit 6 parallelen Speicherkanälen tut sich da schon bissl was. So viel CPU Power brauchst ja nicht.

Ram geht auch. 6 x 32gb sind dann ca. 6x84 also ~500€ - für immerhin 192 GB in 6 Kanälen parallel.

Arbeitsspeicher (RAM) Speicher mit Typen: DDR4/mit ECC/Registered Modul, Einzelmodulgröße: 32GB, Speichertakt ab 3200MHz Preisvergleich Geizhals Österreich

Preisvergleich und Bewertungen für Arbeitsspeicher (RAM) Speicher mit Typen: DDR4/mit ECC/Registered Modul, Einzelmodulgröße: 32GB, Speichertakt ab 3200MHz

geizhals.at

Bei SSDs kannst dann auch Richtung U.2 schauen, das ist PCIe über Kabel / Erweiterungskarte, die Festplatten sind dann ähnlich 2.5" SATA vom Formfaktor her (aber halt PCIe und andere Stecker).

Du wirst dann noch ein paar (hundert?) € ausgeben müssen für diese (richtigen!) Adapterkabel von diesen SSF-xxx Ports auf die SATA Platten (und was sonst so), sowie vllt. so ne Asus Hyper M.2 für 4 M.2 im PCIe x16 (musst schauen, ob das eh 4x4 Bifurication kann, denke aber schon) oder nen Adapter auf U.2 (für Enterprise SSD).



Auf jeden Fall ist das in meinen Augen für son Projekt besser (weil die wenigen PCIe Lanes am Desktop Board einfach ein Flaschenhals werden. Mit einem dicken HBA auf der PCIe x16 wirds zwar werden, mit den 2x 10 GbE Onboard vom Asrock Rack AM5 wirst auch durchkommen, aber das wars dann auch wieder. AM5 Desktop ist für so Mengen einfach nicht gedacht.

Bloß wirst du dich damit noch tiefer auseinandersetzen müssen.
Außerdem wirst du dich noch in die Betriebsystemfrage einlesen müssen. Einfach ein Windows installieren ist da eher nicht, denke ich.
Ob TrueNAS ein passendes Betriebssystem für dich ist? Musst selbst lesen.
Kein Plan was du im Detail vor hast. Es gibt da noch sowas wie Special-VDEV, SLOG, L2ARC... eben abhängig davon, was du vor hast.

Es ist nicht so einfach... es ist nicht das gleiche, wie nen Gaming PC zusammenzubauen, statt der Grafikkarte nen Raid-Controller einzustecken, dann 20 Festplatten anzustecken, im Windows zu konfigurieren, ne Netzwerkfreigabe machen und gut ists. Ich denke, das weisst du eh selbst (fass das bitte nicht als geringschätzend auf).


Willkommen im ZFS-Rabbit-Hole.

 

[HansBohne]

ab 12-14 konventionellen HDDs im RAIDZ2 bremst das 10 GBit Netzwerk schreibend - auch bei einem 10+ Jahre alten XEON. Lesend liefern meine Server 10 GbIt konstant tagelang bereits ab 7 Daten HDDs (ZFS mit Crypt)

Die Anzahl der parallel lesenden und schreibenden HDDs ist halt das Bottleneck vor allem im < 3-5 User Betrieb.

 

[gea]

Es ist nicht so einfach... es ist nicht das gleiche, wie nen Gaming PC zusammenzubauen, statt der Grafikkarte nen Raid-Controller einzustecken, dann 20 Festplatten anzustecken, im Windows zu konfigurieren, ne Netzwerkfreigabe machen und gut ists. Ich denke, das weisst du eh selbst (fass das bitte nicht als geringschätzend auf).

Eigentlich ist ZFS unter Windows nicht mehr als
- Hardware zusammenbauen (ok, Storage Filer hat andere Anforderungen als Gamingrechner)
am Besten sich an den Tipps orientieren die auch für einen Linux/Unix ZFS Filer genannt werden.
- Überlegen mit welchem raid level man die Platten nutzen möchte z.B. Z2 mit einem Z2 vdev array

- Windows 10 oder 11 und Open-ZFS 2.2.3 rc2 installieren
- Pool anlegen (Console oder GUI), z.B. tank und Dateisysteme z.B. tank/data und tank/media
- SMB Shares anlegen (Tipp: bei mehreren SMB Shares je eines per Dateisystem)

Im Moment muss man unter Windows nach einem Reboot noch den Pool manuell importieren (admin terminal):
zpool import -f tank

Optimierungen oder spezielle Konfigurationen (slog, l2arc, special vdec):
Kann man später überlegen wenn man das System für eine Anwendung optimieren möchte.

Auch nicht anders als ZFS unter einen Betriebssystem wie Free-BSD, Linux, OSX oder Illumos/Solaris

 

[HansBohne]

Hmmm naja bis auf die Performance die fand ich bisher unter Win eher hmmm etwas überschaubar - aber hab da auch nur so kleine Testsysteme zum mal auspribieren gehabt.

Hat da jemand bzgl win Performance gute Werte? (glaub 2.2.2 hab ich getestet)