ZFS/TrueNAS-Fileserver, ca. 40TByte, tauglich für's Arbeitszimmer im Tower o.ä. aufbauen? (=Kein Rack)

[Elmario]

Hallo!

Ich beginne gerade damit meinen nächsten Server zu planen. Dieser dient im Gegensatz zum Alten dann nur noch als Fileserver, weil er wegen der hohen Stromkosten sowieso nach dem Zugriff auf Daten automatisch heruterfahren soll.
Wie oben schon steht, möchte ich ihn nach wie vor mit ZFS (Raid-Z2) betreiben, und netto ca. 40TByte netto nutzbar haben (wodurch also mindestens 120TBye brutto benötigt werden).

So viel ist schon mal klar .. alles Weitere aber noch offen:

1 SSD oder Festplatten? (Die Geschwindigkeit ist mir ziemlich egal, selbst die langsamten Festplatten reichen mir völlig aus. Aber bezüglich Abwärme und Lärm wären SSDs schon interessant ..)
2. nvme/m.2 oder 2,5" (Evtl. auch noch 3.5, falls Festplatten)
3. Welches Gehäuse, welche Backplane?
4. Wie sieht es mit der Laufwerksidentifikation aus, falls ein Laufwerk ausfällt?

Ich könnte natürlich einen beliebigen BigTower nehmen, ein Serverboard reinstecken und dann irgendwie irgendwelche Laufwerke einbinden. Für den Fall, dass es SSDs würden wären aber wegen des Preises pro Terabyte schon ziemlich viele Datenträger nötig, weil zur Zeit ja 1 bis 2 TB am günstigsten sind (ca. 40€/TB). 4TB wären schon bei ca. 48€/TB.. also einge zig Datenträger .. und da wird ja dann die oben genannte Identifikation sehr wichtig, damit man ein defektes Gerät schnell erkennen und ersetzen kann, und die hat man ja beim Eigenbau in der Regel nicht. Fertige "Tower-Server" haben das soweit ich bisher sah auch nicht, und sind ja auch gar nicht auf viel Lauferke ausgerichtet .. wie also am besten aufbauen?

Also bisher noch eine recht abstrakte Vostellung ..
An Preis stelle ich mir bis zu ca. 3500€ maximal vor.
Was habt ihr dazu zu sagen, bzw zu empfehlen? Ideen? Vorschläge? Best Practises?

Danke Euch!

 

[p4n0]

Hi,

das ganze Vorhaben steht und faellt mit der Leidensfaehigkeit deiner Geldboerse.
Was hast du grob dafuer eingeplant?

 

[Elmario]

Bis zu 3500€ ca. (Habe das noch oben eingefügt, danke!)

 

[p4n0]

Dann fallen SSDs schonmal raus. Brauchst direkt PLP und so zeug, das wird zu teuer.

 

[Elmario]

Weshalb wäre das denn bei SSDs wichtiger als bei Festplatten? Eine externe USV könnte ich schon noch (falls das hilft) dazu geben, weil ich so eine sowieso auch mal meinem Arbeits-Notebook zur Verfügung stellen wollte, dann bekommt sie ein paar kW/h mehr um den Server mit schützen zu können .

 

[p4n0]

Weil ZFS davon lebt, dass Daten wirklich geschrieben sind wenn der Controller dies zurueckmeldet. Bei ner normalen Consumer SSD landen die Bits in irgend nem Cache, der nicht gegen Spannungsabfaelle/Stromausfaelle geschuetzt ist. Die USV hilft dabei nichts dagegen anzukommen.

 

[v3nom]

M.2 SSD werden auch an der benötigten Anzahl der PCIe Lanes scheitern, da das ziemlich teuer werden würde.
Mit SATA SSDs sollte es gehen.

 

[Elmario]

M.2 SSD werden auch an der benötigten Anzahl der PCIe Lanes scheitern, da das ziemlich teuer werden würde.
Mit SATA SSDs sollte es gehen.

Deshalb dachte ich an die Verwendunge einer Art Backplane .. aber bisher habe ich nur 4-fach gefunden.

Gut, dann lassen wir beide Arten von SSDs schon einmal ausscheiden.
Da nur Festplatten bleiben, werden es sinnvoller Weise ja 3.5" werden müssen, weil die 2.5" viel teurer pro TB sind, und der Platzvorteil ja nicht so gravierend ist.
In Form von 3.5"-SATA-Platten würden ja z.B. 4 * 20TB reichen.

Auch wenn natürlich einige Tower-Server ver Festplatten aufnehmen könne, bin ich dennoch kein Fan von deren Kühlperformance. Z.B. der Dell Poweredge T20 hat mir regelmäßig die vier Festplatten früher gekocht .. wie sollte es in einem so kompakten Gehäuse auch viel besser gehen. Also wäre dennoch ein Selbstbau interessant, wo sich dann wieder die Frage stellt, wie man dann das mit der Identifikation machen könnte (auch wenn das bei nur vier Platten natürlich nicht mehr so wichtig ist wäre es vielleicht irgendwann mal ganz praktisch..). Für ZFS braucht's ja einen Controller im IT-mode, oder aber die SATA-Ports direkt auf dem Board. Wie fügt ma da nun den ID-Skill hinzu?

 

[gea]

1 SSD oder Festplatten? (Die Geschwindigkeit ist mir ziemlich egal, selbst die langsamten Festplatten reichen mir völlig aus. Aber bezüglich Abwärme und Lärm wären SSDs schon interessant ..)
2. nvme/m.2 oder 2,5" (Evtl. auch noch 3.5, falls Festplatten)
3. Welches Gehäuse, welche Backplane?
4. Wie sieht es mit der Laufwerksidentifikation aus, falls ein Laufwerk ausfällt?



Danke Euch!

Ich würde
- ein Serverboard mit IPMI und ECC RAM bevorzugen.
RAM: Solaris basierte Systeme min 4GB, BSD oder Linux basierte min 8GB + Speicher den man gerne für ZFS als Extra Cache haben möchte.
Bei bis zu 3500,-- würde ich min 32 GB RAM nehmen
bevorzugte Anbieter: SuperMicro und Asrock, gibt auch Boards mit 10G und LSI 9300 onboard
- Das Betriebssystem auf eine kleine NVMe legen (100GB)
- Den Z2 Pool aus 5 CMR 24/7 Festplatten aufbauen (ab 12TB), keine SMR Platten, entweder 6G Sata oder aber besser gleich 12G SAS
mit LSI 9300 SAS HBA
Backplane gibts bei 19", es gehen aber auch Wechselplatteneinschübe, gut z.B. Supermicro, am günstigsten Silverstone CS380 (mit SAS)
- Laufwerksidentifikation idealerweise WWN (eindeutige Kennung auf Platte), zu vermeiden ist portbasierte Erkennung (sda1,c0t0d1 etc)

Optionen die ich mal zusammengestellt hatte z.B. https://www.napp-it.org/doc/downloads/napp-it_build_examples.pdf

Ach Ja: Backup nicht vergessen (z.B. zweiter Pool den man entfernen kann)

 

[Trambahner]

Interessant bzgl. Lanes könnte, aus dem aktuellen/upcoming Portfolio, das B650D4U mit einem R7 7700 Non-X werden. Die Ryzens dürfen ECC und lassen einen den x16-Slot oft auch x4x4x4x4 aufteilen; mit einer Bifurcationcard können dann da bis zu 4 M.2 oder U.2 SSDs additiv zu den anderen Slots ohne PLX-Chip o.ä. unterkommen.
Das X570D4U kann das auch btw, ist aber natürlich noch AM4.

Verfügbarkeit dieser Boards derzeit aber wohl "meehhh". Die gerade erwähnte AM5-Variante kann ich nochdazu nicht bzgl. Idlelast einschätzen; das X570D4U-2L2T hab ich ja und kann ich da einschätzen (config siehe Signatur).

Als SSD sehe ich die PM9A3 in U.2 mit 15.36TB derzeit als durchaus preislich interessant an (hab selber zwei 7.68TB davon), aber ist halt vom Kostenfaktor fürs aktuelle Projekt trotzdem noch zu hoch.

 

[Multiverse]

Kleine Zwishcenfrage: Warum braucht man für ein RAID-Z2 mit netto 40TB am Ende 120TB brutto?
RAID-Z2 ist doch vereinfacht gesagt ein RAID6 und keine wie auch immer geartete Spiegelung.

Mich verwirrt das gerade!

 

[Trambahner]

"brauchen" ist sehr subjektiv und hängt vom Usecase ab.
Kommt halt drauf an, wieviel Daten geändert werden und wieviel Snapshots man haben will . Letztere brauchen zwar sehr wenig Platz wenn Daten kaum geändert werden, aber wenn viel geändert wird, müssen diese Änderungen ja gespeichert werden.
Ausserdem solltest Du den Pool aus Performancegründen nicht komplett füllen, sondern für gute Performance eher 10-20% frei lassen.

Ferner kaufst Du ja nicht nur für aktuelle Daten, sondern musst den Zuwachs an Daten über die Nutz-Jahre absehen.

Unterm Strich kann das nur der Admin/User wissen; rein von HDD/SSD-Kapazitäten auszugehen (also z.B. "6x14TB Raidz2, dann kann man ja 4x14TB netto nutzen"), ist daher grob falsch.

 

[Elmario]

Ok, ok.. ihr seid Alle schon beim Board usw.

Vorher kommen für mich aber noch zwei Fragen:

1 Wie kann ich erreichen, dass ich eine Laufwerks-ID-LED an jedem Datenträger habe, falls Einer ersetzt werden muss
Fertig findet man sowas natürlich nur an kompleten Serverlösungen, bzw. deren dazugehöriger Backplane. Aber ich will ja eben wegen des Lüfterkrachs und des ungünstigen Formfaktors Nichts, was in einem Servergehäuse steckt.
Meine Ideen:
Gibt es also zum Workaround z.B. spezielle Kabel mit integrierter LED am Stecker, die dann evtl. nur an einem speziellen Controller funktionieren, der dann wiederum den IT-mode beherrschen muss usw?
Und je nachdem wie so ein Workarounds praktisch aussieht, ist ja evtl. ein bestimmtes Board nötig, oder eine bestimmte Gehäuseform (falls man z.B. die Backplane irgendeinees Servers in einen ATX-Tower verfrachten würde).
Gäbe es eine Lösung?

2. Und die Einschränkung, dass das Ganze dann möglichst in eine Towerform gebracht werden soll (die im Gegensatz zu den üblichen Towerservern die ich bisher sah aber bitte keine 50mm-Lüfter bei 5000 RPM beinhalten soll), schränkt natürlich noch weiter ein.
Diese beiden Frage stehen natürlich vor der Frage nach dem Board, weil ich ja noch gar nicht weiß, welcher Formfaktor es wird.
Dass es am Ende schon 32 GByte ECC-RAM enthalten sollte ist natürlch Vorraussetzung für ZFS.

Kleine Zwishcenfrage: Warum braucht man für ein RAID-Z2 mit netto 40TB am Ende 120TB brutto?
RAID-Z2 ist doch vereinfacht gesagt ein RAID6 und keine wie auch immer geartete Spiegelung.

Mich verwirrt das gerade!

Was die Bruttokapazität angeht, will ich schon Reserven einkalkulieren, wie Trambahner schon sagte. Ausserdem möchte ich das Verhältnis der Datenträgeranzahl (Redundanz / Gesamtanzahl) nicht zu ungünstig gestalten. Als Beispiel: Wenn ich z.B. 10 Datenträger nutze und davon 2 der Redundanz dienen, dann ist das je nach Datenträgergröße und Geschwindigkeit während eines Rebuilds noch ausrreichend ausfallsicher. Aber wenn ich insgesamt z.B. 50 Datenträger habe (und davon immer noch nur 2 redundant sind, dann ist die Chance, dass ein Weiterer während eines Rebuilds ausfällt ja fast 5 Mal so hoch.
Natürlich macht es deshalb auch keinen großen Sinn sich ohne Kenntnis der Anzahl der Datenträger und deren Beschaffenheit fest auf einen Grad der Redundanz konkret festzulegen, wie ich es oben mit Z2 scheinbar tat .. aber das war nur als Anhaltspunkt gedacht, weil ich ja selbst noch nicht genau wusste was ich will, damit die Threadbesucher einen Anhaltspunkt bezüglich meiner Ziele haben.

Jetzt wo praktisch feststeht, dass es doch nur Festplatten werden, kann man natürlich auch genauer werden:
3.5"-Festplatten gibt's (Im Gegensatz zu SSDs) zu einem guten Preis mit 20TByte Kapazität. Also würden für die reine Nutzung 2 Stück reichen. Dazu dann noch doppelte Redundanz, also weitere 2 und wir sind bei 4. Dazu dann noch Platz für Snapshots und mindestens eine Weitere kommt dazu, also insgesamt 5, vielleicht auch 6.
(Dazu wäre dann später noch zu klären, welche Festplatten es denn sein werden, aber erst einmal müssen die beiden Fragen weiter oben in diesem Post klar sein )

 

[wddn]

4x20TB (oder mehr) als striped mirror (speed), order RAIDZ2 (Sicherheit) fuer den Storage.
Alles andere auf SSDs - dann kannst du die HDDs auch in den spindown schicken.

Server unten:
52W idle mit HDD Spindown
79W idle mit HDDs
100W mit medium Load & HDDs

Mein aktuelles Setup mit TrueNAS Scale:
Asrock Rack X470D4U + Ryzen 2700X + Noctua NH-U9DX i4 + 4x16GB ECC DDR4 Samsung 2666Mhz + Intel X710-DA2 NIC

Boot Pool: Crucial P2 NVME SSD 250GB for OS
VM Pool: 2x Micron 7300 Pro 960GB NVME SSD (PLP, 1.9PB TBW) - mirrored for usage for VMs, Apps, ISO Storage
Storage Pool: 4x HDD CMR striped mirror with 2x mirrored NVME for special vDev

Ich wollte ein Setup, welches die 10GBit Anbindung gut ausnutzen kann

 

[gea]

Ok, ok.. ihr seid Alle schon beim Board usw.

Vorher kommen für mich aber noch zwei Fragen:

1 Wie kann ich erreichen, dass ich eine Laufwerks-ID-LED an jedem Datenträger habe, falls Einer ersetzt werden muss
Fertig findet man sowas natürlich nur an kompleten Serverlösungen, bzw. deren dazugehöriger Backplane. Aber ich will ja eben wegen des Lüfterkrachs und des ungünstigen Formfaktors Nichts, was in einem Servergehäuse steckt.
Meine Ideen:
Gibt es also zum Workaround z.B. spezielle Kabel mit integrierter LED am Stecker, die dann evtl. nur an einem speziellen Controller funktionieren, der dann wiederum den IT-mode beherrschen muss usw?
Und je nachdem wie so ein Workarounds praktisch aussieht, ist ja evtl. ein bestimmtes Board nötig, oder eine bestimmte Gehäuseform (falls man z.B. die Backplane irgendeinees Servers in einen ATX-Tower verfrachten würde).
Gäbe es eine Lösung?

Nicht so kompliziert denken. Einfach WWN Identifikation nutzen und beim Einbau die WWN/SN aufnotieren. Dann findet man auch eine defekte Platte.

Dass es am Ende schon 32 GByte ECC-RAM enthalten sollte ist natürlch Vorraussetzung für ZFS.

Keine Vorraussetzung für ZFS. Oracle nennt 2 GB als absolutes Minimum für Solaris und Original ZFS egal wie groß der Pool ist. Ich sehe 4 GB als reales Minimum auch bei Illumos/OmniOS Systemen und 6GB bei BSD und Linux je mit Open-ZFS. Lediglich Dedup darf man dann nicht verwenden oder nur mit Special Vdev Mirror.

Mehr RAM bedeutet mehr Write Cache (Open-ZFS 10% vom RAM, max 4GB default, Solaris 5s write) und Lesecache (ca 70% RAM). Der Lesecache puffert aber nur kleine io und Metadaten (read last, read most), keine Files, bringt also bei großen Files nichts.

 

[Elmario]

Nicht so kompliziert denken. Einfach WWN Identifikation nutzen und beim Einbau die WWN/SN aufnotieren. Dann findet man auch eine defekte Platte.

Das ist ja, wie ich es bisher gemacht habe. Ich fand das lästig und wollte Es deshalb gerne ändern

 

[gea]

Es gibt nur wenige Lösungen die eine bereits ausgefallene Platte noch anzeigen können (als fehlend). Dazu muss die letzte funktionierende Konfiguration gespeichert sein. Das erfordert vorherige Planung und Vorbereitung wie z.B bei den Disk Maps die ich in napp-it nutze. Ich weiß nicht ob TrueNas ähnliches integriert hat.



Meist geht die Anzeige der fehlerhaften Platte nur wenn ein Problem erkannt ist, die Platte sich aber noch am Kontroller meldet,

 

[mrpasc]

Gibt es bei TreuNAS m.W. nur für die Enterprise Version und auch nur für von iX gekaufte Modelle…

 

[Elmario]

OK. Dann läuf es wohl auf einen ganz normalen Big Tower mit ECC-tauglicher Hardware und guter Kühlung hinaus. wobei ich mir vorher mal ansehen werden, was ix da zu bieten hat, dieser "TrueNAS Mini" sieht ja noch halbwegs bezahlbar aus und hat ein Standgehäuse + Gehäuse-LEDs für die Laufwerksidentifikation... Versuche nun herauszufinden, welche Krawallmacher in dem Gehäuse stecken und ob man wirklich noch enterprise für die LEDs benötigt.

Beitrag automatisch zusammengeführt: 04.05.2023

Hm, leider ja..

View Enclosure Screen (Enterprise Only)

This article provides information on the TrueNAS **View Enclosure** screen available only on compatible SCALE Enterprise systems, and the information you can find there.

www.truenas.com

Damit hat sich das ja dann erledigt. .

 

[Elmario]

Oder auch nicht: Ich bekam gerade gesagt, dass bei den ix-eigenen Geräten nicht die Enterpriseversion benötigt würde um funktionierende LaufwerksID zu haben. Nun versuche ich das noch bestätigt zu bekommen!
Allerdings würde das Budget auch mit dem kleinsten Server um ca. 1000€ überschritten, das muss ich nochmal gründlich überlegen.

 

[gea]

Das Problem einer Diskmap ist doch folgendes.
Ein bestimmter Platteneinschub hängt am ersten Kabelanschluß eines Controllers z.B. c0t0d0 oder sda. Benutzt man das als ZFS Platten-Kennung ist die Zuordnung eindeutig. Möchte man aber WWN Identifikation wie t5000CCA2732389E9, die unabhängig vom Controlleranschluss ist und eine Platte weltweit normiert und eindeutig identifiziert, auch wenn man sie woanders (anderer Controller, anderer Einschub, anderer Server) einschiebt, so muss man irgendwie den Platteneinschub mit der WWN verknüpfen. Entweder muss man das individuell anlernen (wie ich das in napp-it mache) oder man muss einen Mechanismus haben, der auf einer ganz speziellen Hardware (Controller und Einschubsanordnung) und deren Möglichkeiten aufsetzt und dann halt nicht mit beliebiger Hardware funktioniert.

 

[Elmario]

Soweit ich das auf diesem Screenshot sehe:


scheint es in diesem Fall ja nicht nur nach der Bezeichnung gehen zu können, sondern auch nach der Position (also egal wie die oberste HDD benannt ist, soltle die oberste LED leuchten falls diese gemeint ist.) Oder würde diese grafische Darstellung möglicherweise auch vertauscht sein?
Vielleicht ist dieser Screen eine Spezialität, die nur für die IX-Geräte so existiert k.A.

 

[gea]

Das ist ja gerade das was ich versucht habe zu erklären. Ein 8 Kanal Festplattenkontroller hat 8 Anschlüsse. Wenn da Festplatten dranhängen, so melden die sich meist die Platte am 1. Anschluß mit sda bis sdh beim 8. Anschluß. Das bleibt konstant so solange man die Backplane nicht neu verkabelt oder neu installiert und ist bei einem Heimserver auch ausreichend.

Wenn man in obigem Beispiel eine Platte vom ersten Slot in den zweiten verschiebt, so ändert sich ihre Kennung z.B. von sda nach sdb.

Wenn man in größeren Installationen arbeitet, ist es wichtiger eine Festplatte eindeutig zu identifizieren egal an welchem HBA oder Kontrolleranschluß die hängt und dazu gibts WWN. Die bleibt auch konstant aber dann gibts keine Zuordnung mehr an welchem Kontrollerkabel die hängt. Dann muss man andere Methoden haben, die zu identifizieren oder LEDs einzuschalten.
Bei Nutzung von WWN steht man vor dem Problem, dass die Einschübe z.B. Einschub-1 bis Einschub-8 nummeriert sind. Egal wo man eine Platte einschiebt, überall zeigt sie die gleiche WWN. Fällt jetzt aber eine Platte mit WWN t5000CCA2732389E9 aus, stellt sich die Frage, in welchem Slot steckt die nun? Dafür muss man manuell eine Liste führen oder eine Map mit WWN <-> Slot haben.

Man könnte auch die Seriennummer der Platte nehmen, die ist aber nicht normiert. Unterschiedliche Programme zum Auslesen können leicht abweichende Ergebnisse liefern.

 

[Elmario]

Na das brauche ich ja nicht. Also wäre so ein Gerät schon gut geeignet. Nur wegen des Preises muss ich nochmal überlegen. Wobei der schon deutlich niedriger ist, wenn man eigene Festplatte verbaut. Die Website rechnet ja ca. 550€ pro 18TB und die Toshiba 20TB kann man für 300€ bekommen.