Datengrab mit 8 Festplatten, RAID-Z2 und TrueNAS

[vmeyer]

Hallo,

ich möchte mir ein NAS als Datengrab mit TrueNAS und 8 Platten in einem RAID-Z2 bauen. Jede Platte hat eine Kapazität von 18 TB, verfügbar werden dann also 108 TB sein.
Ich habe versucht, mir einen Überblick zu verschaffen, welche Hardware ich benötige. Finde es aber nicht einfach, wenn man nicht so tief in der Materie steckt und hoffe auf ein paar hilfreiche Hinweise.
Aufgrund von ZFS möchte ich ECC-RAM verwenden. Soweit ich weiß, hat Intel aber die ECC-Funktionalität von i3-Prozessoren und darunter ab Comet-Lake weggelassen. Bleibt also Coffee-Lake, da ich denke, dass ich einen Xeon nicht brauche.
Auf Grundlage dessen wäre Folgendes meine Auflistung von Komponenten:

• Prozessor:
  Wie bereits beschrieben, habe ich einen Coffee-Lake Prozessor (i3 oder darunter) ins Auge gefasst. Nachteil scheint zu sein, dass die Verfügbarkeit nicht (mehr?) so gut ist. Mir scheint es, dass man einen i3 besser bekommt als einen Pentium Gold. Reicht für ein Datengrab grundsätzlich ein Pentium Gold oder sollte es wegen ZFS eventuell sowieso eher ein i3 sein? Benötigt eine Verschlüsselung des ZFS-Volumes einen besseren Prozessor? Ist für ein NAS ein i3 ohne Grafik (also die F-Version) nicht eigentlich ausreichend, sofern das Motherboard IPMI unterstützt?
• Motherboard:
  Da ich keine Erweiterungskarten einsetzen wollte, möchte ich ein Motherboard mit 8 SATA Anschlüssen. Hier bin ich auf Supermicro gestoßen, und zwar auf das X11SCA-F oder das X11SCH-F. Beide unterstützen wohl IPMI und haben 8 SATA-Ports. Hat jemand bereits Erfahrungen mit den Boards? Gibt es eine Alternative mit einem LAN-Port, der mehr als 1 GbE?
• TrueNAS:
  Ich möchte gerne TrueNAS als OS nutzen. Dabei habe ich mich gefragt, wie ich es installieren kann und worauf. Sofern ich einen Prozessor ohne Grafik kaufen sollte: Funktioniert die Installation mit obigen Motherboards mittels IPMI oder muss eventuell IPMI erst im BIOS/UEFI aktiviert werden, wofür ich zuerst eine Grafikausgabe benötigen würde? Beide Boards haben einen USB-Port onboard. Kann ich diesen benutzen, um TrueNAS auf einen USB-Stick zu installieren oder würdet Ihr mir zu einer SSD raten, die ich z.B. als M2 anschließen kann? Würde diese SSD einen der 8 SATA-Ports belegen?
• RAM:
  Wie viel RAM benötige ich für 108 TB im RAID-Z2? Habe mal gelesen, dass 1 GB RAM pro 1 TB die Faustregel sein soll. An anderer Stelle, dass diese Faustregel eher bei Deduplizierung zutrifft und man ansonsten auch mit weniger RAM auskommt. Sofern ich bei einem Coffee-Lake i3 (oder darunter) bleibe, ist man hier wohl sowieso auf 64 GB RAM beschränkt. Ist die Frage auch abhängig davon, ob ich das ZFS Volume verschlüsseln möchte?
• Netzteil:
  Da bin ich bislang ziemlich blank. Im NAS-Bauvorschlag-Thread 2020 wird das CORSAIR RM550x genannt. Reicht das, um 8 Festplatten etc. zu versorgen bzw. hat es überhaupt Stromversorgungskabel für 8 Platten? Gibt es Alternativen?
• Gehäuse:
  Hier habe ich keine großen Ansprüche. Hot Swapping brauche ich nicht. Ich denke an einen normalen Midi-Tower. Hat dafür jemand einen Tipp?

Ich möchte mich bereits ganz herzlich für die Hilfe bedanken!

Viele Grüße
Valentin

 

[Gen8 Runner]

Da sich der Topic mit vielen hier bereits besprochenen Vorschlägen deckt, hier in Kürze die Würze:
- X11SCA-F ist super dafür. Der On-Board SATA Controller funktioniert auch durchgereicht zu TrueNAS (bzw. natürlich auch bei nicht virtualisiertem TrueNAS) hervorragend

- CPU , such konkret welche raus und schlage sie uns vor...Notfalls auf der Intel-Seite checken, ob der Prozessor ECC unterstützt. Ich nutze den E21XXG, aber solange der Prozessor ECC UND ausreichend RAM unterstützt, eigentlich schnurz welchen du nimmst (würde ab 4000 Passmark Punkten aufwärts gehen). Und definitiv eine mit AES-NI Unterstützung.

- IPMI hat seinen eigenen Grafikchip. Nagel mich nicht drauf fest, aber müsste also auch ohne Grafikkarte funktionieren, per IPMI Viewer (egal ob Java-Web-basiert oder in Supermicros IPMI-Viewer Software) über die Board-eigene ASPEED Grafikkarte

- Kleine SSD nutzen (X11SCA-F hat 2 Steckplätze für NVME SSD's), im Handbuch nochmal schauen, ob sich der untere der NVME Steckplätze die Lanes mit einer PCIe Schnittstelle teilt, die du eventuell nutzen wolltest

- 1GB RAM war mal eine Grundsatzaussage...Ich betreibe auch 72TB mit 16GB RAM für TrueNAS und die Gbit Verbindung wird damit (trotz Verschlüsselung) bis aufs letzte Bit ausgereizt. Kein High-Performer, aber 1GB RAM pro TB ist -sofern keine Deduplizierung genutzt wird- überflüssig. 16GB, eher 32GB sollten es bei 108TB aber schon sein, ZFS liebt RAM.

- Netzteil hat lt. Geizhals 6 SATA Anschlüsse, aber mit Adaptern geht natürlich einiges (sofern man die denn nutzen möchte, siehe häufige Diskussionen hier zu mieser Qualität und Brandgefahr). Sonst keine schlechte Wahl, würde mindestens Gold nehmen, wenn nicht sogar Platinum. Ob du das gewählte Netzteil (mit Adaptern) nutzt, bleibt somit dir überlassen. Funktionieren tut es definitiv und die Leistung reicht satt...Nach Anlaufstrom der Festplatten rechne mit 60 Watt IDLE.

- Gehäuse: https://geizhals.de/?cat=gehatx&xf=536_8
Nanoxia Deep Silence nutze ich. Platten bleiben kühl, leicht schallgedämmtes Gehäuse, günstig und erfüllt seinen Zweck

Würde mir desweiteren Gedanken darüber machen, ob in Zukunft eventuell Virtualisierung mit ESXI oder dgl. in Frage kommt. Wenn ja, dann gleich nen kräftigeren Prozessor nehmen und mehr RAM einplanen (auch bei der Prozessorwahl). Wenn erstmal der Fileserver steht, kommt häufig der Drang nach mehr von ganz alleine.

Und Danke für die übersichtliche Aufbereitung!

 

[Holt]

Beide unterstützen wohl IPMI und haben 8 SATA-Ports. Hat jemand bereits Erfahrungen mit den Boards? Gibt es eine Alternative mit einem LAN-Port, der mehr als 1 GbE?

Laut Geizhals gibt es in der Generation 2 ASRack Boards mit 10GBase-T ab 367€ mit Intel X550 NICs Man muss immer schauen welchen NIC man verbaut bzw. welcher verbaut ist und ob FreeNAS den unterstützt.

Aber schau Dir auch mal die Atom C3000 und Xeon-D Systeme an, die unterstützen ECC RAM, gerade bei den Xeon-D 2100 Boards gibt es einige mit mehr als die 6 SATA Ports haben die bei den Xeon-D 1500ern üblich waren. Speziell bei Xeon-D 2100 sollte es mit der SW kaum Probleme geben, es sind intern Skylake-SP CPUs mit Lewisberg Chipsatz in einem Chips, also die im Grunde die Serverhardware die seit 2017 überall im Einsatz ist.

Supermicro hat für beide Linien viele Boards im Angebot, z.B. das X11SDV-4C-TLN2F mit dem D-2123IT 4 Kerner, 8 SATA Ports, zwei 10GBase-T Ports und IPMI. Hier ist ein Review davon. Servershop Bayern verlangt 509€ dafür, aber ich weiß nicht, ob da die Umsatzsteuer schon drin ist, GH listet es ab 592€. Es gibt auch noch andere Varianten, wie das X11SDV-8C-TLN2F mit dem Xeon-D-2141I 8 Kerner, die kosten dann aber auch mehr.

Bei Atom z.B. das A2SDi-H-TF mit dem C3758 8 Kerner, 12 SATA 6Gb/s Ports, zwei 10GBase-T Ports und IPMI interessant. Das iXsystems TrueNAS Fertig-NAS basiert auch auf einem Atom C3000, wenn auch dem kleineren C3558, von den Treibern her sollte es da also auch keine Probleme geben. Geizhals listet es ab 533€ und die Verfügbarkeit ist bei beiden Plattformen immer schlecht, aber beide sind noch aktuell und es gibt nicht wie die alten Comet Lake schon die Nachfolger der Nachfolgegeneration.

Der billigste als verfügbar gelistete i3 für C246, der 8300, ist ab 114€ gelistet, zusammen mit einem der beiden Boards mit 10GBase-T Onboard wäre das günstiger, aber wenn man ein einfaches Board und eine aktuelle X550 Dual Port 10GBase-T Karte von Intel (ab 240€) (kein China Fake) und das Board oder und die CPU ) zusammennimmt, landet man in der Summe locker ähnlich hoch und dazu unterstützen beide genannten Plattformen RDIMM RAM Riegel, die Atom C3000 daneben auch UDIMM, während die Xeon-D kein UDIMM sondern alternativ nur LRDIMM untersützten, also nur Server RAM. Dies dürfte nach erscheinen von Sapphire Rapids und dem Wechsel auf DDR5 gebraucht günstig zu haben sein und ZFS mag ja gerne viel RAM, da man es eben nicht in den Boards der Mainstreamplattformen wie dem S.1151 verbauen kann, die unterstützen nämlich nur UDIMM. Aber schon jetzt kostet DDR4 RDIMM ab 3,744€GB, während man für DDR4 ECC UDIMM mindestens 5,244€/GB bezahlen muss, was bei viel RAM schon einen Unterschied macht.

Beachte übrigens das die Tatsache das die CPU Kühler keine Lüfter haben, nicht bedeutet das sie automatisch ohne kühlenden Luftstrom auskommen, die sind halt für den Einbau in Servergehäusen gedacht und da übernimmt dies i.d.R. eine Reihe paralleler Lüfter in der Mitte des Gehäuses und selbst kleine Gehäuse wie das Supermicro E300 haben 3 dicke Lüfter für die Kühlung, wie man ab hier in diesem Video sieht. Da sieht man noch etwas, was bei Supermicro Xeon-D Boards wichtig ist, was auch in der Anleitung steht aber die liest ja kaum jemand: Die haben teilweise sowohl den Standard ATX Stromstecker als auch die keinen 4 oder 8 poligen Zusatzstecker, wie sie bei normalen Boards für die Spannungsversorgung der CPU sind, aber anderes als bei den normalen Mainboards darf man bei den Supermicro Xeon-D Boards nur einen davon verwendet und nie bei gleichzeitig! Das liegt daran, dass sie bei Versorgung mit nur 12V über den "Zusatzstecker" eben die 3,3V und 5V für M.2 Slots, USB und SATA Laufwerke selbst erzeugen und wenn die Spannung einer Schiene dann von der des Netzteil zu sehr abweicht, brennt deren Spannungswandler durch! Also am Besten schon vor dem Kauf das Handbuch runterladen und aufmerksam lesen, da steht immer die Hinweis und auch Einschränkungen drin, etwa wenn SATA Ports wegfallen wenn z.B. ein M.2 Slot belegt ist, die man sonst meistens nicht sieht.

 

[Holt]

Hier habe ich keine großen Ansprüche. Hot Swapping brauche ich nicht.

Da solltest Du aber anspruchsvoller sein, man ärgert sich hinterher immer wieder wenn man mal wieder was schrauben muss und ich würde externe Einschübe und eine Backplane internen immer vorziehen, denn dann muss man nur einmal alles verkabeln und kann HDDs tauschen oder hinzufügen, ohne das Gehäuse überhaupt nur öffnen zu müssen. Nach dem zweiten mal Fummeln mit den Kabeln wenn dies mal nötig ist, weißt Du was für ein Vorteil das ist. Ich habe das SilverStone Case Storage DS380 und bin damit sehr zufrieden, es ist leise und meine 10TB IronWolf werden auch nicht zu warm. Wenn man mehr Platz hat, dann könnte man auch das SilverStone Case Storage CS380 V2 nehmen, welches die gleichen Laifwerkseinschübe hat und sogar ein wenig günstiger ist, obwohl man dort auch noch zwei 5¼" Schächte hat, wo man ggf. weitere Platten unterbringen kann.

Deren Einschübe sind recht billig gemacht, aber Hot-Swap ist ja nicht dazu gedacht ständig die HDDs zu wechseln, auch wenn manche dies für ihre Backups machen, sondern dazu eben eine HDDs einfach aus- oder einbauen zu können ohne den Rechner runterfahren zu müssen, was aber natürlich vor allem in Produktivumgebungen wichtig ist. Aber alleine der Vorteil es einmal zu verkabeln und dann (bis zum nächsten Mainboardupgrade) nie wieder das Gehäuse öffnene zu müssen (wenn man eines mit Staubfiltern wie das DS380 hat, bei CS380 V2 weiß ich es gerade nicht), sollte es einem wirklich wert sein. Stell Dir nur vor Du musst eine HDD tauschen weil sie ausgefallen ist, dann löst sich dabei ein Stecker bei einer oder zwei anderen HDD und aus dem kompromitierten RAID / Pool wird ein korrupter, was machst Du dann? Erstmal hat Du ein großes P im Gesicht, weil das letzte Backup mal wieder viel zu lange her ist (RAID / Pool ersetzen keine Backups!) und dann machst Du womöglich so viele Fehler bevor Du den Fehler findest, dass Du wirklich auf das Backup zurückgreifen musst.

Vergiss auch nicht, was alleine schon die Platten kosten, wenn Du 108TB mit 8 HDDs und RAID-Z2 erreichen willst, brauchst Du ja 18TB HDDs und die kosten ab 396€ pro Stück, also mindestens 3168€ für alle 8. Da sollte man am Rest auch nicht geizen bzw. am falschen Ende sparen und selbst wenn Du die HDDs aus den WD MyBook 18TB ausbauen willst wird es nicht billiger, da die auch ab 396€ kosten.

 

[v3nom]

Welche Kompression und Verschlüsselung willst du denn nutzen? Die meisten CPUs haben dafür Befehlssätze, um dies nebenbei zu machen.
Supermicro hat auch SoC Boards (aufgelötete CPU) mit Xeon 15xx, 21xx oder Atoms die ECC und 8+ SATA können.
Gehäuse ohne HotSwap z.B eins von Fractal, mit Hot Swap und ggf Backplate: Silverstone CS381.

18TB HDDs kommen öfters gerade als WD My Book Duo mit 2x18TB WD Red Pro als Deal raus. Bestellung bei Amazon.es aber Versand aus DE. Garantie und Ausbau voll gegeben.

 

[Holt]

und ggf Backplate: Silverstone CS381

Das Silverstone CS381 kostet ab €299, es hat zwar besssere Hot-Swap Rahmen als die von mir genannten, aber wenn man eigentlich sowieso keinen Wert darauf legt, dann ist dies auch kein Argument welchen den Aufpreis rechtfertigt, zumal wenn eigentlich ein Tower gewünscht wird.

Supermicro hat auch SoC Boards (aufgelötete CPU) mit Xeon 15xx, 21xx oder Atoms die ECC und 8+ SATA können.

Habe ich doch erwähnt.

18TB HDDs kommen öfters gerade als WD My Book Duo mit 2x18TB WD Red Pro als Deal raus.

Ja Angebot kann man immer schauen und hoffen, aber im Moment kostet das MyBook Duo 36TB (2x18TB Red) ab 819€ und ist nur bei einem Anbieter gelistet. Wobei im Moment die billigste 18TB HDD bei GH auch ab 429€ gelistet wird, der Mist mit den "proof ofs space" Cryptos scheint schon Auswirkungen auf die Preise zu haben.

 

[Digi-Quick]

Zum Gehäuse:
sichlerlich kann man auf Hotswap verzichten und ein einfaches Towergehäuse nehmen
ABER:
Ohne (vernünftige) Backplane ist kein staggered SpinUP möglich, da hierfür der Pin 11 der Stromversorgung offen/unbeschaltet sein oder auf High Level (z.B. für die Ansteuerung einer Activity-LED) liegen muß. Bei den SATA Stromsteckern der Nedtzteile liegt Pin 11 aber immer noch auf Masse (nach älterer SATA Spezifikation) und das wird isch auch nicht ändern.
mit staggered Spinup würdest du locker mit einem 300 W Netzteil auskommen, ohne braucht man schon mind- 350-400W (je nach Gesamtaufbau)
(8*2A = 16 A >> 16 A*12V = 196 W nur für die HDDs beim Anlauf auf der 12 V Schiene)
Größeres Netzteil bei gleicher Grundlast ist i.d.R. ineffizienter (ein kleineres Bronze NT ist meist effizienter als das größere Gold)

NAS/Server Bauvorschläge / konkrete Zusammenstellungen (ggf. mit Anforderungen) 2020

Moin, Da die Bauvorschläge im NAS/Server Hardwareguide 2020 in den Diskussionen ein wenig untergehen, denke ich daß es Sinn macht diese gezielt in einen eigenständige Thread auszulagern. Kritiken, Diskussionen etc. dazu dann bitte weiterhin in NAS/Server Hardwareguide 2020. Man kann sich ja...

www.hardwareluxx.de

 

[underclocker2k4]

Bei den SATA Stromsteckern der Nedtzteile liegt Pin 11 aber immer noch auf Masse (nach älterer SATA Spezifikation) und das wird isch auch nicht ändern.

Gibt es da Aussagen zu den selbstkonfektionierbaren Steckern?

 

[Digi-Quick]

Gibt es da Aussagen zu den selbstkonfektionierbaren Steckern?

Keine!

Ich hatte diverse Netzteilhersteller per angeschrieben und nachgefragt, ob und ggf. wann diese die aktuelle SATA Spezifikation bei den Stromsteckern umsetzen.
Einzig von BeQuiet habe ich Antwort bekommen - Nein und nicht geplant. Mit der weiteren Information, daß Systeme bei denen staggered Spinup relevant ist i.d.R. entsprechende Backplanes haben. (sprich der "Kostenoptimierende" Homeuser ist hier tendenziell eher uninteressant.)

Bei 8 HDDs vielleicht noch nicht ganz so wichtig ab 12 HDDs wirds kritisch, da man dann auch ggf. Netztteile mit Single Rail nehmen muß.
Multirail liefern auf der HDD-Rail oftmals nicht genug Strom, die Rails für GPU liegen derweil brach weil keine GPU verbaut

 

[vmeyer]

Hallo,

vielen Dank für die nützlichen Hinweise und Anmerkungen. Es wird mindestens das Wochenende dauern, bis ich mir die ganzen Tipps hab durch den Kopf gehen lassen können.

Ich melde mich dann wieder hier.

Viele Grüße,
Valentin

 

[Trambahner]

Falls Du noch AMD in Betracht ziehen willst, schau Dir das Asrock X570D4U (-2L2T) zusammen mit einem 5600X an. Das 2L2T hat auch 2x 10GB Intel X550-Ports drauf.
Das Ding rennt auch mit Renoir (z.B. einem Pro 4350G als sparsame CPU) und dadurch mit ein paar Watt weniger Idle Leistungsaufnahme, Du hast dann aber halt nur PCIe3.0 statt PCIe4.0. Bei dem Link zum Chipsatz kann das, je nach Serverbestückung und Auslastung, zum Bottleneck werden.

Nachteil AMD: Der Onboard-Sata kann in ESXI nicht an eine Storage-VM durchgereicht werden. Für solche Fälle braucht man einen HBA (ich nutze einen 9400-16i)
Vorteil AMD: bis zu 16 hochtaktende Kerne auch am AM4-Sockel, falls mal Rechenleistung benötigt wird und dies mit sehr guter Energieeffizienz. Das X570D4U (-2L2T) unterstützt OC von Cpu und Ram!
D.h. es gibt einen Upgrade-Pfad

 

[Gen8 Runner]

Nachteil AMD: Der Onboard-Sata kann in ESXI nicht an eine Storage-VM durchgereicht werden. Für solche Fälle braucht man einen HBA (ich nutze einen 9400-16i)

Auch bei den EPYC?
Frage, da ich auch überlegt hatte auf Epyc umzusteigen, gerade wegen des OnBoard HBA.

 

[Ceiber3]

Glaube bei AMD geht das allgemein nicht.

 

[Holt]

Nachteil AMD: Der Onboard-Sata kann in ESXI nicht an eine Storage-VM durchgereicht werden. Für solche Fälle braucht man einen HBA (ich nutze einen 9400-16i)

Was dann die Idle Leistungsaufnahme wieder deutlich ansteigen lässt. AM4 würde ich für Windows oder Linux nehmen, aber nicht für exotischere Betriebssysteme.

 

[danielmayer]

Beim Epyc geht das ganz hervorragend!
Mein H11SSL zeigt für seine 16 onbaord- SATA drei Controller an. Ich habe bislang nur einen mit den 2xMini-SAS-Ports durchgereicht und das klappt tipptopp, inkl reboots der VM.
Edit: bei Proxmox... Esxi hatte ich nicht probiert... Kleine Einschränkung meiner Aussage

 

[vmeyer]

Hallo,

sorry für die sehr späte Rückmeldung von mir. Es hat mich einfach noch eine ganze Zeit gekostet, mir Gedanken über die einzelnen Komponenten zu machen.

Ich möchte mir keinen Xeon-D holen, da das günstigste Angebot (für X11SDV-4C-TLN2F) bei über 580 EUR liegt und dabei nicht mal ein M.2 Anschluss für das OS vorhanden ist. Weiter bin ich von 10GB-LAN abgerückt. Neben einem Xeon-D-Board bliebe nämlich da wohl nur das ASRock Rack E3C246D4I-2T für über 370 EUR. Auch ganz schön happig und dafür "nur" OcuLink und SO-DIMM. 10GB-LAN wäre bei mir auch eine Investition in die Zukunft gewesen. Bislang ist mein Heim-LAN dafür nicht ausgerüstet. Daher werde ich, wenn es denn mal soweit ist, 10GB-LAN per Karte nachrüsten, sofern der Server überhaupt bis dahin bestehen bleibt. Und bis dahin fallen eventuell die Preise für 10GB-Karten, so dass der Aufpreis womöglich gar nicht groß wäre.

Insgesamt sieht meine Komponentenwahl bislang wie folgt aus:

• Mainboard:
  Supermicro X11SCH-F
• Prozessor:
  Intel Xeon E-2224 (und somit die Option auf 128 GB RAM)
• Kühler:
  Da ich nicht plane, den Intel boxed Lüfter zu nehmen, werde ich mir noch einen Prozessorlüfter holen. Noctua hat immer ganz gute Kritiken. Ich hatte den NH-D9L ins Auge gefasst. Laut https://ncc.noctua.at/cpus/model/Intel-Xeon-E-2224-433 sollte er zum Xeon passen. Was meint ihr?
• RAM:
  2x Kingston Server Premier DIMM 16GB, DDR4-2666, CL19-19-19, ECC (KSM26ED8/16ME), insgesamt somit zum Start 64 GB
• Festplatten:
  8x Western Digital WD Red Pro 18TB
• M.2 für TrueNAS:
  Hier dachte ich an eine Western Digital WD Blue SN550 NVMe SSD, wahrscheinlich mit 250 GB. Hat ganz gute Kritiken und Form passt für das Mainboard. Ok?
• Gehäuse:
  Fractal Define R5, wofür ich mir noch einen zusätzlichen Fractal Design Dynamic GP-14 Lüfter für die Front zur Kühlung der Platten holen werde. Ich habe lange über das vorgeschlagene CS380 nachgedacht. Laut Meinungen im Netz ist aber die Verarbeitung wohl nicht sonderlich gut und eine preislich attraktive Alternative mit Hot Swapping habe ich einfach nicht gefunden. Klar wäre es schön, diese Funktion zu haben, aber ich habe nicht vor, diese aktiv zu nutzen und sollte eine Platte ausfallen, werde ich den Umweg über Gehäuseöffnung und Kabel ablösen nehmen.
• Netzteil:
  Hier bräuchte ich wohl am meisten Unterstützung. Soweit ich es richtig verstanden habe, sollten 450W reichen. Geizhals hat mir für 8x SATA das be quiet! Straight Power 11 450W ausgespuckt. Kabel für 8 SATA liegen wohl bereits bei. Was denkt ihr?

Ich möchte mich nochmal für die vielen, sehr hilfreichen Anregungen von euch allen bedanken. Sie haben mir sehr geholfen. Sofern ihr mir zur aktuellen Konfiguration eine Rückmeldung geben könntet, würde ich mich sehr freuen.

Beste Grüße,
Valentin

 

[Firebl]

Bei dem Geld was du für Festplatten aufwendest würde ich defintiv eine 10-G-Ethernet-Karte verbauen. Wenigstens als P2P-Verbindung zu deinem bisherigen PC oder deiner Datenquelle. Wenn du nur 10% deines Speicherplatzes füllen möchtest bist du mit 125 MB/s tagelang am Kopieren.

 

[Holt]

10GB-LAN wäre bei mir auch eine Investition in die Zukunft gewesen. Bislang ist mein Heim-LAN dafür nicht ausgerüstet.

Es muss ja nicht das ganze Heimnetzwerk auf 10GbE aufgerüstet werden, sondern:

Wenigstens als P2P-Verbindung zu deinem bisherigen PC oder deiner Datenquelle.

So habe ich es auch, nur der PC und der Heimserver mit Xeon-D haben eine 10GBASE-T Direktverbindung und der Rest ist Gigabit. Damit kann ich neue Dateien schnell auf mein auch als NAS genutzten Heimserver kopieren, die anderen spielen die dann ja nur ab und dafür reicht Gigabit locker. Vorher war es echt frustrierend zu sehen, dass es länger gedauert hat die Dateien auf das alte NAS/den alten Heimserver zu kopieren als sie auf einer USB3 HDD zu sichern.

 

[Digi-Quick]

[*]Prozessor:
Intel Xeon E-2224 (und somit die Option auf 128 GB RAM)
[*]Kühler:
Da ich nicht plane, den Intel boxed Lüfter zu nehmen, werde ich mir noch einen Prozessorlüfter holen. Noctua hat immer ganz gute Kritiken. Ich hatte den NH-D9L ins Auge gefasst. Laut https://ncc.noctua.at/cpus/model/Intel-Xeon-E-2224-433 sollte er zum Xeon passen. Was meint ihr?
Beste Grüße,
Valentin

Da hättest du vermutlich erstmal komisch aus der Wäsche geschaut. die Xeon Boxed haben keine Lüfter dabei


P.S. meine Anfrage an Supermicro von vor einem Jahr:
"Hello Dears,

I'm wondering, that there is no actual Coffeelake (So1151 /So1151 -v2) Single CPU Servermainboard with SAS-Controller and 10GB NIC - as a successor of the "X11SSH-CTF" for the Skylake/Kabylake (So1151) based Mainboard . Dual-Socket Mainboards are available, but not really applicable for my demand (High Capacity ZFS Based NAS)

Are there any Plans to issue such a Mainboard in the near Future?"

ergab folgende Antwort:

"This is planned for 2021."

Da So1151v2 eigentlich auch schon wieder obsolet ist, denke ich mittlerweile, daß da wohl doch nichts mehr kommen wird....
Ich habe mein neues NAS jedenfalls noch auf Kabylake Basis aufgebaut.

 

[vmeyer]

Ich glaube auch nicht daran, dass von Supermicro ein entsprechendes Board noch kommt. Danke für die Info!

 

[vmeyer]

Habe gerade herausgefunden, dass Supermicro Board und Noctua Lüfter womögich Probleme haben, da die Lüfter zu niedrig drehen (https://noctua.at/de/productfaqs/productfaq/view/id/127/). Hat hierzu jemand Erfahrung mit dem X11SCH-F? Wollte mir als CPU-Lüfter eigentlich den NH-D9L holen.

 

[v3nom]

Grundsätzlich sind die SM Boards auf kleine bzw schnell drehende Lüfter ausgelegt und die Lüftersteuerung regelt langsame Lüfter immer wieder hoch, da es die Angst bekommt das die Lüfter zu langsam drehen. Du kannst dies per IPMI und entsprechender Befehle anpassen, aber sonst Lüfter auf 100% laufen lassen bzw. ohne Regelung und ggf. mit einem Low Noise Adapter.
Wie leise soll dein System denn sein?

 

[oNyX`]

Habe gerade herausgefunden, dass Supermicro Board und Noctua Lüfter womögich Probleme haben, da die Lüfter zu niedrig drehen (https://noctua.at/de/productfaqs/productfaq/view/id/127/). Hat hierzu jemand Erfahrung mit dem X11SCH-F? Wollte mir als CPU-Lüfter eigentlich den NH-D9L holen.

Ich hab sowohl das X11SCH-LN4F als auch X11SCL-F einmal den Noctua U9S (selber Fan wie beim D9L) als auch den L9I und kompletten Systeme voll mit Noctuas. Mit angepasstem IPMI (ist permanent außer man macht Werksreset beim BMC) und passendem Fan Profile (HeavyIO fuer FanA/B) absolut stressfrei, kein Fanramping.

Case Fans sind von S12A bis hin zu A8 und den Redux Parts.

Hier einmal 3x S12A (1 direkt FanA, 2 via Y-Kabel an FanB) als Middlewall, Fan1 A9 - CPU, Fan2 A14 fuer PCIe, Fan3/4 A8 als Exhaust

Einfach nen Livelinux + ipmitool starten und entsprechend anpassen + BMC auf HeavyIO und gut ist.

ipmitool sensor thresh FAN1 lower 0 100 200
ipmitool sensor thresh FAN2 lower 0 100 200
ipmitool sensor thresh FAN3 lower 0 100 200
ipmitool sensor thresh FAN4 lower 0 100 200
ipmitool sensor thresh FANA lower 0 100 200
ipmitool sensor thresh FANB lower 0 100 200

ipmitool sensor thresh FAN1 upper 2100 2200 2300
ipmitool sensor thresh FAN2 upper 1600 1700 1800
ipmitool sensor thresh FAN3 upper 2300 2400 2500
ipmitool sensor thresh FAN4 upper 2300 2400 2500
ipmitool sensor thresh FANA upper 1400 1500 1600
ipmitool sensor thresh FANB upper 1400 1500 1600

 

[vmeyer]

Vielen Dank noch für die Rückmeldungen. Mittlerweile habe ich das System zusammengebaut. Der Noctua-Lüfter wird als critical eingestuft. Hier muss ich noch die Werte anpassen.

Was ich mich noch gefragt habe: Soll ich TrueNAS im UEFI- oder im Legacy-BIOS-Modus installieren? Ich habe die A2000 NVMe von Kingston verbaut, die als Boot-Medium dient. Ich denke, dass sie keinen Legacy Option ROM besitzt, hatte aber trotzdem den Legacy-BIOS-Modus versucht und es hat funktioniert. TrueNAS läuft soweit. Welchen Modus nutzt ihr denn?

 

[Holt]

Ich habe die A2000 NVMe von Kingston verbaut, die als Boot-Medium dient. Ich denke, dass sie keinen Legacy Option ROM besitzt, hatte aber trotzdem den Legacy-BIOS-Modus versucht und es hat funktioniert.

Was für ein Legacy Option ROM? Die Frage ist doch nur, ob das UEFI auch im Legacy Modus ein NVMe Modul hat oder nicht, die meisten haben es nicht aber Dein Board hat ja offenbar eines, da es bei Dir ja trotzdem funktioniert hat.

 

[vmeyer]

Ach so... Ich hatte hier gelesen:

"Ein Booten von NVME SSDs im Legacy Mode (CSM) ist nur dann möglich, wenn die NVME SSD über ein Legacy Option ROM verfügt. Dies ist nur bei manchen älteren NVME SSDs der Fall."

Daher dachte ich, es wäre abhängig von der NVMe und nicht vom UEFI...

 

[Holt]

Die einzige NVMe SSD von der man auch booten kann, wenn das BIOS/UEFI kein NVMe Modul (ggf. bei der Einstellung) besitzt, ist die Samsung 950 Pro und sonst gibt es keine die das erlaubt. Der Grund ist aber kein Option ROM, dies teilt dem BIOS nur mit, dass das gefundene PCIe Gerät eine SSD ist, mehr nicht. Die 950 Pro dürfte dies können, weil deren Controller auch in der SM951 verwendet wurde und die gab es in Ausführungen mit den AHCI Protokoll, also dem welches auch SATA SSDs nutzen und solchen die schon das NVMe Protokoll unterstützt haben. Es gab also für den Controller je eine AHCI und eine NVMe Firmware und dahr habe ich die Vermutung, dass auch die 950 Pro das AHCI Protokoll versteht und es dem BIOS daher möglich ist den Bootloader des OS von mir mit AHCI Befehlen zu laden.

Die Nachfolger können das alle nicht mehr, für deren Controller gab es aber auch nur eine FW mit NVMe Protokoll und auch sonst kenne ich keinen PCIe SSD Controller für den es sowohl eine FW für das AHCI als auch das NVMe Protokoll gab. Mit einem Legacy Option ROM dürfte dies also nichts zu tun haben, sonst hätte man dies ja auch bei anderen SSDs implementieren können und wie sollte dies auch gehen? Wie sollte ein ROM auf der SSDs, was sowieso kein RAM Baustein sondern eine FW Funktion ist, dem BIOS helfen den Bootloader von der SSD zu laden? Soll da ein NVMe Modul für das BIOS drin sein, oder wie? Dann müsste es ja für jedes mögliche BIOS so ein Modul geben, was ja total unrealistisch ist. Trotzdem liest man den Quatsch mit dem Legacy Option ROM immer wieder, aber keiner der den Mist schreibt hat je erklärt wie das angeblich funktioniert oder warum nur die 950 Pro so ein tolles ROM hat, aber selbst die Nachfolgemodelle von Samsung nicht.

 

[vmeyer]

Besten Dank für die Erklärung.

Mittlerweile habe ich weiter herumprobiert. Sowohl die Installation als legacy als auch als UEFI funktioniert.

Was mir aber aufgefallen ist: Sobald ich den Server starte, wird in regelmäßigen Abständen von wenigen Sekunden auf die Festplatten kurz zugegriffen. Wenn ich im BIOS bin, ist dieser Zugriff nicht zu hören, aber sobald ich das BIOS verlasse und z.B. das Bootmenu aufrufen lasse, ist der Zugriff wieder da. TrueNAS kann es nicht sein, da das OS dann noch gar nicht geladen wurde. Ich vermute daher, dass das BIOS vom Supermicro-Board diesen Zugriff veranlasst. Hat jemand eine Ahnung, ob das stimmt bzw. ob ich im BIOS etwas umstellen kann, so dass dieser Festplattenzugriff nicht mehr stattfindet?

 

[Trambahner]

Vielleicht so alle 10sek ein ganz kurzer Click von jeder der Platten?
Das wäre nicht untypisch für moderne Platten großer Kapazität, wenn sie nicht im Spindown sind, für ihre Kopfkalibrierungen/-messungen. Hatte ich schon bei den Deskstar 6TB.

Einzig dass dies im Bios-Bildschirm nicht wäre, verwundert mich etwas.

 

[vmeyer]

Ich habe mir heute nochmal die Geräusche angehört und muss mich korrigieren: Dieses Klackern findet auch im BIOS statt. Habe auch noch etwas hier im Forum gesucht und einen Thread gefunden, in dem von WD die Stellungnahme zu lesen ist, dass ein "Gelegentliches Klicken der Festplatte im Intervall von 4 oder 5 Sekunden, sofern die Festplatte normal funktioniert und Diagnosetests besteht." wohl normal ist.

Ich habe versucht, das Geräusch aufzunehmen. Im BIOS höre ich ein Klack, so als ob alle Festplatten (es sind acht 18 TB WD Red Pro) gleichzeitig dieses Geräusch machen. Sobald TrueNAS gestartet ist, hört es sich für mich an, als ob die Festplatten hintereinander dieses Klackern machen. Die Soundfiles sind im wav-Format. Da dieses Format als Upload wohl nicht erlaubt ist, teile ich sie über SwissTransfer. Hoffe, das ist ok.

BIOS-Geräusch: https://www.swisstransfer.com/d/8f171706-a6e8-4f58-b0a2-dafca160e6b1

TrueNAS-Geräusch: https://www.swisstransfer.com/d/0a90974a-7c13-4f5c-9bec-ff0cfa072a59

Würde mich sehr freuen, wenn sie sich jemand anhört und zurückschreibt, was er davon hält.

Besten Dank bereits!