[Kaufberatung] Server für NAS+VMs und die Frage nach den Disks

[Anglefire]

Hallo zusammen,

nachdem ich nun seit längerem stiller Leser bin und sehr viele Anregungen bekommen habe, ist hier nun der Versuch für den Aufbau eines Home-Servers. An der Stelle vielen Dank für eure Mühe und Geduld, die ihr hier permanent an den Tag legt, sowas findet sich immer seltener!

Das wichtigste vll. zuerst: der Anwendungsfall

Hauptsächlich (wer hätte es gedacht ) soll es ein Fileserver für ~5TB Nettodaten werden. Die Daten sollen über verschiedene VMs zugänglich gemacht werden, vor allem als Medienserver für die bis zu 5 Endgeräte (TV, Tablet), daneben kleinere Dinge wie Kalender/Kontakte via nextcloud, pihole, fhem, ... - also eher Linux-Derivate. Vermutlich gesellt sich dann noch die eine oder andere Bastelecke dazu.

Der Standort ist im Keller in einem 80x80 Half Rack, in dem sich momentan nur 2 24Port Patchpanels sowie ein SG300-28 von Cisco tummeln.

Als Grundlage für die Hardware habe ich das hier verbrochen (preislich auch eher das obere Limit, meine Regierung schluckt da sicher schon ):
Server 3647

Softwareseitig möchte ich mich an ESXI + ZFS versuchen.

Nun zu meinen Fragen:

1. Passt die Hardware aus eurer Erfahrung zusammen, habe ich was übersehen, fehlt etwas wesentliches?
2. welche SSDs wären sinnvoll(er)? Ich dachte an eine im M2-Slot für ESXI und temporärer Kram und 2x SSD im Adapter für die VMs (dann als Raid1?)
3. die 5 kleineren Reds geplant als RAIDZ2 für alle Nutzdaten (netto hab ich dann ~12TB, korrekt?) -> Sinnvoll oder lieber größere und weniger?
4. die größere "Gold" für die automatischen Backups. Ein externes Gehäuse und nebst älteren Platten für wechselnde externe manuelle Backups ist vorhanden -> macht das Sinn?
5. Netzteil ausreichend dimensioniert?

Ich freue mich über jegliche Kommentare/Anregungen und hoffe, dass nicht allzu viel graue Haare bei euch entstehen. Das meiste hier ist meinem angelesenen Halbwissen entsprungen, die praktische Erfahrung kommt hoffentlich bald.

Vielen Dank und Grüße

 

[wohtan]

zu 1tens | also ich würde die m2 ssds alle duch normale sata ssds ersetzen. ich bezweifle das du jemals die geschwindigkeit der m2 ssds ausreizt.
zu 3tens | 1 12 tb platte würde exakt das selbe machen wie die 5 platten. allerdings ist der unterschied das du ca 5-10watt pro platte einsparst.
zu 4tens | ein backup macht immer sinn, allerdings bei 12tb netto wären 12 tb als backup platte sinnvoller
zu 5tens | ja auch wenn du 5 Reds einbaust reicht es vollkommen für deinen jetzigen warenkorb.

eine frage meiner seids, wenn du das gehäuse bei dir hast könntest messen wieviel platz zwischen verbauter cpu und deckel ist ?

 

[-INU-]

Die Gold als interne Backupplatte macht bei ZFS eigentlich wenig Sinn wenn du sowieso noch externe Backups fährst, dann lieber auf Z3 erhöhen. Statt der 4er würde ich IronWolf mit 8TB nehmen, deutlich günstiger/TB, oder 8TB Red Pro, auch günstiger/TB und wenn du die Gold weglässt eff. auch nicht mehr so viel teurer.
Und überlege ob du so viele Kerne brauchst, auf 1151 Basis wäre das ganze gut 300~350€ günstiger.

 

[besterino]

Moin!

Ich habe ja ein sehr ähnliches System (siehe Signatur), CPU, Mainboard und Kühler passen. Für den klassischen ESXi/ZFS-Filer (gute Wahl übrigens ) fehlt noch der übliche HBA (Host Bus Adapter), regelmäßig ein SAS-Gerät mit LSI-Chipsatz (bzw. jetzt Broadcom), um an die VM durchgereicht zu werden. Brauchen tust Du den in Deinem Setup nicht zwingend, da du ja eine m.2-SSD für System und Storage-VM hast und dementsprechend den onboard-Sata durchreichen könntest.

Mit dem Kabel, das du da im Warenkorb hast, wäre ich aber vorsichtig. Das ist nach meinem Verständnis dafür gedacht, einen SFF8087 in 4x Sata aufzufächern, nicht umgekehrt (also 4x Sata vom Mainboard auf einem SFF8087 an der Backplane zu bündeln). Wenn man das falsche erwischt, funktioniert das ggf. nicht. Da muss man aufpassen, Stichwort ist "reverse Breakout", z.B.: NORCO C-SFF8087-4S Accessories - Newegg.com.

Magst Du doch über einen eigenen HBA nachdenken, kannst Du das entweder über einen entsprechenden HBA als separate PCIe-Steckkarte (gebraucht bei E-Bay regelmäßig ~EUR 50-100) lösen, oder du wählst das passende Mainboard (Supermicro X11SPH-NCTF), das den direkt onboard mitbringt.

Je nach Entscheidung, brauchst Du dann dafür auch die entsprechenden Kabel für den Anschluss der Backplane(s) (entweder 2x SFF8643-auf-SFF8087 oder eben 2x SFF8087-auf-SFF8087 - letzterer Preis ist übrigens m.E. fast unschlagbar).

Nachtrag: Ein richtiges Kabel für den Anschluss von 4x SATA onboard an SFF8087-Backplane wäre zum Beispiel dieses hier: DeLock Kabel mini SAS SFF-8087 Zubehör, siehe Kurzbeschreibung hier.

Ist halt echt eine gewisse Pain, ein verfügbares, bezahlbares und RICHTIGES Kabel für diesen Einsatzzweck zu finden...

 

[Anglefire]

Vielen Dank für euren Input!

zu 1tens | also ich würde die m2 ssds alle duch normale sata ssds ersetzen. ich bezweifle das du jemals die geschwindigkeit der m2 ssds ausreizt.
zu 3tens | 1 12 tb platte würde exakt das selbe machen wie die 5 platten. allerdings ist der unterschied das du ca 5-10watt pro platte einsparst.
zu 4tens | ein backup macht immer sinn, allerdings bei 12tb netto wären 12 tb als backup platte sinnvoller
zu 5tens | ja auch wenn du 5 Reds einbaust reicht es vollkommen für deinen jetzigen warenkorb.

eine frage meiner seids, wenn du das gehäuse bei dir hast könntest messen wieviel platz zwischen verbauter cpu und deckel ist ?

Mit den SSDs hast du sicher recht, preislich macht es bei dem Rahmen aber keinen großen Unterschied.
Der Hintergrund mit mehreren HDDs war, dass ich bei sagen wir 3 Streams nicht nur eine große Platte in die Knie zwinge, ein Cache wird mir ja beim einmaligen Film schauen nicht sonderlich helfen, oder? Ein weiterer Aspekt war das Aufspannen eines ZFS Raids, damit bei einem Ausfall ich nicht sofort zum Restore gezwungen bin. Ich höre da aber gerne auf eure Erfahrungen, was hier sinnvoll ist. Auch mir ist der Stromverbrauch da etwas ein Dorn im Auge.
Danke für die Info mit dem Netzteil - klar messe ich gern nach, ich hoffe, ich kann bald bestellen.

Die Gold als interne Backupplatte macht bei ZFS eigentlich wenig Sinn wenn du sowieso noch externe Backups fährst, dann lieber auf Z3 erhöhen. Statt der 4er würde ich IronWolf mit 8TB nehmen, deutlich günstiger/TB, oder 8TB Red Pro, auch günstiger/TB und wenn du die Gold weglässt eff. auch nicht mehr so viel teurer.
Und überlege ob du so viele Kerne brauchst, auf 1151 Basis wäre das ganze gut 300~350€ günstiger.

Ja vermutlich kann ich die Backup-Platte erst mal streichen, zur Not gibt's das dann später, wenn der Backupbedarf größer ist und meine momentanen Backupplatten nicht mehr ausreichen. Ich hatte anfangs auch 4x8 bzw. 5x8 Gold vorgesehen, fand das absolut gesehen esaber nicht wert, bis ich soviel Platz vielleicht wirklich brauche, werden noch einige Jahre ins Land gehen - pro TB gerechnet ist das natürlich preiswerter. Bei Z3 müsste ich ja auf 5x8 gehen, damit ich dann 16TB hab, korrekt? Wenn du die normalen IronWolf meinst - hier hatte ich irgendwie aufgeschnappt, je mehr desto Pro?
zwischen 1151 und 3647 habe ich auch lange hin und her gerechnet - was soll ich sagen - die Unvernunft und der Spieltrieb haben gesiegt Faktisch könnte ich jetzt mehr RAM, lieber mehr Cores als GHz und PCI-Lanes anführen, aber vermutlich spielt das alles nur eine untergeordnete Rolle

Moin!

Ich habe ja ein sehr ähnliches System (siehe Signatur), CPU, Mainboard und Kühler passen. Für den klassischen ESXi/ZFS-Filer (gute Wahl übrigens ) fehlt noch der übliche HBA (Host Bus Adapter), regelmäßig ein SAS-Gerät mit LSI-Chipsatz (bzw. jetzt Broadcom), um an die VM durchgereicht zu werden. Brauchen tust Du den in Deinem Setup nicht zwingend, da du ja eine m.2-SSD für System und Storage-VM hast und dementsprechend den onboard-Sata durchreichen könntest.

Mit dem Kabel, das du da im Warenkorb hast, wäre ich aber vorsichtig. Das ist nach meinem Verständnis dafür gedacht, einen SFF8087 in 4x Sata aufzufächern, nicht umgekehrt (also 4x Sata vom Mainboard auf einem SFF8087 an der Backplane zu bündeln). Wenn man das falsche erwischt, funktioniert das ggf. nicht. Da muss man aufpassen, Stichwort ist "reverse Breakout", z.B.: NORCO C-SFF8087-4S Accessories - Newegg.com.

Magst Du doch über einen eigenen HBA nachdenken, kannst Du das entweder über einen entsprechenden HBA als separate PCIe-Steckkarte (gebraucht bei E-Bay regelmäßig ~EUR 50-100) lösen, oder du wählst das passende Mainboard (Supermicro X11SPH-NCTF), das den direkt onboard mitbringt.

Je nach Entscheidung, brauchst Du dann dafür auch die entsprechenden Kabel für den Anschluss der Backplane(s) (entweder 2x SFF8643-auf-SFF8087 oder eben 2x SFF8087-auf-SFF8087 - letzterer Preis ist übrigens m.E. fast unschlagbar).

Nachtrag: Ein richtiges Kabel für den Anschluss von 4x SATA onboard an SFF8087-Backplane wäre zum Beispiel dieses hier: DeLock Kabel mini SAS SFF-8087 Zubehör, siehe Kurzbeschreibung hier.

Ist halt echt eine gewisse Pain, ein verfügbares, bezahlbares und RICHTIGES Kabel für diesen Einsatzzweck zu finden...

Das von dir genannte Board ist/war tatsächlich mein Favorit. Als ich dann nach einem relativ günstigen Gehäuse gesucht habe und irgendwie nur das in Frage kam, ist mir aufgefallen, das die Backplane eh nur 6GB/s kann, deswegen dann der Schwenk zu dem anderen. Das Durchreichen sollte damit ja auch klappen (?) und war auch der Grund für die PCIe SSDs.
Super Hinweis mit dem Kabel! das ist aber auch echt nervig, vor allem wenn die Infos bei GH mal wieder nicht zu gebrauchen sind. Hab das jetzt entsprechend geändert.

 

[besterino]

Naja, die Dinger sind ja abwärts-kompatibel. Umgekehrt wird aber ein Schuh draus: an dem onboard HBA könnte man dann perspektivisch auch ein paar SSDs dranhängen, ohne in einen Flaschenhals zu laufen.

So'n SAS-HBA ist schon etwas Feines.

 

[-INU-]

Ja vermutlich kann ich die Backup-Platte erst mal streichen, zur Not gibt's das dann später, wenn der Backupbedarf größer ist und meine momentanen Backupplatten nicht mehr ausreichen. Ich hatte anfangs auch 4x8 bzw. 5x8 Gold vorgesehen, fand das absolut gesehen esaber nicht wert, bis ich soviel Platz vielleicht wirklich brauche, werden noch einige Jahre ins Land gehen - pro TB gerechnet ist das natürlich preiswerter. Bei Z3 müsste ich ja auf 5x8 gehen, damit ich dann 16TB hab, korrekt? Wenn du die normalen IronWolf meinst - hier hatte ich irgendwie aufgeschnappt, je mehr desto Pro?
zwischen 1151 und 3647 habe ich auch lange hin und her gerechnet - was soll ich sagen - die Unvernunft und der Spieltrieb haben gesiegt Faktisch könnte ich jetzt mehr RAM, lieber mehr Cores als GHz und PCI-Lanes anführen, aber vermutlich spielt das alles nur eine untergeordnete Rolle

Naja, REDs drehen mit 5400rpm, die RED Pro mit 7200. Bei den IronWolf drehen auch die non Pro ab 8TB mit 7200rpm. Und laut Hersteller sind die RED/IronWolf für den Betrieb bis 8 HDD/Gehäuse optimiert, Pro bis 24 HDD/Gehäuse und danach dann die Gold//Exos bzw gibt es bei denen dazu keine Angabe mehr. Was genau wie optimiert wurde ist mir aber nicht bekannt und afaik auch nicht publik.
Und ja, bei 5x8 bleiben 16TB nutzbar.

 

[Firebl]

Für das Geld wäre evtl auch ein Server von DELL oder HP - bis auf die Festplatten - eine interessante wahl. Ich hab damit zumindest sehr gute Erfahrungen gemacht mit dem T330 in der Signatur.

@Inu die IronWolf Pro dürfen bis 16 Slots. Die GOLD / EXOS dürfen 550TBpa bzw man sagt dauerhaft schreiben.

 

[MrDeluxe]

Hi,
ich habe das gleiche Gehäuses und habe ebenfalls einen HBA genommen mit entsprechenden Kabeln, vielleicht hilft es dir bei deiner Wahl.
Ich habe mir auf ebay den "Dell PERC 0HV52W RAID Controller H310 6Gb/s" besorgt und auf IT Mode umgeflasht (Anleitungen gibt es im Netz, recht einfach und straight forward). Kommt ungefähr 50€, sollte passen. Dann brauchst du auch nur ein SAS auf SAS Kabel. Das hab ich ebenfalls auf ebay besorgt.
Da kannst du einiges an Geld sparen, wenn du dir das Mainboard nochmal überdenkst. Es ist eine feine Sache einfach den HBA zur Storage VM durchzureichen.
Persönlich würde ich kein so teures Mainboard holen. Zu dem Preis hatte ich ein ganzen T20, der jetzt im Intertech-4408 seine Arbeit verrichtet. Als NIC kann ich dir die Quadport NIC von HP NC365T empfehlen und auf jeden Fall eine Möglichkeit des Remotemanagements z.B. Intel ME oder IPMI.

Kurz noch zu den HDDs. Spar die das Geld und hol dir normale WD Reds ohne Pro. Für mich ist das Marketinggeschwätz. Schau dir die Datenblätter an und entscheide dann rational.

Als kleiner Denkanstoß noch... Vielleicht schaust du dir Proxmox mit KVM und FreeNAS (Storage) mal als Alternative zu ESXi/ZFS an. Ist recht komfortabel und lässt keine Wünsche (meine zumindest) offen.

 

[besterino]

Wenn man heute neu kauft, würde ich bei einem Server definitiv 10Gbit einplanen. Die Anschaffungskosten sind im Vergleich zu vor 1-2 Jahren schon z.T. deutlich gefallen, gerade bei 10Gbase-T also RJ45/Kupfer. Bei den Switches vielleicht noch nicht ganz so stark, aber das Ganze ist schon heute halbwegs erschwinglich und wird perspektivisch eher günstiger.

Dagegen sind Trunks, Link Aggregation & Co. quasi aufwändige Frickelei bei weniger Bumms.

Wenn man das Budget hat, bietet 3647 schon Mehrwert. Ist halt eine andere Liga als E3 / Sockel 115x. Ob man in dieser Liga spielen muss (oder will), kann ja jeder selbst entscheiden, wenn man das Budget hat.

Ich weiß zum Beispiel, dass meine SP-Kiste performancemäßig auf wahrscheinlich locker 5+ Jahre reichen wird, wenn nicht irgendeine Komponente den vorzeitigen Hardware-Tod stirbt. Zur Not gehe ich eben beim RAM auf bis zu 256GB ohne was rausnehmen zu müssen (bin mit 2x 32GB-Riegeln losgelaufen). Steckplätze für Erweiterungen hat’s auch genug und in der allergrößten Verzweiflung könnte man die CPU noch gegen ein Kernemonster tauschen - das werde ich aber wohl kaum brauchen, da ich immer eine performante Daddelkiste zusätzlich haben werde: mit der kann man dann rechenintensivste Aufgaben erledigen bzw. wenn ich die eh so alle 1-2 Jahre Upgrade, bleibt da genug Hardware für den 2. und 3. Rechner über für Spezialaufgaben ohne ECC-Bedarf. In meinem VMs passiert jedenfalls nicht wirklich viel, was selbst recht langsame 8 Kerne / 16 Threads ins Schwitzen brächte.

Bei den Festplatten sind momentan in den insgesamt 16 3,5“ Einschüben noch 4x1TB drin als reiner Backup-Pool, den es eigentlich nicht braucht. Sollte mir bei den übrigen 12x4TB der Platz ausgehen (auch eher unwahrscheinlich momentan), kann ich die gegen was auch immer dann verfügbar ist austauschen, wieder ohne ansonsten irgendwas ändern zu müssen.

NVME könnte ich Stand heute auch easy 4 Stück zusätzlich reinkleben (dank ASUS Hyper 16x und 4/4/4/4 Bifurcation-Support) und mit insgesamt 12x 2,5“ Einschüben ist auch für SATA-SSDs genug Luft nach oben... dann würde allerdings mein 6G-HBA/Expander zum klaren Flaschenhals (was besonders ärgerlich macht, dass Solaris meinen 24-Port-12G-LSI-HBA nicht unterstützt, der hier schon liegt)....

 

[Anglefire]

sorry für die verspätete Rückmeldung, irgendwie kommt man hier zu nix mit drei kleinen Rabauken

@Firebl: den T330 hatte ich mir mal genauer angesehen, aber ich gehöre doch eher zu der Fraktion, die gern die Komponenten selbst zusammenstellt und zusammenbaut, hatte dann irgendwie immer was auszusetzen beim durchklicken der Configs.

@MrDeluxe:
Ja, die Datenblätter der Platten habe ich mir angeschaut, die 7200rpm und längere Garantie/zugesicherte Workload gaben den Ausschlag. Zumindest für mich ist das rational . Proxmox steht bei mir auch auf der Liste zum ausprobieren, momentan hatte ich mit Virtualbox herumgespielt und mir mal die Oberflächen von ESXi und Proxmox angeschaut - an beides kann ich mich gewöhnen. Da ich eher nur endlich Zeit habe, werde ich mich mit ESXi und ZFS beschäftigen und zunächst dort einarbeiten.

@Besterino: hast mich überzeugt, doch das andere Board zu nehmen - mit Nachkauf eines HBAs hätte ich ja mind. dasselbe ausgegeben.... im übrigen sehe ich das auch so, dass ich gerne länger was davon haben will, darauf hoffe ich zumindest :P.

Die Bestellung ging gestern raus, bin ja gespannt, ob und wann die Teile alle eintrudeln, aber wohl frühestens Mitte nächster Woche. Die nächsten Fragen kommen dann bestimmt beim "Essen".

Danke nochmals an alle für eure Tipps, das hat mir weiter geholfen, um "klarer" zu sehen.

 

[Anglefire]

eine frage meiner seids, wenn du das gehäuse bei dir hast könntest messen wieviel platz zwischen verbauter cpu und deckel ist ?

Von Oberkante Mainboard bis zum Gehäusedeckel es sind es ca. 16cm:


Im nächsten Bild mit viel Phantasie zu sehen: bis zum schwarzen Sockel in dem die CPU eingeklipst wird ca. 6mm, dann beginnt der silberne Kühlkörper.



Man muss nämlich die CPU in dem schwarzen Sockel des Kühlers versenken und setzt dann alles zusammen auf den Mainboard-Sockel ein. Da der SM-Kühler insgesamt mit 126mm angegeben ist und nun 13cm über dem Mainboard herausragt, gibt das ungefähr die Hausnummer.


PS: Richtig ätzend fand ich ja einen Torx 30 zu finden, der lang (und dünn) genug war .

 

[wohtan]

danke für die bilder, dann wird der nh-d15 doch nicht mit umziehen können. schade eigentlich, oder ich muss den deckel bearbeiten bzw einen neuen bauen. danke für die info.

 

[danielmayer]

Noch zu den Platten, weil ich es woanders schon geschrieben hatte:
Die 10TB Modelle von Ironwolf und Red ziehen deutlich weniger Strom als die 8er.