[Kaufberatung] Neuer Fileserver oder Aufrüstung?

[LL0rd]

Hallo Leute,

kann mir von euch jemand kurz bei einem Problem helfen? Aktuell habe ich bei mir einen Fileserver, ca. 4 Jahre alt. Ich weiß jetzt nicht, welche CPU da genau drin steckt, auf jeden Fall sind es zwei Xenon CPUs mit 8 Kernen, 64GB RAM, in der Kiste sind aktuell 9 15krpm SAS-Festplatten verbaut, leider alle mit 300GB relativ klein. Die Kiste selbst wird gebraucht, da an dem Rechner mit zwei Fiber-Channel Karten eine Library mit einem LTO-3 und LTO-4 Laufwerk angeschlossen ist.

Momentan spiele ich mit dem Gedanken mir entweder eine neue Kiste als Fileserver zu bauen oder diese hier zu erweitern. Die zu erweitern wäre mit einem Disk-Array (für ca. 100€) möglich, das 24 Festplatten Platz hat und per Fiber-Channel angeschlossen wird.

Was meint ihr dazu? Was haltet ihr von der Idee?

 

[Vogelbecker]

Verbrennt meiner Meinung nach reichlich Strom.

Privates oder Berufliches Umfeld`?

Wieviele User greifen gleichzeitig drauf zu?
Was für Daten? Kleine Files oder große Filme?

Grüße

 

[LL0rd]

Der Strom ist da das kleinste Problem im Vergleich zum Rest, was ich verbrenne.

Der Server ist fürs berufliche Umfeld gedacht. Momentan wird er dazu verwendet um die Arbeit zu speichern, also viele kleine Dateien, auf die relativ schnell zugegriffen werden muss. Das macht der Controller mit afiak 8GB Cache und die zwei SSDs als Cache für ZFS auch ganz gut. Sonnst landen auf dem Server auch große Dateien, wie DB- und Website Dumps als Sicherung. Die Daten sind da im 30-70GB Bereich.

An Usern sind es vielleicht 5 Leute, die da gleichzeitig zugreifen - also nicht viel.

 

[MisterY]

Die genaue CPU Bezeichnung zu wissen, wäre gut. Weil wenn es 2*8 Kerne plus HTT ist, ergo 32 Threads, dann würde ich da aufrüsten. Vllt größere Disks oder gar SSDs. Was für ein OS? Weil ZFS on Linux unterstützt kein Trim.

 

[LL0rd]

Ich schaue mal morgen genau nach, was das für eine CPU ist.
Mal eine generelle Frage. Momentan sind ja SAS Platten verbaut. Kann ich die denn Problemlos durch SATA Platten ersetzen? Bzw. dann wäre es doch tatsächlich eine gute Idee, wenn ich mir ein Disk Array für 24 Platten hole, das über Fiberchannel angeschlossen wird und da dann die Platten verbaue, bei denen ich die beste Kapazität pro € bekomme - statt auf teure 8/10TB Laufwerke zu gehen oder auf SSDs.

 

[Sannyboy111985]

Die Frage ist warum aufrüsten, wird Kapazität oder Performance gebraucht? Und vorallem was soll gespeichert werden und zu welchem Zweck.
Welcher FC Standard ist verfügbar?

 

[LL0rd]

Die Frage ist warum aufrüsten, wird Kapazität oder Performance gebraucht? Und vorallem was soll gespeichert werden und zu welchem Zweck.
Welcher FC Standard ist verfügbar?

Also, ich sag es gerne noch ein Mal:
Aktuell sind an dem System angeschlossen: 9x 300GB SAS 15krpm Platten als Raid-Z2 => 2,1TB Speicherplatz, der sehr schnell ist. Von den 2,1TB werden 800GB und 400GB für die LTO-Sicherungen benötigt. 300GB für "Office" und 600GB etwa für die Daten, die gerade bearbeitet werden. Also DB-Dumps, die abgerufen werden, etc. Dieser Speicher ist extrem schnell, momentan erreiche ich da Raten von knapp 1GB/s.

Weiter ist an dem Server eine LTO-Library angeschlossen mit aktuell ca. 40TB Speicherplatz, die Zugriffszeiten dort sind aber beschissen. Was momentan benötigt wird, wäre Speicherplatz etwa mit SATA-Performance, also mind. 200MB/s im Bereich von ca. 10TB.

Deshalb hatte ich jetzt zwei Ideen. Die aktuelle Kiste muss eh bleiben. 10/15krpm SAS Platten mit größerer Kapazität zu kaufen, ist eine Sache der Unmöglichkeit. Deshalb war jetzt meine Idee, entweder einen zweiten File-Server hinzustellen und in beide Server 10gbE Karten rein. Oder es gibt ja im Netz die Disk Arrays, die mit FC angeschlossen werden. Und da kosten die Teile gebraucht für ein 24 Schacht-Teil nun mal ca. 100€.

An FC-Karten habe ich momentan nichts frei, in dem Server sind aktuell zwei Karten drin, eine für ein LTO-3 und die andere für ein LTO-4 Laufwerk. Die FC Karte für das Disk Array würde noch dazu kommen, kosten ja heute nur ein paar Euro.

 

[Digi-Quick]

Verstehe ich das richtig?
Du verwendest eine LTO Library für Life Daten?

 

[LL0rd]

Was sind "Life Daten" für dich?
Der Hauptgebrauch der Library ist hauptsächlich zu Sicherungszwecken. Sie wird aber auch als Archiv gebraucht. Auf einem Rechner lagen z.B. die Messdaten von Sensoren drauf. Ich wusste, dass ich die Daten das nächste halbe Jahr nicht anrühren werde. Also landeten die auf dem Tape. Und als ich wusste, dass ich die Daten brauche, habe ich die "angefordert" damit ich damit am nächsten Tag arbeiten konnte.

 

[Digi-Quick]

Was sind "Life Daten" für dich?
Der Hauptgebrauch der Library ist hauptsächlich zu Sicherungszwecken.

Dafür ist LTO usw. gemacht.

Sie wird aber auch als Archiv gebraucht. Auf einem Rechner lagen z.B. die Messdaten von Sensoren drauf. Ich wusste, dass ich die Daten das nächste halbe Jahr nicht anrühren werde. Also landeten die auf dem Tape. Und als ich wusste, dass ich die Daten brauche, habe ich die "angefordert" damit ich damit am nächsten Tag arbeiten konnte.

Das sind ausgelagerte Life Daten, die nur für die spätere Benutzung ausgelagert wurden und prinzipiell erstmal keine Sicherung derselben.
(Nichtsdestrotz können die natürlich auch in der DaSi enthalten sein)

Kann man sicherlich so machen, darf sich dann aber nicht über die Zugriffzeiten beschweren
Das wäre der Einsatzbereich von einem externem grösserem Storage (NAS) welches via Gbit oder 10 GBE (oder FC) angebunden ist


Was für eine Geschwindigkeit hat denn dein FC?
wenn weniger als 8 Gbit wäre 10 GBE die bessere Option für den externen Storage

P.S. SAS 15K Platten waren mal extrem schnell - so vor 5-10 Jahren - , Aktuell sind das "lahme Krücken", die allenfalls etwas schneller als aktuelle 7K2 HDDs sind, und werden mitlerweile von nahezu jeder SSD bei weitem überflügelt. für den gegebenen Anwendungsfall hättest du mit soliden Enterprise SSDs eine deutlich höhere Performance.

 

[LL0rd]

Das wäre der Einsatzbereich von einem externem grösserem Storage (NAS) welches via Gbit oder 10 GBE (oder FC) angebunden ist

Was wäre denn der Vorteil eines NAS im Gegensatz zu einem Disk Array?
Wenn ich mich jetzt mal in der Palette von DELL umschaue, dann gibt es dort die PowerVault Systeme, die per SCSI? (PERC) angeschlossen werden. Die Karte würde mich jetzt 50€ kosten und das Disk Array mit .... 20 Fächern 150€. Ich finde, dass es eine bessere Lösung ist, als ein zusammengeschusterter NAS-Server.

Über die Lösung mit den SSDs kann man sich ja bei Gelegenheit Gedanken machen. Momentan habe ich das Gefühl, dass der Preis im Fallen ist - waren noch vor ein paar Monaten SSDs im TB Bereich noch unbezahlbar, gehen die Preise heute schon.

 

[Firebl]

Naja der Vorteil eines NAS gegenüber dem Array ist, das du ein Gerät mit ein paar großen Platten hast. Da aktuellen Helium Platten ca. 250MB/s einzeln haben, kommst du auch auf deine Geschwindigkeit.

Andererseits schreibst du, dass du auf ungefähr 1GB/s aktuell kommst. Das würde bedeuten das du 16Gbit FC-Karten benutzt, richtig?

 

[LL0rd]

Naja der Vorteil eines NAS gegenüber dem Array ist, das du ein Gerät mit ein paar großen Platten hast. Da aktuellen Helium Platten ca. 250MB/s einzeln haben, kommst du auch auf deine Geschwindigkeit.

Wie meinst du das? Wenn ich mir jetzt ein NAS konfiguriere, wie es hier im Forum angeboten wird, dann bin ich für die Hardware schon mal einen Tausender los ohne Platten. Und die großen Platten kommen auf ca. 32€/TB. Nehmen wir jetzt mal das PowerVault MD1000, das hat Platz für 15 3.5" Platten. Da kann ich dann 3TB Platten verwenden, die zu füllen. Bei raid-z2 habe ich dann 39TB zu ca. 900€.

Andererseits schreibst du, dass du auf ungefähr 1GB/s aktuell kommst. Das würde bedeuten das du 16Gbit FC-Karten benutzt, richtig?

Momentan habe ich zwei 8GBit FC Karten verbaut, die die beiden LTO-Laufwerke bedienen. Die aktuellen 1GB/s sind Geschwindigkeiten der internen Platten am SAS-Controller.

 

[Digi-Quick]

Sowas wie die PowerVault via SAS 6G (würde ich bevorzugen, da 8x6G = 48 GB/s Bandbreite für 24 HDDs wenn das Array mit zwei 4 Fach SAS Lanes angebunden wird >> wären Pro HDD 2G) oder FC angebunden ist natürlich auch eine Option und es entfällt der Netzwerkoverhead (TCP/IP) zum NAS.
In Grenzen ist ein NAS etwas flexibler und steht allen Geräten im LAN zur Verfügung - gleiches kann man antürlich auch mit Freigaben erreichen.

Von den 2,1TB werden 800GB und 400GB für die LTO-Sicherungen benötigt.

Verstehe ich nicht....
sammellst du auf den beiden Volumes/Ordnern o.ä. die zu sichernden Dateien zusammen oder nutzt dein Backupprogramm diesen Platz als Zwischenspeicher oder ....?


Ich würde das Diskarray holen (100 € + HDDs), da kommen alle Daten rauf
- Archivierte, aktuell nicht benötigte Daten
- Datensicherung vom Server
- Datensicherungen der Clients

Das gesamte Arry wird dann regelmäßig auf die LTO Library gesichert

Für die "Life Daten" das Servers könnte an beizeiten darüber nachdenken das Array aus 15K SAS HDDs durch Enterprise SSDs zu ersetzen - für die Performance

Das macht der Controller mit afiak 8GB Cache und die zwei SSDs als Cache für ZFS auch ganz gut.

ZFS und Raidconroller?
Irgendwie solltest du uns mal deine genaue Konfiguration vorstellen.....

Apropos PowerVault für 24 HDDs für 100 €:
Sind da dann die HDD-Trays dabei?

 

[Morpheus2200]

Welches OS läuft denn auf dem Server?

Für ZFS im professionellen Umfeld wird gern SAS benutzt. Von SATA Platten an SAS Backplate wird bei einigen professionellen Lösungen abgeraten. Wenn SATA dann die Platten direkt an den Controller ohne zusätzliche Backplate ist da öfter mal die Empfehlung.
Es gibt aber auch preiswerte NL-SAS Platten mit 7200 Rpm.

Performance ist ja scheinbar kein großes Thema, RAID Z2 aus ein paar relativ langsamen NL-SAS HDDs dürfte reichen.
Ich meide alte Hardware wenn es geht, es sei denn ich habe genug Ersatzteile dafür. Wenn ein Server seine ersten 5 Jahre 24/7 gelaufen ist kann er noch weiter funktionieren, aber Ersatzteilbeschaffung wird irgendwann schwierig und teuer und mal ehrlich auf welche Serverdienste kann man schon 2 wochen verzichten, während das EBay Ersatzteil unterwegs ist?

 

[Digi-Quick]

Für ZFS im professionellen Umfeld wird gern SAS benutzt.

No!
SAS kann HBA und Raidcontroller sein, für ZFS nutzt man HBAs.
Richtig ist, daß sich hier zumeist die HBAs von LSI/Broadcom durchgesetzt haben

Von SATA Platten an SAS Backplate wird bei einigen professionellen Lösungen abgeraten.

Es gibt hierfür keinen Grund, es sei denn man betreibt Dual-Head oder ist auf die 15K HDDs angewiesen - da sind SSDs aber mitlerweile genauso Teuer und nochmals deutlich performanter

Wenn SATA dann die Platten direkt an den Controller ohne zusätzliche Backplate ist da öfter mal die Empfehlung.

Es gab da wohl in der Vergangenheit verschiedene Kosntellationen wo das problematisch war, daher kursiert diese Empfehlung genauso hartnäckig wie das Märchen, daß man pro TB Festplattenplatz 1 GB Ram benötigt.

Performance ist ja scheinbar kein großes Thema, RAID Z2 aus ein paar relativ langsamen NL-SAS HDDs dürfte reichen.

Woraus leitest du das her?

Ich meide alte Hardware wenn es geht, es sei denn ich habe genug Ersatzteile dafür. Wenn ein Server seine ersten 5 Jahre 24/7 gelaufen ist kann er noch weiter funktionieren, aber Ersatzteilbeschaffung wird irgendwann schwierig und teuer und mal ehrlich auf welche Serverdienste kann man schon 2 wochen verzichten, während das EBay Ersatzteil unterwegs ist?

Wenn man propietären Kram einsetzt oder auf Hersteller setzt, die nur propietäre Hardware verbauen ist das Korrekt.
Bei Standardhardware hat man in 99% der Fälle einen direkten Aufrüstpfad was meist sinnvoller ist, als gebrauchte Hardware bei ebay einzukaufen.

 

[Firebl]

Wie meinst du das? Wenn ich mir jetzt ein NAS konfiguriere, wie es hier im Forum angeboten wird, dann bin ich für die Hardware schon mal einen Tausender los ohne Platten. Und die großen Platten kommen auf ca. 32€/TB. Nehmen wir jetzt mal das PowerVault MD1000, das hat Platz für 15 3.5" Platten. Da kann ich dann 3TB Platten verwenden, die zu füllen. Bei raid-z2 habe ich dann 39TB zu ca. 900€.

Natürlich ist ein NAS PC mit großen Festplatten nicht billig. Dafür hast du ein leises und sparsames System aus neuer Hardware.

Ich weiss ja nicht wie du auf die Rechnung kommst, deine 900€ kann ich nicht nachvollziehen.
Gebrauchter MD1000 ~77€ +2 gebrauchte Netzteile 2x14€ + 2x gebrauchte EMM Module 2x100€ + PERC H800 (du willst ja sicher SATA3?) ~200€ = ~500€
15x 3TB WD RED /Seagate IronWolf 15x 85€ Neu. = 1275€
Macht alles in allem ca 1800€ für 45TB roh Volumen.

Zum Vergleich= die billigste 12TB Platte ist die Seagate IronWolf NonPro für 381€. Davon 4 Stk. sind 1524€.
Dazu noch ein guter T30 (500€) oder ein T130 (750€) oder ein Gerät eines anderen Herstellers.
Dann bist du am Ende 200€ teuerer, hast aber deutlich weniger Strom und Geraffel da stehen.

Momentan habe ich zwei 8GBit FC Karten verbaut, die die beiden LTO-Laufwerke bedienen. Die aktuellen 1GB/s sind Geschwindigkeiten der internen Platten am SAS-Controller.

Die würdest du ja bei einem MD1000 eh nicht nutzen können.

 

[LL0rd]

Natürlich ist ein NAS PC mit großen Festplatten nicht billig. Dafür hast du ein leises und sparsames System aus neuer Hardware.

Bei deiner Rechnung hast du aber eine Sache übersehen und das ist die Ausfallwahrscheinlichkeit. Bei 15x 3TB habe ich bei raidz2 zwei Platten = 170€ Kosten um zwei Platten abzusichern. Und bei 4x 12TB Platten... Nehme ich dann nur raidz? Mit einfacher Redundanz? Bei einem einfachen Raid-5 bete ich schon zu Gott, dass keine weitere Platte ausfällt, während das Raid wieder zusammengebaut wird.

Wieso muss es denn ein entweder-oder sein? Entweder Neuer Server oder ein Disk Array? Ich meine, was wäre wenn ich heute das Disk Array mir hole und in einem Jahr dann einen neuen aktuellen Server hinstelle und die Karten, etc. alle da rein nehme?

 

[gea]

Ich würde die einfachste aller Optionen wählen und das ist

- Austausch der 300 GB Platten mit HGST Ultrastar HE (SAS 7200 U/m, 6-12 TB)
Die Platten haben weniger iops als eine 15 u/m Platte aber aufgrund der höheren Datendichte mehr sequentielle Performance

- Um die iops Zahl zu erhöhen, könnte man die optional als vierfach Raid 10 + hotspare konfigurieren.
Das jetztige Z2 hat ca 100 raw iops, auch wenn eine 7200 u/min weniger iops hat als eine 15k U/m hat so skaliert der Pool doch die iops mit den vdevs. Schon ein einfaches Raid-10 wird daher mehr iops haben als das bisherige Z2, sequentiell ist mehr möglich. Ein vierfach Raid-10 hat dann mindest 2x soviel iops wie das jetzige Z2 beim Schreiben und 4x soviel beim Lesen.

Falls man sicheres Schreiben aktiviert hat (sync) so wäre eine Intel Optane 900P die Ergänzung als Slog. Damit sind selbst sync-write Raten passend für ein 10G Netz möglich. Den größeren Teil der Optane könnte man auch als L2Arc mit aktiviertem read ahead nutzen da Optane selbst bei simultanem Lesen/Schreiben praktisch keine Performanceeinbußen kennt und auch bei steady write im Gegensatz zu bisherigem Flash nicht einbricht und auch kein Trim benötigt.

siehe http://napp-it.org/doc/downloads/optane_slog_pool_performane.pdf
(4 disk/vdev HGST HE8 Pool mit Optane als Slog)

 

[Firebl]

Ich finde geas Vorschlag nicht schlecht.
Bei der Sicherungsthematik von 12 TB Platten gebe ich dir recht. Ich hab bei mir ein RAID10, da darf im worstcase auch nur eine bestimmte Festplatte ausfallen. aber dafür hat man ja Coldbackups xD.

Problematik: der MD1000 untersützt garkein SATAIII. Daher würdest du auch keinen PERC H800 benötigen. Ein billiger PERC6/E langt locker, ist aber halt auch langsamer.