Kaufberatung: Vorhandenes System um zusätzliche Festplatten erweitern

RonnyE

Neuling
Thread Starter
Mitglied seit
02.07.2014
Beiträge
16
Hi,

ich suche einen Weg mit dem ich bis zu 16 (oder auch 24) 3,5-Zoll Festplatten wie auch immer (eSATA, FC, …) an mein vorhandenes System anschließen kann.

Das vorhandene System ist ein Eigenbau mit:
- einem Core i7 (i7-3930K),
- 64 GB RAM,
- X79 EXTREME9 Mainboard
- 1200W-Netzteil
- einem zusätzlichen 8-Port SATA LSI Controller
- einem LTO-5 Bandlaufwerk für Backups und
- in Summe derzeit 14 3 TB-HDDs (Seagate Constellation ES 7200 rpms)

Der Server fungiert als NAS, Host für diverse VMs und auch sonst als „Spielwiese“. RAM und CPU sind kein Problem wohl aber der Plattenplatz. Daher würde ich das System gerne um bis zu 16/24 weitere Festplatten erweitern und suche nach Möglichkeiten wie man dies effektiv machen kann.

Externe JBODs wären eine Idee aber da sollen die Lüfter extrem laut sein. Da das System im Büro steht wäre der damit verbundene Lärm in Bezug auf den WAF ein No-Go.

Daher bitte ich um Vorschläge...
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Moin,

spricht etwas gegen eine autarke Lösung? Bei den potenziellen Datenraten würde ich das nichtmehr über deinen vorhandenen Host abwickeln.

Mein Vorschlag:

Synology DiskStation DS2413+
und wenn benötigt, die Erweiterungseinheit
Synology Expansion Unit DX1211

Beide Geräte werden sicher leiser als dein vorhandener Rechner sein.
Hinzu kommt noch die ordentliche Qualität, eine eigene Netzwerkanbindung, ein Haufen an möglichen Funktionen und alles ohne Gebastel.

Alternative ist natürlich alles selbst zu bauen:
Intel i3 / i5
Mainboard mit mindesten 2x 8x PCIe Lanes
2x RAID Controller
ein Gehäuse mit genug Platz (z.B. Lian Li PC-V343B
+ Wechselrahmen Lian Li EX-H34SB
 
Schau mal bei den 19 Zoll Geräten mit 4HE... Lüfter lassen sich auch durch leisere Exemplare austauschen. Ein 'normales' Gehäuse für 16-24 Platten ist schwierig- evtl Lian Li PC-D8000B aber das ist ein Klopper...
Ich würde mir ein 19 Zoll Gehäuse + ein System darin kaufen und über iSCSI koppeln.
 
Zuletzt bearbeitet:
Moin,

spricht etwas gegen eine autarke Lösung? Bei den potenziellen Datenraten würde ich das nichtmehr über deinen vorhandenen Host abwickeln.

Mein Vorschlag:

Synology DiskStation DS2413+
und wenn benötigt, die Erweiterungseinheit
Synology Expansion Unit DX1211

Beide Geräte werden sicher leiser als dein vorhandener Rechner sein.
Hinzu kommt noch die ordentliche Qualität, eine eigene Netzwerkanbindung, ein Haufen an möglichen Funktionen und alles ohne Gebastel.

Alternative ist natürlich alles selbst zu bauen:
Intel i3 / i5
Mainboard mit mindesten 2x 8x PCIe Lanes
2x RAID Controller
ein Gehäuse mit genug Platz (z.B. Lian Li PC-V343B
+ Wechselrahmen Lian Li EX-H34SB

Also ne Synology liefert nichtmal ansatzweise die Leistung wie das System jetzt. Auch "Intel Atom"... da habe ich aufgehört zu lesen.
Das jetzige System hat ja schon 14 Platten in einem RAID10... da kommen locker 500 MB/s rüber... eher mehr.


Aber diese Expansion Unit ist interessant. Die hat nen IB-Anschluss und ich frage mich, ob man das Ding nicht auch an ein "normales" System anschließen kann wenn man da einen IB HBA einbaut?

- - - Updated - - -

Schau mal bei den 19 Zoll Geräten mit 4HE... Lüfter lassen sich auch durch leisere Exemplare austauschen. Ein 'normales' Gehäuse für 16-24 Platten ist schwierig- evtl Lian Li PC-D8000B aber das ist ein Klopper...
Ich würde mir ein 19 Zoll Gehäuse + ein System darin kaufen und über iSCSI koppeln.

Ja das geht schonmal in die richtige Richtung... nur HPTX als Formfaktor ist bescheiden - oder passt da ein EATX Mainboard?
Eventuell ein externes JBOD angeschlossen via eSATA? Hat da jemand sowas im Einsatz?
 
Zuletzt bearbeitet:
HPTX ist doch nochmals größer als XL-ATX, was wiederum größter ist als ATX.
In der Regel passen E-ATX Boards in HPTX Gehäuse.
 
Also ne Synology liefert nichtmal ansatzweise die Leistung wie das System jetzt. Auch "Intel Atom"... da habe ich aufgehört zu lesen.
Das jetzige System hat ja schon 14 Platten in einem RAID10... da kommen locker 500 MB/s rüber... eher mehr.
Dann schreib das am besten mit in deine Anforderungen.
Synology spart sich sich bessere Hardware, weil die Box sowieso nur 2x Gbit Anschlüsse hat. (Netzwerk!)

Aber diese Expansion Unit ist interessant. Die hat nen IB-Anschluss und ich frage mich, ob man das Ding nicht auch an ein "normales" System anschließen kann wenn man da einen IB HBA einbaut?
Nein, das funktioniert nur zusammen mit der Synology DiskStation DS2413+

Ja das geht schonmal in die richtige Richtung... nur HPTX als Formfaktor ist bescheiden - oder passt da ein EATX Mainboard?
Eventuell ein externes JBOD angeschlossen via eSATA? Hat da jemand sowas im Einsatz?
Der Formfaktor ist erstmal egal, es geht darum, wie du die Daten zu deinem Host bekommst.

Wenn dir Netzwerk zu langsam ist, bleiben nur direkte Schnittstellen wie eSata, SAS, Thunderbolt

Wie wäre es damit?
sohotank_st8_spec ST8-U5
(oder Gehäuse+Controller selbst bauen)

Dazu bräuchtest du in deinem Host Rechner noch einen SAS Controller mit externem Port
LSI SAS 9207-8e
 
Ich hab mal etwas gesucht und das hier scheint ganz gut:

Caseking.de » Gehäuse » Aluminium Gehäuse » Lian Li PC-343B Cube HPTX-Gehäuse - schwarz

Das Ding hat 18x 3,5 Zoll extern. Da kann man dann 6x dieser 5-in-3-Laufwerksbuchten reinstecken und erhält Platz für 30 Platten.



Alternativ den Backblaze Storage Pod für 45 Platten:

http://blog.backblaze.com/2014/03/19/backblaze-storage-pod-4/

bzw. Kauf hier:

http://www.45drives.com

Oder das Ding hier mit 8HE und bis zu 42 Platten und mehr als genug Platz für alles...

http://www.aicipc.com/ProductDetail.aspx?ref=RSC-8ED
 
Zuletzt bearbeitet:
Du willst dass das Ding leise ist und das der WAF Stimmen muss, postest aber 19" Serverkomponenten.

Ich spüre einen leichten Anflug von Beratungsresistenz ;) oder du weist noch nicht so richtig was du genau willst.

Du solltest dich fragen, für was genau du diese Menge an Speicher wirklich brauchst
und du solltest zwischen DAS und NAS unterscheiden, vor allem was den Einsatzzweck angeht.

DAS:
- schnelle Anbindung
- kurze Reaktionszeiten
- für z.B. VMs, Programme, Cache,...

NAS:
- langsamere Anbindung
- längere Reaktionszeiten
- für z.B. ISOs, Snapshots, Mediendateien, Backups,...

Alles direkt anzubinden ist nicht wirtschaftlich.

Sonst liefere uns doch bitte gute Gründe warum es anders sein soll, dann können wir besser helfen.

Gruß
 
Also Ziel ist EIN System zu haben auf dem meine VMs laufen (u.a. Datenbanksysteme oder auch Linux-Cluster zum "spielen" oder auch zum Nachstellen von Problemen) welches gleichzeitig aber auch als Ablage für zum Beispiel Filme, Software etc pp dient und damit dann Media Clients versorgen kann. Das funktioniert alles sehr gut bisher... nur der Platz wird langsam knapp. Daher suche ich eine Erweiterung in der Anzahl der direkt angeschlossenen Platten.


Geld spielt hierbei eine untergeordnete Rolle...
 
Zuletzt bearbeitet:
Mehrere Beiträge und keiner macht mal den offensichtlichsten Vorschlag: 24 Port 4HE Inter-Tech Gehäuse und fertig ist die Laube.

http://www.hardwareluxx.de/community/f101/norco-rpc-4224-aka-inter-tech-ipc-4u-4324l-889631.html
Leiser geht es nicht, die SFF-8087 Kabel führst du aus dem Gehäuse direkt an die Backplanes, zur Not halt eine Öffnung unten am Gehäuse mit dem Dremel machen oder das Gehäuse mit offenen Deckel über Kopf, also nach unten hin offen darauf stellen. Ja das wirkt etwas abenteuerlich, anders geht es aber nicht wenn du es leise haben willst.

SAS-Expander sind keine Option da sie mit SATA-Festplatten nicht zuverlässig funktionieren, wenn du es aber trotz der bekannten Risikien machen willst, gerne hier:

Die Inter-Tech Gehäuse sind natürlich nicht von der Verarbeitungsqualität mit einem Supermicro zu vergleichen, dafür kann man dort aber auch ohne größere Umbauten leise Lüfter einbauen, die Supermicro-Gehäuse sind sehr laut.

Es wäre außerdem noch mal sinnvoll wenn du sich zu deiner verwendeten Software und Art des Raids (Steinzeit-HW-Raid oder modernes Software-Raid?) äußern würdest.
 
Zuletzt bearbeitet:
Mehrere Beiträge und keiner macht mal den offensichtlichsten Vorschlag: 24 Port 4HE Inter-Tech Gehäuse und fertig ist die Laube.

Das klingt doch wie nen Plan... Ich schaue mir das sofort mal an.

Edit: So, angesehen. Das geht schonmal in die richtige Richtung. Was mich etwas beschäftigt ist die Länge der Kabel... ich könnte das Gehäuse unter meinen Bigtower stellen. Ich brauche - wenn ich das richtig sehe - nur *ein* SFF-8087 Kabel, richtig?

Statt nen Loch zu bohren kann man auch einen Adapter SFF8087 --> SFF8088 nehmen... nur die maximale Kabellänge von 1m setzt da Grenzen...

Optimal (Preis spielt nicht sooo eine große Rolle) wäre das Gehäuse mit einem eSATA-Port... und halt schön lesen Lüftern.

Die Inter-Tech Gehäuse sind natürlich nicht von der Verarbeitungsqualität mit einem Supermicro zu vergleichen, dafür kann man dort aber auch ohne größere Umbauten leise Lüfter einbauen, die Supermicro-Gehäuse sind sehr laut.

Gibts ne Möglichkeit die Supermicro JBODs mit besseren/leiseren Lüftern zu versorgen?

Es wäre außerdem noch mal sinnvoll wenn du sich zu deiner verwendeten Software und Art des Raids (Steinzeit-HW-Raid oder modernes Software-Raid?) äußern würdest.

Gerne. Das System selber basiert auf Ubuntu 12.04 LTS mit einem aktuellen Kernel (3.12.23) und nutzt ausschließlich das Linux-SW-Raid (mdadm). Das RAID-Device ist ein PV für den Linux LVM. Dieser stellt mir dann LVs zur Verfügung. Filesystem ist meist ext4 - oder auch ZFS (z.B. für die Partition wo meine Files liegen und ich gerne die Altversionen in Form von Snapshots haben möchte). BTRFS ist mir nix: Der RAID 5/6 Support ist noch experimentell und auch so hat man damit andauernd Ärger - auch mit neueren Kerneln.
 
Zuletzt bearbeitet:
Mehrere Beiträge und keiner macht mal den offensichtlichsten Vorschlag: 24 Port 4HE Inter-Tech Gehäuse und fertig ist die Laube.

So sehe ich das auch...
Das ganze irgendwie extern via LAN anzubinden (iSCSI, NFS, ggf. FCoE) macht nur dann Sinn, wenn man entsprechend anständige Infrastruktur hat.
Sprich ab 10G Ethernet (iSCSI, NFS oder FCoE)
Oder halt Geschichten wie IPoverIB mit 20/40 oder mehr GBit/sec und dann dort iSCSI oder NFS drüber fahren.

Bessere, weil schneller und stressfreier wäre aus meiner Sicht die komplette Maschine in ein "Storage Case" zu verfrachten und native anzubinden.
Ob man dabei nun so ein 4HE Case mit 24 Einschüben nimmt, oder ggf. sogar zwei übereinander nutzt um dann auf 48 zu kommen ist dabei erstmal relativ egal. Auch wäre ein großes 24er Case + ein kleineres 16er Case eine Option. Die Backplanes sollten intern direkt an die Controller gekoppelt werden um möglichst effizient den Speed nutzen zu können.
Für 14 + 16-24 HDDs = im höchstfall 38 HDDs wären das dann 4x8 Controller/HBAs + 6 OnBoard Ports des Boards. Oder 5x8 Controller.
Oder verstehe ich den Part: "um bis zu 16/24 weitere Festplatten erweitern" falsch und du meinst auf bis zu 24 HDDs? Wenn letzteres, reicht imho ein Case :wink: -> Hardware rein, Backplanes an die Controller verbinden, fertig.



Was ich bei dem Vorhaben eher als potentiell problematisch sehe ist das verwendete Raidlevel...
Mit nem Raid 10 über 24 HDDs würde ich ehrlich gesagt nun nicht unbedingt anfagen. Das ist zwar vom Speed her (Random Access) wohl fast die optimalste Lösung was geht. Aber vom Ausfallrisiko her eher suboptional. Bedenke, dass pro Mirror maximal eine HDD ausfallen darf. Das heist pro 19 HDD Mirror darf maximal eine Ausfallen (oder wenn du, siehe obige Frage, 24 max. meinst, dann pro 12 HDD Mirror).
Es nutzt dann halt auch keine Hot/Coldspare HDD was, wenn es dir ein zweites Laufwerk im Mirror während des Rebuilds zerlegt.
Besser wäre hier wohl was auf Paritätsberechnungsebene zu nutzen. Vorteil auch, du gewinnst Platz. Nachteil ist zumindest ein Stück weit, der Speed ist ggf. etwas geringer, da die Paritätsdatenberechnungen Zeit kosten. Das lässt sich aber via Caching und Co. ein Stück weit kompensieren bzw. gar ganz aus der Welt schaffen. Ebenso Vorteil, du kannst die Anzahl der Paritätsdaten nach oben hin steuern. Sprich zwei oder gar mehr wären potentiall machbar. Somit können auch mehr HDDs gleichzeitig stehen ohne das die Daten "in Gefahr" sind.
Hier dürfte wohl ein ZFS Storagesystem mit größerem Abstand am Flexibelsten sein. Die Frage ist eher, ob sich so ein Solaris/Unix Unterbau allein fürs Storage mit deinen Anforderungen deckt. Ist dann halt kein Ubuntu, wie du es jetzt hast und du musst dir ggf. Gedanken machen, wie du Sachen native auf dem Unix Derivat ausführst.
Ggf. ist es unter diesem Gesichtspunkt doch gar nicht soooo verkehrt, ein zweites System aufzuziehen, was allein das Storage bereit stellt. So eine kleine mini Xeon Kiste mit Anbindung der HDDs -> dort dann ein ZFS beherschendes System drauf und die beiden Systeme zusammen koppeln. z.B. via direkt verbundenen 10G Ethernet oder anderen Techniken, die schneller sind. Bei ner 1:1 Verbindung ist das teilweise sogar noch vergleichsweise günstig. Stellt sich halt nur die Frage, ob das mit dem Unix Unterbau zusammen tut.
Vorteil der Trennung wäre, das das Storage klar alleine agieren kann, wärend dein anderes System nur noch für die eigentliche Arbeitslast da ist und als Datenpool das externe Storage nutzt. Somit bleibst du flexibel, was deine Testereien angeht (freie OS Wahl) und beim Storage bist du ebenso optimal bedient.

Ein Zwitter wäre, das System auf ESXi umzubauen und das Storage über eine VM mit direkt durchgereichten Controllern zu nutzen. Nachteil hier aber, dein i7 kann kein vt-d -> ergo kein Durchreichen von Controllern an eine Storage VM. Das ist dann wieder anderweitig "gebastel". Sinnvoller, weil flexibler wäre hier ein Xeon E5 System... :wink:
Vielleicht wäre ein Tausch für sich interessant? Sprich SM Board + Xeon. Vorteil wäre sogar, du könntest auf ECC, ggf. gar Reg. ECC RAM gehen und somit auch mehr wie 64GB fahren. Der Preisunterschied rein Liste dürfte eher gering sein, kommt halt auf das Xeon Modell an. Ein Single 1600er ist preislich nicht sonderlich schlechter als der i7 und die RAM Preise unterscheiden sich auch nicht sooo extrem. Einzig die Boards werden ein Stück weit teurer sein.
 
Zuletzt bearbeitet:
Bessere, weil schneller und stressfreier wäre aus meiner Sicht die komplette Maschine in ein "Storage Case" zu verfrachten und native anzubinden.
Ob man dabei nun so ein 4HE Case mit 24 Einschüben nimmt, oder ggf. sogar zwei übereinander nutzt um dann auf 48 zu kommen ist dabei erstmal relativ egal. Auch wäre ein großes 24er Case + ein kleineres 16er Case eine Option. Die Backplanes sollten intern direkt an die Controller gekoppelt werden um möglichst effizient den Speed nutzen zu können.

Also in Summe 48 Slots wären sicher gut - vor allem zukunftssicher. Wie würde so etwas aussehen? Oder gibt es ein Case mit 48 Slots? Hat das mal jemand versucht? Kriterien sind viele Platten und *leise*.... die Kiste steht halt im Büro...


Was das RAID 10 angeht, so hast du recht wenn man erst das RAID0 und dann das RAID1 macht. Ich mache aber erst den Spiegel zwischen zwei Platten und darüber liegt ein großes RAID0. Datenverlust entsteht nur wenn dann neben dem primären Spiegel auch der sekundäre ausfällt.

Aber ich gebe dir generell recht: Ein so großes RAID über 24 Platten ist keine gute Idee. Ich denke, ich werde die Platten da anders aufteilen. Ich kann mir vorstellen den inneren - langsameren Bereich - zu zwei RAID6 (z.B. über 11 Platten) zu machen, und den äußeren - schnelleren - Bereich zu zwei bis drei RAID10 (siehe oben: erst spiegeln, dann stripen) zu machen. Aber das ist noch nicht ganz klar...

Für die Datensicherung gibt es heute schon ein internes LTO-6-Laufwerk :-)



Vielleicht wäre ein Tausch für sich interessant? Sprich SM Board + Xeon. Vorteil wäre sogar, du könntest auf ECC, ggf. gar Reg. ECC RAM gehen und somit auch mehr wie 64GB fahren.

Wenn ihr ehrlich bin: JA! Ich plane schon mehr als 64 GB RAM und da braucht man (Stand heute zumindest) zwingend ECC RAM... Das Problem war hier halt nen Board zu finden mit vielen PCI-Slots und ein passendes Gehäuse...
 
Zuletzt bearbeitet:
Klar gibts sowas, die sind dann halt größer... Wenn ich das recht in Erinnerung habe, gibts Cases bis 9HE. Mit entsprechend vielen Slots intern...
Kommt dann halt drauf an, was du bereit bist auszugeben. Das Case selbst ist idR gar nichtmal das teure an der Sache, teuer wird der Spaß durch die Backplanes...

Was die Ausfallwarscheinlichkeit angeht. Das ist mir schon klar... Man kann die Ausfallwarscheinlichkeiten berechnen ;)
Der Knackpunkt an der ganzen Geschichte beim Raid 10 ist halt, das beim Rebuild A) die Mirror HDD stark belastet wird und B) wenn diese irgend ein Problem hat, du den Rebuild nicht entsprechend durch bekommst. Es fehlt sozusagen die zweite Fallebene. Bei nem Raid 6 und Konsorten mit doppelter Parität wäre dies nicht der Fall. Die Daten lassen sich anhand der Livedaten + eine Parität oder anhand der Livedaten + die andere Parität wiederherstellen. Ist da ein Problem bei Rebuild, weil Sektoren nicht gelesen werden können, gibts immernoch die andere Parität ;)
Bei einem Raid 5 respektive Raid Level mit einfacher Parität bzw. auch einem Raid 1/10 MUSS zwingend die eine Redundanz im Ernstfall fehlerfrei sein... Wenn mich sogar nicht alles täuscht, hätte der reine Spiegel dabei sogar noch den klitzekleinen Nachteil, das die Daten eben genau auf einem einzigen Laufwerk liegen. Das müsste man ebenso in die Berechnung mit einfließen lassen.

Musst du dir mal für konkrete Fallbeispiele selbst ausrechnen, wie du da am besten fährst.
Ist ja unterm Strich alles eine Frage des Anspruchs...
 
Ich hab jetzt das Ding hier gefunden und das scheint mir ideal:

MAGNUM TX10-D - CaseLabs Store

Da gehen bis zu 48 Platten rein und man kann bis zu HTPX Mainboards da reinpacken. Alles in einem großem Gehäuse.... Und 48 Disks sollten auf absehbare Zeit ausreichen :-)
 
Ein guter Rat: Bau dir dein Projekt aus 19 Zoll Technik. Die Profis (in Rechenzentren) wissen schon, warum sie das tun. Übringens ist 48 Platten noch nicht das Ende des Möglichen:

Supermicro bietet hier was "Schönes": 72 HDD in 4HE
 
Also in Summe 48 Slots wären sicher gut - vor allem zukunftssicher. Wie würde so etwas aussehen? Oder gibt es ein Case mit 48 Slots? Hat das mal jemand versucht? Kriterien sind viele Platten und *leise*.... die Kiste steht halt im Büro...

Völlig realitätsfern.
Ich habe zwei 9HE CHENBRO Cases mit je 50 Slots im Serverraum stehen. Ich habe die als ZFS Backupsysteme mit Platz bis über 200 TB. Gewählt habe ich die, weil ich damit Sata Platten ohne Expander nehmen kann.

Nachteile
Je Case ca 4000 Euro
Laut wie 4 Billig-China-Turbo Staubsauger - Wie soll das auch anders sein. 50 Platten brauchen je nach Typ 300-1000 Watt. Das muss auch zuverlässig gekühlt werden können.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh