SuperMicro Gehäuse Umbau // SATA/SAS JBOD

[besterino]

Ist echt ne Preisfrage. Mehr als 500 finde ich für den Homebereich echt sportlich. Da ist Supermicro-Qualität zwar nett, ist (mir) aber den Aufpreis nicht wert. Dafür kann man schon einiges auf Basis eines Billo-Case zusammenstellen (dafür mit guten Backplanes oder so). Außerdem fängt man dann eben auch bisweilen an, die Profi-Dinger zu vergewaltigen, zum Beispiel wegen der Lautstärke, Stromverbrauch & Co. Wenn man dann die Features nicht nutzt oder Teile eh ersetzt, kann man auch gleich anders aufsetzen.

Jetzt sind wir hier aber nicht im Home- sondern im Profiforum. Da würde ich halt eher nix frickeln sondern eben möglichst einheitlich (von der Stange, mit Support möglichst aufs Gesamtkunstwerk) beschaffen.

Jetzt musst Du dummerweise wissen, was Dir wieviel wert ist.

Edit: ich könnte auch noch zu Testzwecken mal eine Seagate 8TB Archive anklemmen, aber das dürfte Deinen Einsatzvorstellungen schon wegen SMR nicht entsprechen. Andere große Platten habe ich halt leider nicht hier.

 

[gea]

Ich finde die Forums Aufteilung in Profi/ Home genausowenig hilfreich wie in den Shops von HP oder Dell denn viele "Profisetups" sind Schrott gegen manches Lab oder Homesetup. Das Thema ist das Entscheidende nicht die Frage wo ich das einsetze. Homelab heißt eben nicht automatisch billig und Profi nicht teuer & gut.

Wenn es aber um ein professionelles Setup geht, würde ich es immer vermeiden Sata Platten an einem Expander zu betreiben und da nur SAS Platten nehmen. Es geht zwar meist, professionelle Storageanbieter verweigern aber regelmäßig Support bei solchen Lösungen da im Problemfall (eine halbtote Sata Platte) es sehr schwierig sein kann diese zu entdecken wenn dadurch der Expander spinnt und der Support dann helfen soll.

Mit Sata gilt:
Mehrere HBAs nehmen ist viel zuverlässiger, ohnehin viel schneller und preislich ähnlich. Mit den neuen SuperMicro Baords gibt es neuerdings sogar 16 x LSI SAS/Sata Ports onboard für einen minimalen Aufpreis. Selbst bei 24 Ports brauchts dann nur noch einen erschwinglichen 8 Port HBA zusätzlich.

Expander würde ich nur dann nehmen wenn man wirklich viele Platten (> 24) oder HA auf Plattenebene braucht und dann den Aufpreis für SAS Platten akzeptieren.

 

[NiclasM]

Also beim Gedankengang bin ich immer noch nicht weiter. Ich möchte etwas ordentliches. Ich habe nie gesagt dass ich etwas Professionelles oder SAS Festplatten brauchte / betreibe. SAS Festplatten etc. sind zwar reizbar aber der Preis auch deutlich teurer. Ich benötige nicht einen High Performance Storage sondern ein Storage. Sequenzielle Übertragungsraten von 400-500 MBps sind dabei völlig ausreichend. Ich möchte dadrauf größtenteils Sicherungen von Kunden speichern, und Daten Roh Dumpen um dann File Recovery zu betreiben. Dass darf auch statt einer Stunde gerne 2 dauern. Wenn ich dafür nur 60% zahle, völlig i.O..

Ich bin hin und hergerissen was ich machen soll. Irgendwie grübelt es, mir viel Geld zu investieren, und in 2-3 Jahren ist das ganze wieder nix wert...

 

[besterino]

Fangen wir doch mal von vorne an (wenn Du magst)

1.
Wie viel Platz hättest Du denn gerne netto?

2.
Zur Performance: Die 400-500MB/s - bezieht sich das auf "insgesamt" und "Lokal" oder sollen die ggf. verteilt bei verschiedenen Hosts ankommen? Ich frag so doof, weil es halt was anderes ist konstant 1x500MB/s zu liefern als 5x100MB/s (letzteres bedarf ggf. sorgfältigerer Planung beim Storage).

Exkurs:
SAS ist m.E. heute (nur noch) high end, wenn man sich auch mal anschaut dass WD, HGST und Seagate inzwischen Datacenter Platten mit SATA-Schnittstelle rausbringen. Selbst die Dinger mit 8/10TB (ggf. mit Helium). Dabei werden die wohl nicht davon ausgehen, dass die dann an Onboard SATA-Controllern hängen. Außerdem empfiehlt Supermicro eben auch den Einsatz u.a. von "Enterprise SATA drives". Da gehören allerdings die WD Red noch nicht zu... Dann sollte man aber auch genau überlegen, ob man 4kn, 512 oder was auch immer für Sektoren für den perfekten Einsatz braucht - das macht halt nur Sinn, wenn man das letzte Quentchen Performance bzw. Kompatibilität braucht und wirklich weiß, was man tut. Gehöre also selbst nicht zur Zielgruppe...

3.
Dann stellt sich noch die Frage, wie laut es werden darf.

Exkurs: Das SC836 mit dem JBOD-Modul und den Standardlüftern macht jedenfalls keinen Spaß weil ordentlich Krach. Vermute, das Ding lässt alle angeschlossenen Lüfter einfach volle Pulle laufen, wird also auch mit anderen Lüftern wohl eher nicht so richtig leise. Muss man also noch was zusätzlich basteln, um die Lüfter runterzuregeln. Oder man schließt die direkt am Strom mit einem lowpower (5/7V?) Kabel an.

Dann wollte ich gestern mal mein Intel-Mainboard testweise ins SC836 einbauen um die Lüfter mal gesteuert zu betreiben. Das ist aber leider am nicht passenden Front-I/O Kabel (für 16 Pins) gescheitert, denn das Board ist halt nicht von Supermicro... Adapterkabel ist bestellt...

4.
Wenn man weiß, auf wie viele Platten es denn wirklich hinauslaufen "muss", kann man auch erst die Frage nach Backplane zwingend ja/nein beantworten. Bisher scheint mir die Expander-BP keine besonders negativen Auswirkungen zu haben. Aber es gibt ja offenbar für das Case auch eine Backplane mit 1:1 Anschlüssen (SATA?). Die kann man ja zur Not auch mit so Adapter-Slotblenden auf SFF8088 nach außen führen, aber dann bist du ja direkt auch schon mit 4 Kabeln zum Host dabei... Da kommt halt ein Expander schon was billiger (allerdings eben zu Lasten der Performance).

Dass das, was Du heute kaufst, in 2-3 Jahren nichts mehr wert ist, gilt aber doch für jede Hardware...

 

[gea]

Backplanes gibt es mit
(Bei SuperMicro in allen drei Varianten)

- Sata Anschlüssen (relativ sinnfrei da man dann einen Kabelsalat hat)
hier gehen nur Sata Platten, z.B. https://www.supermicro.nl/products/chassis/3U/836/SC836TQ-R710.cfm

- miniSAS Anschluss ohne Backplane Je SAS Kabel werden damit 4 Platten versorgt, egal ob Sata oder SAS
Wenn man so eine Backplane mit Onboard Sata verbinden möchte braucht man ein Reverse Breakout Kabel
Eine 8 Bay Backplane hat dann 2 mini-SAS Anschlüsse, eine 24 fach Backplane entsprechend 6 mini-SAS Anschlüsse
Hier kann man sowohl SAS wie Sata Platten betreiben - ohne Einschränkung oder irgendwelche Bedenken

Man braucht dann entsprechend der Anzahl der Platten Controller Ports, egal ob Sata oder SAS
z.B. https://www.supermicro.nl/products/chassis/3U/836/SC836A-R1200.cfm


-miniSAS Anschluss + Expander in der Backplane integriert
So eine Backplane hat einen oder zwei miniSAS Anschlüsse, unabhängig von der Anzahl der Platten.
In diesem Fall würde kann man Sata nehmen, sollte es aber eher vermeiden.
Für einen Expander genügt ein SAS Controller fpr 4 Platten (ein miniSAS Anschlusskabel)
z.B. https://www.supermicro.nl/products/chassis/3U/836/SC836E16-R1200.cfm


Mini-SAS steht hier für ein 3G, 6G oder 16G Kabel.
Es versorgt 4 einzelne Platten oder einen Expander mit der Performance der 4 Ports.


Für Sata Platten empfehle ich grundsätzlich Variante 2.
Preisliich ist es vom Case her gesehen egal. Auch sind 2 Controller ähnlich teuer wie ein Controller + Expander.

 

[besterino]

Schau mal einer an, die "A" Backplane mit 4xSFF8087 hatte ich gar nicht auf dem Schirm. Die machts im Gehäuse natürlich recht aufgeräumt. Benutzt man das Gehäuse nur für Storage ohne "PC Innenleben" braucht man aber doch immer noch 4xSFF8088er Kabel oder kann man die 4 Anschlüsse noch irgendwie kostengünstig(er) bündeln?

 

[gea]

Benutzt man das Gehäuse nur für Storage ohne "PC Innenleben" braucht man aber doch immer noch 4xSFF8088er Kabel oder kann man die 4 Anschlüsse noch irgendwie kostengünstig(er) bündeln?

Genau dafür wurden SAS Expander entwickelt.
Der verteilt den einen miniSAS Anschluss auf viele miniSAS Anschlüsse/ Platten .

 

[besterino]

Klar, ich dachte jetzt trotzdem nur an irgendwas, das 4x die Bandbreite von SFF8087/88 bündeln könnte.

Wenn ich das richtig verstehe wären das ja nur schlappe 4x4x6=96gbit - bei SAS3/12gbit geht ja auch "mehr" übers Kabel.

 

[gea]

SAS2 macht je Port 6 GB/s also ca 600 MB/s
Das miniSAS Kabel bündelt 4 Ports, kann also ca 2400 MB/s übertragen.
Das ist die Datenmenge die 4 aktuelle SSD liefern - wobei man sehen muss dass bei mehreren GB/s schnell der sonstige Server und das Netz limitiert und nicht mehr die Performance zum Storage Array.

SAS3 bringt mit 12 Gb/s das Doppelte.
Eine weitere SAS Ausbaustufe mit 22,5 Gbit/s könnte bis 2017 kommen

Will man mehr, kann man die 2 miniSAS Verbindungen zwischen einem 8Port HBA und einem passenden Expander bündeln.

Will man noch mehr, brauchts zwei 8Port HBAs und zwei Expander wie sie z.B. in einem 90 Bay SuperMicro Case verbaut sind

Die hohe Bandbreite ist notwendig, denn SAS Technik mit einem Expander kann bis zu 128 Platten. Wenn man das kaskadiert, dann bis zu 16384 Platten. Irgendwie muss die NSA ja Jbod Cases mit 90 SAS Platten oder Exabyte Storage zum laufen bringen.

 

[michathe]

Bin gerade über ein Top Angebot gestoßen vieleicht ist das ja was für dich niclas. Auf jedenfall besser als das sc846: https://forums.servethehome.com/ind...y-chassis-with-board-hbas-nic-etc-£350.10049/

 

[pumuckel]

das Problem mit dem : https://forums.servethehome.com/index.php?forums/great-deals.8/

es ist US basierend und beinhaltet keine MWST geschweige den Versand

für US gibt es einige Staaten die gute Conditionen haben, zu hier in der EU ist dann zu 95% kaum wirtschaftlich


ATM ist die UK der einzige Schnäppchenhafen

 

[besterino]

[...] Dann wollte ich gestern mal mein Intel-Mainboard testweise ins SC836 einbauen um die Lüfter mal gesteuert zu betreiben. Das ist aber leider am nicht passenden Front-I/O Kabel (für 16 Pins) gescheitert, denn das Board ist halt nicht von Supermicro... Adapterkabel ist bestellt...[...]

Muss meinen Lieblingsspruch ergänzen: auch wer dämlich (oder zu flüchtig - ist aber am Ende auch dämlich) kauft, kauft zweimal. Hatte das Kabel CBL-0068L bestellt. Das passt aber - wenn überhaupt nur direkt ans Frontpanel des Gehäuses - und außerdem scheinen dafür die Kabel viel zu kurz um vom Frontpanel bis zu den Pins auf dem Mainboard zu kommen (liegen bei dem Intel-Board z.B. genau auf der am weitesten entfernten Ecke). Richtig(er) wäre gewesen: CBl-0084L - dat hat den richtigen männlichen Anschuss bzw. Adapter (vgl. auch die SuperMicro Seite, wenn man da die Nummern 0068/84 ins Suchfeld eingibt). *seufz* Vielleicht hilft's ja jemandem für die Zukunft...

Ich jedenfalls warte jetzt wieder auf den Postboten...

 

[NiclasM]

Haha
Ich glaube das Problem hatte ich früher auch schon mal. Ich hatte eine Verlängerung gekauft.

 

[besterino]

Zu meiner Verteidigung: hatte zur Ehrenrettung noch nach einem 16Pin männlich/männlich Adapter (Pfennigartikel?) geschaut, aber nach ca. 10 Minuten Suche ist im Zorn über die eigene Dummheit und daraus folgende Wartezeit mir auch noch der Geduldsfaden gerissen...

*hust*

...könnten vielleicht auch nur 2 Minuten, na gut, oder auch noch weniger gewesen sein...

 

[michathe]

das Problem mit dem : https://forums.servethehome.com/index.php?forums/great-deals.8/

es ist US basierend und beinhaltet keine MWST geschweige den Versand

für US gibt es einige Staaten die gute Conditionen haben, zu hier in der EU ist dann zu 95% kaum wirtschaftlich


ATM ist die UK der einzige Schnäppchenhafen

Daher der Tipp der Deal is aus England

 

[besterino]

So ihr Freunde des SC836: ich habe mal ein wenig Stromverbrauch gemessen. Gemessen mit HomeMatik Schaltaktor mit Leistungsmessung und kontrolliert mit 'nem Inspector II per Differenzbetrachtung (der hängt zwischen Wand und Steckerleiste, in der diverse Dinge Strom verbrauchen).

Im SC836 ist nur das JBOD-Modul eingebaut, daran wiederum die hinteren beiden Lüfter und die Verbindungskabel zur Backplane (der Stecker für's Monitoring und die LEDs wenn ich das richtig verstanden habe) angeschlossen. Es ist also kein System drin und keine Festplatte gesteckt.

Nur mit Netzteilen eingesteckt, alles aus, fressen meine 2x1200W Brummer ganz entspannt (geiler Wortwitz, wa?) schon 15-16W.

Eingeschaltet werden's dann direkt 58-59W.

Mit 7 SATA-HDDs (unterschiedliche Hersteller, 1x 7200er, Rest glaub 5400er) sind es dann 94-95W. Wie gesagt, immer noch ohne "PC-Innenleben".

(Beim Kaltstart mit den HDDs gesteckt geht die Last kurz auf ~145W rauf, pendelt sich dann aber wieder auf ~95W ein.)

Nunja, mit 4-7% der maximalen Leistung ist man da wohl auch noch etwas außerhalb des optimalen Effizienzbereichs der Netzteile...

Mit PC drin kann ich ja erst testen - Strom wie Lautstärke - wenn dieses @#!§?!-Kabel da ist.

 

[besterino]

So, das @#!§?!-Kabel ist endlich da - ausgerechnet jetzt komm' ich nur erstmal nicht zum Frickeln...

 

[NiclasM]

Shit.

Ich erhalte heute 2x LTO5 Drives mit SAS Enclosure für 250,-. Da ich auch noch ein SAS LTO5 Drive habe, fängt die Überlegung an, ob es nicht wirtschaftlicher ist, statt eines großen Laufenden Speichers, einen kleinen Speicher zu haben und ältere Sachen zu Archivieren. Ich habe einen Mirror Storage aus 6x 4 TiB HGST. Die 12 TiB würden sogar ausreichen wenn große Sicherungen etc, nach 21 Tagen Archiviert werden auf Band. Zudem ist der Preis pro TiB deutlich geringer. Bei einem LTO5 Tape mit 1,4 TiB Netto bei etwa 20-22 Euro komme ich auf 15 EUR pro TiB. Im Preisvergleich liegen alle Festplatten (billig Zeug) bei mind. 27 EUR das TiB. HGST mit 5 TiB+ liegt schnell bei 40-60 EUR das TiB.

Ich benötige nur noch eine GUTE Archivierungs Software. Nach Möglichkeit natürlich Gratis

 

[besterino]

Aaaalso... ich habe heute mal zu Testzwecken mein Intel-Board in das SC836 verpflanzt... und dann auch wieder zurück ins Lian-Li PC-Z70.

Einfach zu laut. Ich hatte ja die Hoffnung, dass das Board die Lüfter vielleicht auf ein akzeptables Maß herunterregelt, aber (im wahrsten Sinne): Pustekuchen! Ich muss nun erst einmal eine neue dauerhafte Lösung für die Unterbringung der Krawallbrüder finden, bis dahin hat das SC836 erst einmal Pause oder wird nur bei konkreten Spielereien mal angeworfen.

Geht einfach gar nicht im Wohnhaus (auch nicht im Keller mit geschlossener Türe).

 

[pumuckel]

^^

ja der Kleine kann schon Wind machen

 

[michathe]

Aaaalso... ich habe heute mal zu Testzwecken mein Intel-Board in das SC836 verpflanzt... und dann auch wieder zurück ins Lian-Li PC-Z70.

Einfach zu laut. Ich hatte ja die Hoffnung, dass das Board die Lüfter vielleicht auf ein akzeptables Maß herunterregelt, aber (im wahrsten Sinne): Pustekuchen! Ich muss nun erst einmal eine neue dauerhafte Lösung für die Unterbringung der Krawallbrüder finden, bis dahin hat das SC836 erst einmal Pause oder wird nur bei konkreten Spielereien mal angeworfen.

Geht einfach gar nicht im Wohnhaus (auch nicht im Keller mit geschlossener Türe).

Die Chassis sind halt für die Supermicro Boards gebaut mit denen bekommt man die Gehäuse schön leise

Mit Intel Boards habe ich eigendlich nur Probleme im bezug auf die Lüfterconfiguration egal mit welchen Gehäusen. (Ausgenommen Intel)

 

[besterino]

Jetzt ernsthaft? Diese Flugzeugturbinen können auch leise? Mit Supermicro Boards?

Das Intel Ding ist mit 120ern und 140ern im anderen Gehäuse quasi unhörbar.

 

[michathe]

Ja ernsthaft Wenn die Lüfter richtig angesteuert werde sind die erstaunlich leise. (natürlich leise in Bezug auf Rack Systeme)

 

[besterino]

hmpf.

Will eigentlich jetzt nicht noch 100 Euro in so ein altes Board mit Sockel 1155 investieren, wenn ich die Intel-Kiste in den Ruhestand schicke. Oder ich schlachte den T130 aus, also nehm den E3-1220v5 und RAM und pack' das auf ein aktuelles 1151er Supermicro, da bin ich dann aber mit mindestens ~240 Euro dabei, bzw. sogar mit 400 wenn man die 10Gbase-T "mitnimmt"... was man ja fast muss, wenn man mal die Einzelpreise überschlägt... aaargh! Das ist eigentlich zu teuer, nur um ein bestimmtes Gehäuse "leise" in Betrieb zu nehmen (was man, also ich, quasi aktuell nicht muss).

Ich glaub' das spare ich mir dann doch... ...vielleicht dann in Zukunft ja mal irgendwas mit Sockel 3647...

 

[besterino]

Alles Mist. So viel zum Thema "sparen": Hab jetzt doch ein X9SCM-F inklusive 1HE passiven Kühler mit Backplate geschossen. Und wo ich schon dabei war, habe ich auch zum Testen nen kleinen G2120 für 25 Euro mitgenommen, so dass ich erstmal nur bisken RAM zum Testen umstecken muss und nen LSI 4i4e hab ich eh noch rumliegen... für einen reinen Filer müsste der G2120 ja eigentlich reichen, nur doof dass der nur 16 PCIE Lanes (2.0) hat und nur max 3 Slots (8/4/4) unterstützt.

Naja. Ma guckn.

@michathe: WEHE die Kiste ist damit nicht signifikant leiser!

 

[michathe]

Alles Mist. So viel zum Thema "sparen": Hab jetzt doch ein X9SCM-F inklusive 1HE passiven Kühler mit Backplate geschossen. Und wo ich schon dabei war, habe ich auch zum Testen nen kleinen G2120 für 25 Euro mitgenommen, so dass ich erstmal nur bisken RAM zum Testen umstecken muss und nen LSI 4i4e hab ich eh noch rumliegen... für einen reinen Filer müsste der G2120 ja eigentlich reichen, nur doof dass der nur 16 PCIE Lanes (2.0) hat und nur max 3 Slots (8/4/4) unterstützt.

Naja. Ma guckn.

@michathe: WEHE die Kiste ist damit nicht signifikant leiser!

Das wird

Nebenbei sollte der Stromverbrauch sinken, bei meinen 846 / 847 genemigen sich die kleinen 50 - 70 Watt bei full speed Sind halt Lüfter und kein spielzeug

 

[besterino]

Das wird

...wer hätte das gedacht. Wurde tatsächlich leiser. Vor allem die 80er Lüfter. Ist immer noch nicht wirklich leise, aber deutlich erträglicher. So erträglich, dass ich nun noch einmal überlege, meinen Fileserver evtl. doch in das SC836 umzuziehen. Allerdings hört man jetzt doch deutlich die 40er in den Netzteilen... Naja. Mal schauen.

Habe für das Gehäuse auch zwischendurch die Einbaurahmen erstanden, um oben über den 3,5"-Schächten links (statt DVD) und rechts (statt floppy oder so) jeweils eine 2,5" H/SDD einbauen zu können. (Da stecken zurzeit meine SM863 drin, bin aber noch nicht ganz schlüssig, ob ich das so lasse).

Zusammen mit 4 weiteren 2,5"-Adaptern für die 3,5"-HotSwap-Schächte, die hier auch bereits liegen, könnte ich dann auch meinen SSD-Pool bequem unterbringen und hätte noch 12 Plätze für HDDs. Reicht locker (für mich).

Jetzt teste ich mal wieder ein bisserl mit dem Pentium G2120 und einem (nicht-virtualisierten) Solaris 11.3 (natürlich wie immer mit napp-it).

 

[michathe]

na also da hat sich die Investition doch gelohnt