SuperMicro Gehäuse Umbau // SATA/SAS JBOD

[NiclasM]

Hi,

aktuell bin ich am überlegen mein System umzubauen. Dahingehend ist die Überlegung ein eigenes Gehäuse für die Disks zu verwenden. Die Problematik liegt in den hohen Preisen (>750+ EUR) für 12+ Bay Gehäuse. Diesbezüglich ist die Überlegung groß ein gebrauchtes SuperMicro Case mit einem SuperMicro PTJBOD zu verwenden, die internen SATA/SAS Anschlüsse mit einem Adapter auf SFF-8088 nach außen zu legen und dann an jeden Server anschließen zu können.

Ziel ist ein leises, effizientes und nicht zu teures System. Als Ausgangs Punkt liegt mir dieses Gehäuse im Kopf (SuperMicro Gehäuse) sowie diesen PTJBOD zu verwenden.

Die dann anstehenden Arbeiten wären am Netzteil und den Lüfter. Das Netzteil würde ich gerne gegen ein normales ATX Netzteil austauschen. Die Leistung muss nur für 15 Festplatten gestämmt werden. Das dürfte im extremfall je Disk 12W (15x12= 180W) sein. Mit PTJBOD und Wirkungsgrad ggfs. 210W. Jedoch am liebsten besser weniger.

Die Lüfter müssten auch gegen etwas anders getauscht werden. Hier ist die Auswahl groß, und hier sollte sich schnell etwas ordentliches finden lassen. Einen eigenen Raum für das Server Equipment existiert, also Silent muss es nicht sein.

Was haltet Ihr von der Idee? Preislich wären dass bei den gerade verlinkten Produkte etwa
200 EUR (Case + Rail)
50 EUR PTJBOD
50 EUR Lüfter (6x)
70 EUR ATX Netzteil (+ Umbau?)
30 EUR SATA Kabel auf SFF-8087 u. SFF-8088 Adapter Slot
------
400 EUR inkl. MwSt. etwa

Für mich stellt das größte Problem der Umbau des Netzteiles dar. Gibt es da generelle Erfahrungen oder sogar Anleitungen wie sich der Umbau einfach gestalten lässt?

Mit freundlichen Grüßen,
NiclasM

 

[Chiller3333]

Beim Netzteil musst du dir vorher überlegen, wie du die Luftzufuhr Regeln willst. U.U. wäre ein SFX oder TFX Netzteil aufgrund der geringen größe besser geeignet als ein ATX. Je nach dem, welche Lüfter du im Case verbauen willst, sollten die aber alleine fast schon genug Airflow für das NT schaffen. Bin grad am Handy, wenn ich wieder am OC bin schau ich mir das ganze nochmal mit den genauen Abmessungen an

 

[NiclasM]

Stimmt. Ich habe das mit dem Lüfter bei den ATX Netzteilen gerade gänzlich vergessen. Wie du jedoch schon gesagt hast, glaube ich auch dass aufgrund der geringen Wärmeentwicklung im Gehäuse, der Lüfter des Netzteiles ruhig die etwas erwärmte Luft der durch die Festplatten geflossen ist anziehen darf. Soweit ich immer gesehen habe, werden die Netzteile und Grundlegenden Komponenten bei SuperMicro mit Nieten festgemacht, was das mit dem Netzteil nochmal Problematiker macht.

 

[besterino]

Hab mir genau aus den gleichen Gedanken so ein CSE-PTJBOD-CB2 auch gerade bestellt (Lieferdatum leider noch ungewiss), ein CBL-0167L hab ich noch (hoffe, damit kann ich die Backplane rausführen) und das sollte es dann eigentlich auch gewesen sein.

Als 80er Lüfter habe ich mit den Noctua NF-A8 PWM gute Erfahrungen gemacht. Schaufeln ordentlich und 3 davon waren in meinem 2HE InterTech quasi kaum hörbar.

 

[NiclasM]

Hi besterion,

hört sich gut an. Was wirst du bezgl. der PSU machen? Lässt du die originale im Gehäuse?

Grüße

 

[besterino]

Jopp. Ist bei mir in erster Linie zu Testzwecken (SATA HDD an SAS Expander-Backplane), bevor ich eine ganze Kiste ins Gehäuse umziehe.

Meine Netzteile sind mit einem Umweltgewissen quasi gar nicht vereinbar, aber man kann nicht alles haben...

 

[NiclasM]

Hoher Stromverbrauch muss nicht zwangsläufig nicht vereinbar sein. Ich lasse z.B. meine 60 Bay Tape Library Mittags hochfahren wenn meine Solar Anlage viel Produziert, und mach dann B2D auf B2T und fahre danach alles runter.

Ja das mit dem Netzteil gefällt mir noch nicht wenn das ganze Dauerhaft laufen soll. Hmpf.. Inter-Tech mag ich nicht. Hatte einmal ein Gehäuse und nur Probleme. Sonst wäre das eine Alternative.

 

[besterino]

Das InterTech ist derzeit ins "Restelager" gewandert: zu wenig Platz für HDDs. Hatte halt quasi das billigste vom billigen: kein Hotswap, ATX-Netzteilhalterung, intern 4x3,5" und Platz extern für Floppy und 1x5,25". Kam sogar mir 3x80er Lüftern, halt null geregelt. Fand das aber ok - wenn man realistische Vorstellungen hat von dem was man bekommt.

Das JBOD Modul ist für ein Supermicro 836E16 Case.

 

[Digi-Quick]

ich verstehe ehrlich gesagt nicht so ganz, warum du nicht das System komplett in das Gehäuse baust, das ist doch Platzverschwendung ohne Ende.
und du sparst die Kosten für "PTJBOD", welches nach meinem Verständnis einfach nur das "Power Good" Signal ans Netzteil geben soll - an Stelle eines Mainboards.

Zu Theme ATX Netzteil: Grundsätzlich sollte es rein von der Grösse her bei 3HE reinpassen, es kann natürlch sein, daß da irgentwelche Scheinen/Blech das verhindern, da muß evtl "gedremelt" werden - ansonsten ein SFX Netzteil nehmen.

 

[besterino]

ich verstehe ehrlich gesagt nicht so ganz, warum du nicht das System komplett in das Gehäuse baust

Meinst Du mich?

 

[NiclasM]

Ich gehe davon aus, dass er sich auf mich bezogen hat. Ich kann die Argumente sogar gut nachvollziehen.

Ich habe hier ein 42HE Rack, Platz spielt also keine Rolle, ich habe den Platz. Das Problem was immer bestehen wird ist, dass du mit dem Gehäuse des eigentlichen Systems an die Grenzen der Aufzunehmenden Festplatten kommst. Es ist also nur bedingt Flexibilität gegeben. Zudem finde ich die Unterbringung von vielen Festplatte in den normalen Gehäusen nicht so schön. Ich würde gern Hotplug sowie externen Zugriff auf die Festplatten haben. Mit einem solchen Gehäuse kann ich einfach den Server oder die Festplatten wechseln, ohne an den eigentlichen Server ran zu müssen.

Wenn der Stromverbrauch bei einer solchen Teilung nur geringfügig höher ist, würde ich mich darauf einlassen.

 

[Digi-Quick]

Achso, du brauchst mehr als 24 x Hot Swap HDDs in einem System......
https://www.xcase.co.uk/4u-rackmoun...4-hotswap-bays-coming-soon-239-00-x-case.html
318 Pfund + ca. 25 Pfund Versand = 343 Pfund
343 Pfund = ca. 435 €

Die Gehäuse für 36,48 oder mehr HDDs sind ja doch etwas teurer.

Vorteil deines Ansatzes ist natürlich, daß du den kompletten Storage einfach an ein anderes System umhängen kannst.

 

[besterino]

Hab mir neulich mal so ein 60-90HDD-Gehäuse von Supermicro auf 4 oder 5HE live und in Farbe abgeschaut. Was für ein Monster.

 

[Digi-Quick]

du meinst sowas hier?
https://www.xcase.co.uk/4u-rackmoun...dundancy-jbod-enclosure-3-900-00-chenbro.html

 

[besterino]

Den Onkel hier hatte ich vor mir: https://www.supermicro.nl/products/chassis/4U/946/SC946ED-R2KJBOD.cfm

 

[NiclasM]

Genau das SuperMicro Case finde ich auch toll. 12 G SAS Multipath etc. Nur Preislich absolut No-Way.

Ich bin bei Inter-Tech und ähnliche alternativen immer skeptisch. Ich finde die Quallität und SAS/SATA Kompatibilität meist schlecht. Lieber nur 3G oder 6G von SuperMicro umgebaut und dafür Qualität.

 

[besterino]

Mal ein kleines Update: das CSE-PTJBOD-CB2 ist angekommen und ich hab mal schnell eine alte Desktop-Kiste (S775/E8500, 4GB non-ECC RAM) zum Testen mit 'nem LSI HBA 4i4e ausgestattet und Solaris 11.3 + Napp-it (free) installiert.

Verbaut hab ich im SC836 zusätzlich zum CSE-PTJBOD-CB2:

SFF8088-SFF8088 Kabel (SC836 zu Server)
SFF8088-SFF8087 Adapter inkl. Slotblende (Kabel zur Backplane)
LED-Kabel (glaub ich zumindest - vermutlich nicht zwingend)

Jetzt teste ich einmal mit diesem Testaufbau zwei Pools (1x1TB SSD und 4x1TB HDD) ob es da irgendwo Probleme gibt (vor allem wegen SATA-Disks an SAS-Backplane), bevor ich ernsthaft überlege, den Hauptserver umzuziehen. Schau'mer mal, muss mir auch mal den Stromverbrauch anschauen und der Lärm selbst von nur 2x80cm Original-Lüftern (von 5) ist auch nicht zu unterschätzen... um auf das erste Posting zurück zu kommen: Wenn es leise werden soll muss da auf jeden Fall was dran gemacht werden, an den 80er aber auch die 2x40er der beiden Netzteile!

Die 1TB SSD hat die Kiste jedenfalls schon einmal erkannt und eine Replikation läuft bereits...

 

[NiclasM]

Ich habe mich erkundigt und ein Angebot reingeholt um das SC836 auf 12G SAS Dual Expander umzubauen. Die Teile würde ohne neue Netzteile etwa 980,- Kosten. Zwar schon deutlich günstiger, allerdings bin ich auch nicht bereit das zu zahlen. Die 80er Lüfter müsste man auf jeden Fall austauschen. Bei den Netzteilen bin ich mir aktuell gar nicht mehr so sicher, da die doch deutlich leiser waren als ich in Erinnerung hatte.

Ich hatte auch aktuell einiges zu tun, und bin nicht dazu gekommen viel zu machen. Was jedoch mir aufgefallen ist, dass ich nicht daran gedacht habe dass die Cases auch immer einen SAS Expander eingebaut haben. 4x SFF-8088 Blende und Kabel un ein anders Case - da wird mir mulmig. Dann wäre der Spaß weg. Da müssen wir auch noch eine Lösung finden.

Jedoch freut mich, dass du auch bei dem Thema bei mir bist!

 

[besterino]

Die Netzteile sind m.E. noch erträglich. Nicht Schlafzimmer-tauglich aber noch "ok". Wo wird dir denn mulmig? Meins hat die billo-Backplane, also SAS6G und SATA3G (reicht erstmal für die Spinning HDDs) ohne Redundanz auf der Backplane (halt das sc836E-R1200B oder so). Hab für das Case halt "nur" 500 neu gelöhnt, da konnte ich nicht widerstehen.

Im Nachhinein wäre eine der Varianten mit 2x2,5" Hotswap hinten raus (unter den Netzteilen) noch schöner gewesen und weniger Saft hätte es bei den NTs auch getan (2x1200W ist halt schon ne Nummer), aber dafür dürften die auch noch ne ältere Graka vom Typ GTX285 ohne Zimperlein verkraften...

Hab jetzt noch 4x2,5"-Adapter-Einschübe für die Hotswap-Schächte geholt, oben für den ODD und FDD-Schacht auch die Adapter für je noch 1x2,5", so dass da mit der ganzen Kabelage auch noch preislich was drauf kam, aber dafür ist es echt ein feines Casechen...

 

[NiclasM]

Wenn wir für die 16 Disks je 4 SAS Kabel ziehen müssen, und auch Intern im Server 4x auf SFF-8087 gehen, ist die Skalierbarkeit doch begrenzt
Ich guck mich mal nach SAS Expandern um.

 

[besterino]

Äh, die 836er Supermicro-Gehäuse haben doch eine Expander-Backplane? Meins jedenfalls. Ist nur die Frage welche (SAS6/12G redundanzfähig ja/nein; ich hab die billo-Version SAS6 ohne Redundanz). Damit kannst du aber die 16 Platten mit 1xSFF8087 anbinden. Klar, schneller geht immer, aber solange da normale drehende Platten drin hängen und es technisch ohne Probleme läuft - who cares?

Welche Backplane steckt denn bei Dir zurzeit drin? Wenn Du top-of-the-pops willst, wäre wohl die BPN-SAS3-836EL2 das richtige - gibt's dann auch als Server in Form des 836BE2C-R1K03B (puh, teuer).

Mich hat primär die Lautstärke der Standardlüfter mit dem geschockt. Schon nur 2 davon lassen RZ-Feeling aufkommen. Hoffe noch, dass das vielleicht am JBOD-Modul liegt (an dem ja auch die Lüfter hängen) und es mit einem Mainboard und dessen Lüftersteuerung leider wird. Der Test steht aber noch aus...

EDIT & Korrektur: Stelle gerade fest, dass meine Backplane doch SATA3/6GB kann. Limitiert dann nur durch "nur 4 Kanäle" bzw. 1xSFF8087. Da limitiert dann doch eh wieder das Netz (selbst mit 10GB - 4x6GB netto sollten dafür doch selbst mit Expander-Backplane reichen?!), da ich keine echten IO-lastigen Anwendungen "lokal" fahre.

 

[NiclasM]

Welche Backplane hast du genau?

 

[besterino]

Laut der Supermicro Seite die BPN-SAS2-836EL1, auch im Posting oben über Dir bei Ebay verlinkt (für 90 Euro). Per Typenaufkleber verifizieren kann ich das erst heute Abend (wenn überhaupt - hab' keine Lust das Ding auszubauen).

Jetzt habe ich vorhin da bei Ebay verstanden, dass die angeblich eventuell unter Umständen manchmal bei irgendwelchen "neuen großen" Platten Probleme machen könnte. Da ich es bisher spezifischer nicht habe finden können, schieb' ich heute Abend mal eine WD RED 4TB rein, klemm die an meinen LSI-Controller und guck' mal was Solaris davon hält.

Werde berichten, falls von Interesse.

- - - Updated - - -

Nachtrag: hier drin findet man immerhin was von Supermicro zu "getesteten HDDs"... na ich hoff mal auf das Beste...

 

[NiclasM]

Also in der eBaY Auktion ist die Rede vom SAS836EL1 und nicht SAS2-836EL1. Bin mir unsicher ob das wirklich jetzt vom Datasheet passt. :-?
Er benennt auch SAS1 also denke ich dass ist die falsche.

 

[besterino]

Oi, hast recht. Ich guck' vielleicht doch vorsichtshalber auch noch einmal bei mir... müsste aber eigentlich die SAS2 sein, da das Gehäuse jedenfalls mit dem Ding so auf der Webseite gelistet ist.

Für eine (Deine mal angedachte Version?) mit lauter SATA-Einzelanschlüssen gibt's übrigens gerade bei Ebay eine günstige Variante: http://www.ebay.de/itm/Supermicro-3...993475?hash=item2369081803:g:5RkAAOSw1KxXMepX

 

[besterino]

Also ich habe jetzt mal geschaut: auf dem PCB meiner Backplane ist klar BPN-SAS2-836EL1 aufgedruckt.

Und die WD Red 4TB (WD40EFRX) scheint in der Backplane erkannt zu werden und zu laufen:

Hab mal testweise ein paar Dateien per SMB auf einen Test-Pool/Filesys kopiert, scrub danach gab keine Fehler.

Die olle KingstonSSD (SATA) wird übrigens von der Backplane laut Activity LED als SAS-Drive erkannt (solid on/blue)... hat's aber definitiv hinter sich: Schreibraten bei Übertragung einer 45GB-Datei im Schnitt ~45-55MB/s - da is die WD flotter bei konstanter 1gbit-Speed. Käse.

Jetzt "stressteste" ich die Backplane noch ein wenig, indem ich über's (1gbit)Netz auf die 4TB Platte kopiere und parallel ca. 1TB von dem 4x1TB-RaidZ-Pool auf den 2x2TB-Mirror-Pool repliziere. Mal gucken, was scrub danach sagt.

 

[besterino]

@Niclas: bin gerade im anderen SC836-Fred darüber gestolpert: ein Ebay Händler in den Staaten liefert wohl "meine" BP für ca. 100 Euro auch nach DE. Supermicro BPN-SAS2-836EL1 - Server 3U - SAS/SATA Backplane +Frame FREE SHIP US! | eBay

 

[michathe]

Nur nochmal zum Senf dazugeben

Die SAS2/SAS3 Varianten haben keinerlei Probleme mit Platten > 2TB.

Die SAS1 Modelle haben fast alle Probleme (Alle Gehäuse 2/3/4 He) mit Platten > 2TB und sind daher nur noch zu gebrauchen, wenn man kleine Platten nutzt. (Der Expander Chip ist einfach zu alt)

Gerade in den Kleinanzeigen gesehen:

https://www.ebay-kleinanzeigen.de/s-anzeige/supermicro-sc846-sas-3-bpn-sas3-846el1-dual-1200w-gold/471437604-168-1887

vielleicht ja interessant für dich NiclasM.

 

[besterino]

Meine 4TB WD Red hat definitiv einen weg, nach 2 Monaten seit Kauf jetzt auch mit smartselftest error, vorher hat nur Solaris gemeckert.

Eine andere wurde in der BP aber prima erkannt und auch ansonsten laufen 4 alte 1TB und 2x2TB im mirror jetzt seit einigen Tagen und diversen Scrubs problemlos.

Wenn nur der Krach nicht wäre...

 

[NiclasM]

Also können wir erstmal davon ausgehen das 4 TiB Festplatten genommen werden. Ich bin noch unsicher was ich mache. Aktuell könnte ich mir auch ein neues Case / SAS3 Backplane leisten, aber es ist halt fraglich ob das es wert ist.