Server selber bauen - SATA HDDs/SAS Extender Backplane, HDD LEDs

[UserZ]

Hi,

nachdem ich mich nun über ein paar Jahre steigenden Leistungshunger hinweg vom ersten Homeserver auf VIA-Basis aktuell zu einem XEON E-1650 v3 auf uATX (Asrockrack) mit 1 SSD (Boot) & 6 HDDs (RAID10) in einem kleinen Gehäuse gearbeitet habe, bin ich das Gefrickel in kleinen Gehäusen nun leid. Der Server soll in den Keller wandern, dann ist die Lautstärke egal und ich kann 19" Racks nehmen.

Ausgeguckt habe ich mir als Basis für die nächste Erweiterung das Chassis 836E26-R1200B von Supermicro Supermicro | Products | Chassis | 3U | SC836E26-R1200B. U.a. die 16 Bays für SATA hätte ich gerne (2x SSD, Rest HDDs).

Was mir noch nicht ganz klar ist:

• Lt. Supermicro hat das Gehäuse eine Backplane mit SAS2 Dual Expander. Ich kann leider weder in der Anleitung noch auf der Homapage Details dazu finden. Kann ist über den SAS Expander (und den onboard-Controller des noch zu wählenden Mainboards) die SATA HDDs und SSDs anschließen, ohne dass ich einen separaten Controller brauche? Oder funktionieren solche SAS Expander wirklich nur mit SAS HDDs? An dem aktuellen SAS-Controller habe ich SATA-Platten hängen, aber ich weiß nicht, ob das auch mit Expandern geht.
• Weil mich auch das beim bestehenden Gehäuse immer genervt hat: Wie funktionieren die zur Lokalisierung von Festplatten (z.B. bei Defekt) vorhandenen LEDs am Gehäuse? Gibt es dafür Treiber, so dass man diese vom Terminal aus (Linux) ansprechen und blinken lassen kann? Geht das nur über spezielle Controller?

Danke für hoffentlich hilfreiche Hinweise.
UserZ

 

[underclocker2k4]

Herzlich Willkommen im Forum.
1. SAS Expander und SATA Drives sind nicht eine so geile Kombo. Besser wäre eine reine 1:1 Backplane. (gehen, ja...)
2.

Inband SES-2 Enclosure Management

Muss der (SAS)Controller können.

PS:
Achte auch auf Platten die du in einer solchen Anzahl zusammen in einem Gehäuse laufen lassen kannst. Normale NAS-HDDs gehen nur bis ~8x, danach brauchst du dann Enterprise HDDs.
Tipp: Nimm gleich SSDs

 

[michathe]

Hallo UserZ,

Ich würde dir ebenfalls empfehlen ein Gehäuse zu wählen welches eine 1:1 Backplane besitzt, die Expander Backplanes benutze ich persöhnlich nur bei Servern mit kommplett gleichen Platten. Siehe Sig

Die Supermicro Ghäuse sind Top, ich benutze selber einige.

Die Gehäuse sind allerdings neu ziehmlich teuer, ich würde dir empfehlen dich auf Ebay umzusehen.

Hier mal ein Beispiel: Supermicro SC 836 Server Gehäuse/ 16 HDD/ 3U/ 80 Plus Platinum | eBay

Das Gehäuse hat einen 1:1 Backplane.

Und ja SATA Platten kann man mit den Supermicro Expandern nutzen mache ich selber. Allerdings nutze ich nur Enterprise Platten wegen den Vibrationen.

 

[UserZ]

Danke, das ist hilfreich.

Ich habe mal bei Supermicro nach anderen Backplanes gesucht. D.h. ich würde dann z.B. sowas "brauchen": Supermicro | Products | Chassis | 3U | SC836A-R1200B

Und dann brauche ich ohne Expander sicherlich noch einen Controller... Davon ausgehend, dass das Mainboard 10 onboard hat, (edit sowas: Adaptec HBA 1000-16i, PCIe 3.0 x8 (2288400-R) Preisvergleich | Geizhals Deutschland? (Hardware-RAID brauche ich nicht, ich will nur die HDDs direkt durchreichen.)

Bei HDDs bin ich mit den im aktuellen Server vorhandenen 4 TB WD Re zufrieden und würde dabei bleiben wollen.

 

[UserZ]

Sorry, ich verstehe das trotz intensiven Googelns nicht: Wie schließe ich die HDDs an? (Ich versuche zu verstehen, was für Kabel ich bräuchte bzw. ob der HBA überhaupt "passt".)

Der Adaptec HBA hat 4xSAS HD SFF-8643 Anschlüsse. Auf der Backplane (BPN-SAS-836A) des Supermicro Chassis finde ich an der Rückseite Anschlüsse für 16 SAS/SATA HDDs, aber an der Front "nur" IPASS/I2C-, Lüfter- und 4x 4-Pin-Stromanschlüsse. In der ganzen Anleitung der Backplane finde ich nichts dazu, wie ich die Ausgänge des HBA mit der Backplane verbinde.

Oder verbindet man die HDDs direkt (wie bisher in Desktop-Gehäusen) mit SAS-auf-4-SATA-Kabeln mit dem HBA? Aber wozu hat dann die Backplane Anschlüsse für die HDDs?

Anleitung Backplane: http://www.supermicro.nl/manuals/other/BPN-SAS-836A.pdf
Anleitung HBA: http://download.adaptec.com/pdfs/user_guides/adaptec_hba_controller_iug_12_2015.pdf

Edit: Ok, vielleicht habe ich immer noch ein Gehäuse mit der falschen Backplane am Wickel, und ich brauche ein TQ-Gehäuse mit dieser Backplane: http://www.supermicro.com/manuals/other/BPN-SAS-836TQ.pdf

 

[michathe]

Also das Gehäuse was du oben verlinkt hast hat an der Backplane 4 Sff-8087 Stecker einer für je 4 HDDs.

Um die Backplane mit dem Adaptec HBA zu verbinden brauchst du Sff-8643 auf Sff8087 Kabel.

Die TQ Gehäse kannst du dir Sparen diese haben dann 16 einzelne Ports. Wenn du schon ein neues Gehäuse kaufe willst dann nimm das Oben verlinkte da hast du dann weniger Kabel die den Luftstrom verschlächtern.

Hier mal ein passendes Kabel: https://www.alternate.de/html/product/1089809?gclid=CIatwp6zp8oCFYWfGwod0VgL-g

Davon brauchst du dann eben 4 Stück.

Ich hab dir die SAS Anschlüsse mal makiert.

 

[UserZ]

Super, danke! Dann werde ich das mal mit SATA-Platten ins Auge fassen.

 

[gea]

Was für ein OS soll den benutzt werden?
Bei einigen ist die Unterstützung für Adaptec schlecht.

Ich würde auf LSI setzen, also z.B. LSI 9201-16i
oder 2 x LSI 9207 oder LSI 9211 (bzw baugleiche IBM M1015 oder Dell H200)
oder 9300-16i (auch wenn der Adaptec recht günstig ist)

Host Bus Adapters (HBAs)

 

[UserZ]

Der aktuelle Server läuft mit Ubuntu Server. Da ich das kenne, würde ich erstmal dabei bleiben wollen. Adaptec hat lt. Doku Unterstützung für Ubuntu 12/14, so bin ich drauf gekommen. Die vergleichbare LSI 9300-16i kostet ja fast das doppelte...

 

[KJaneway]

Gut für die HDDs kannste auch nen Controller auf LSI SAS 2008 Basis nehmen. Und hier empfehlen sich die von gea genannten IBM ServeRaid M1015 (ca 130€ auf Ebay) oder eben der Dell H200 (ca 50€ bei Ebay.fr). Diese lassen sich genau wie auch die originalen LSI Controller in verschiedene Modi flashen (zum. Bsp den IT Modus), die für Softwareraids gerne verwendet werden.

Dazu kommt, dass diese Controller eine hervorragende Performance und eine hervorragende Treiberunterstützung haben.

 

[UserZ]

Ok, überzeugt, dann nehme ich einen LSI Controller.

Brauche ich eigentlich Kabel von der Backplane zu den Einschüben, oder sind die schon auch für SATA passend verkabelt? Auf der Standard Parts List von Supermicro taucht genau ein Kabel auf (CBL-0087, 20" 16-pin to 16-pin Round Ribbon Cable), und auf der optional part list finde ich auch nichts, was für mich passend aussieht.

 

[michathe]

Deine Frage versteh ich nicht ganz. Du meinst ob man ein Kabel zur verbindung von den HDDs zur Backplane braucht?

Nein natürlich nicht, sonst wäre der sinn der Backplane nicht gegeben.

 

[UserZ]

Okok, wollte ja nur sichergehen.

Dann kann ich mich jetzt an das Zusammenstellen der Hardware machen, von der ich deutlich mehr Ahnung habe.

Danke nochmal für die Hilfe!

 

[UserZ]

[Kaufberatung] Heimserver

Anstatt was Neues aufzumachen, funktioniere ich den Thread mal zur allgemeinen Kaufberatung um und lade herzlich zur Abgabe persönlicher Meinungen ein.

Aufgaben des Servers: Im Wesentlichen Medien, viel transkodieren und streamen. Daneben hostet er noch knapp 10 VMs mit unterschiedlichen Diensten (Backup-Server (backuppc), Mailserver (max. 2000 Mails/Tag), Owncloud, Webserver mit Webmail und einfachen Seiten).

Aktuell läuft der Server mit SSD, 6 4TB HDDs im Raid10 Softraid auf einem Xeon E5-1650v3 und 32GB RAM. Plattenplatz wird eng, und die CPU läuft für das Transkodieren immer am Anschlag. Außerdem ist der dauervollgasbelüftete 145W-Xeon in einem kleinen Lian LI PC-V354A (Micro-ATX) mit 6 3,5" HDDs thermisch ein wenig auf Kante genäht und auch nicht mehr leiste. Die Kiste soll also mehr Platz und bessere Thermik erhalten und dafür mittelfristig auch in den Keller wandern.

Daher die folgende Aufrüst-Idee:

1. Gehäuse Supermicro SC836A-R1200B (s.o.)
2. Mainboard Asrock Rack EP2C612D16-2L2T
3. CPU 2x Xeon E5-2687W
4. 32GB Kingston ValueRAM DDR4-2133 regECC DIMM CL15 Quad
5. Samsung 850 Pro 256 GB SSD für OS und VMs
6. 10 WD Re 4 TB

Folgende Fragen stellen sich mir:

• (Wie) bekomme ich die Xeons gekühlt? Noctua NH-D9DX i4 3U?
  Oder lieber einen aktiven von Supermicro? SNK-P0048AP4 (siehe Übersicht hier)
  Und reicht der Platz im 836, oder sollte ich lieber ein 846 mit größeren CPU-Kühlern (Supermicro SNK-P0050AP4 oder NH-U12DX i4)nehmen? Wg. der 3,5" Einschübe reicht sicherlich auch das 836.
• Warum bietet Supermicro kein ATX/E-ATX Board an, das einen Intel 540 NIC onboard hat und Prozessoren mit einer TDP vom mehr als 145W unterstützt?
• Sollte ich jetzt schon einen zusätzlichen Controller nehmen? Das Asrock hat 12 SATA-Controller an Board, das würde noch knapp passen. Aber ob die komplett SGPIO unterstützen, ist mir nicht ganz klar - jedenfalls wird aber die Verkabelung mit onboard kabelsalatig, und beim nächsten Ausbau muss ich eh einen externen Controller dazu nehmen. Also gleich sauberer einen LSI (9300-16i oder was auch immer)?

Was meint ihr?

 

[gea]

ist das echt gemeint mit dem Heimserver?

Alles jenseits eines ASRock Rack > EPC612D4U-2T8R
macht ohne ganz spezielle professionelle Ansprüche absolut keinen Sinn mehr.

Wenn man aber seine eigene Ölquelle im Garten hat und einen passenden
"Heimserver" von Asrock sucht
ASRock Rack > EP2C612D16NM-2T8R
Der hat wenigstens 12G SAS/Sata statt Marvell

SuperMicro hat aber auch schöne Heimserver Mainboards mit 4x Xeon,
NVMe, LSI 12G SAS, 10G und Ram bis 1.5TB
Super Micro Computer, Inc. - Products | Motherboards | Xeon

 

[besterino]

Ich denke, der Verfasser wollte individuelle Kaufberatung. Die Anforderungen sowie das Budget sind wohl eher nicht Verallgemeinerung fähig, nicht mal im "Hardwareluxx"

 

[michathe]

Daher die folgende Aufrüst-Idee:

1. Gehäuse Supermicro SC836A-R1200B (s.o.)
2. Mainboard Asrock Rack EP2C612D16-2L2T
3. CPU 2x Xeon E5-2687W
4. 32GB Kingston ValueRAM DDR4-2133 regECC DIMM CL15 Quad
5. Samsung 850 Pro 256 GB SSD für OS und VMs
6. 10 WD Re 4 TB

Folgende Fragen stellen sich mir:

• (Wie) bekomme ich die Xeons gekühlt? Noctua NH-D9DX i4 3U?
  Oder lieber einen aktiven von Supermicro? SNK-P0048AP4 (siehe Übersicht hier)
  Und reicht der Platz im 836, oder sollte ich lieber ein 846 mit größeren CPU-Kühlern (Supermicro SNK-P0050AP4 oder NH-U12DX i4)nehmen? Wg. der 3,5" Einschübe reicht sicherlich auch das 836.
• Warum bietet Supermicro kein ATX/E-ATX Board an, das einen Intel 540 NIC onboard hat und Prozessoren mit einer TDP vom mehr als 145W unterstützt?
• Sollte ich jetzt schon einen zusätzlichen Controller nehmen? Das Asrock hat 12 SATA-Controller an Board, das würde noch knapp passen. Aber ob die komplett SGPIO unterstützen, ist mir nicht ganz klar - jedenfalls wird aber die Verkabelung mit onboard kabelsalatig, und beim nächsten Ausbau muss ich eh einen externen Controller dazu nehmen. Also gleich sauberer einen LSI (9300-16i oder was auch immer)?

Was meint ihr?

Also ich würde folgendes Vorschlagen:

Mainboard: Supermicro | Products | Motherboards | Xeon® Boards | X10DRC-T4+

CPUs: 2 X Intel Xeon E5-2643 V3 oder E5-2667 v3 (Die E5-2687W Gehören meiner Ansicht nach nicht in einen Server sondern eher in eine Workstation.)
Das Gehäuse bleibt.
RAM: 64GB. Bei DDR 4 würde ich als Minimum 8Gb Dimms nehmen also 8 x 8 (Quadchannel)
Das OS und die VMs würde ich getrennt halten daher:
2 X 120GB Samsung SSD PM863 für das OS im Raid 1
4 X 240GB Samsung SSD PM863 für die Vms im Raid 10
Die beiden Raid werden am LSI3108 vom Board betrieben

Bei den HDDs würde ich eher weniger 6TB/8TB HDDs nehmen um zukünftig noch etwas Luft zum Aufrüsten zu haben.

Nun zu deinen Fragen:
1: Nimm einfach passive 2HE Kühler von Supermicro Passend zu dem Board bei meiner Zusammenstellung z.B: Supermicro SNK-P0038P
Das Gehäuse kommt mit einem Plastikteil welches den Luftstrom der 3 Lüfter über die CPU kühler sowie den RAM leitet.
2: Ich nehme an, weil nur die Xeon E5-2687W eine höhere TDP haben und diese eher für den Einsatz in Workstations gedacht sind.
3: Also wenn du das Board was ich oben verlinkt habe nimmst dann würde ich keinen Extra Controller mehr nehmen.
Die 6 SSDs kommen an den LSI, die HDDs an die Onboard Ports.

Aber bei den Preisen solltest du dir schon absulut sicher sein das die Leistung nötig ist.

 

[UserZ]

1: Nimm einfach passive 2HE Kühler von Supermicro Passend zu dem Board bei meiner Zusammenstellung z.B: Supermicro SNK-P0038P
Das Gehäuse kommt mit einem Plastikteil welches den Luftstrom der 3 Lüfter über die CPU kühler sowie den RAM leitet.
[...]
3: Also wenn du das Board was ich oben verlinkt habe nimmst dann würde ich keinen Extra Controller mehr nehmen.
Die 6 SSDs kommen an den LSI, die HDDs an die Onboard Ports.

Danke für Deine Antwort. Das Gehäuse ist bei Supermicro nicht aufgeführt als für das Board optimiertes Gehäuse. Hat das was zu sagen? Die Kühlung mit passiven Kühlern funktioniert trotzdem?

Wegen der Controller habe ich mal in die Mainboard-Anleitung geschaut. Was für ein Kabel bräuchte ich denn wohl, um die Onboard-SATA-Anschlüsse und die separaten SGPIO Ports auf dem Mainboard mit der Backplane des 836A zu verbinden?

Gibt es irgendwo eine Übersicht über die ganzen Anschlussmöglichkeiten und passende Kabel?

Und ob die Leistung wirklich nötig ist... Ist ein Heimserver wirklich nötig? Ist halt ein Hobby, und Hobbies kosten Geld. Andere stellen sich für das XX-fache Autos in die Garage. Aber ja, ich könnte auch sicher zum Storage-Server für die Rechenleistung mehrere 1CPU-Boards mit 1650v3 oder so nehmen.

 

[michathe]

Dass das Board nicht aufgeführt ist sollte kein Problem darstellen. Die Passive Lösung sollte passen.
Um die Onboard Sata Anschlüsse mit der Backplane zu verbinden braucht du Revers SAS Kabel:
LSI 3ware 4x SATA auf mini SAS x4 (SFF-8087) Kabel, 1m (CBL-SFF8087OCR-10M) in Festplatten & SSDs: Festplattenkabel | heise online Preisvergleich

für die SGPIO Ports gibst bei Super Micro folgende Kabel: SGPIO Kabel, Supermicro Kabel CBL-0157L, Interne Verlängerung 40 cm, 20 Stück | eBay

Da musst du mal nachschauen ob die bei dem Gehäuse oder dem Board beiliegen.

Ja die Einsockel lösung wäre natürlich auch möglich. Dann hättest du noch mehr zum Basteln
Und ja die Kosten Ich hab gestern mal mein Dell M1000E wieder angeschmissen da kann ich mir die Heizung sparen