EPYC Server abgeraucht - Ersatz benötigt

[Shihatsu]

So, Schritt 1 wäre geschafft:

Das klappt mit dem kleinen Gigabyte-Board ja wunderbar. Nur das Case lässt auf sich warten, ich habs jetzt erst mal in ein altes Fractal "geschmissen".
Folgende Fragestellung tut sich mir auf:
Wir kriege ich meine alten Pools da rein? Ich hab noch nie einen ZFS-Pool von einem TrueNAS auf ein anderes umgezogen. Stört es dabei das ich von TrueNAS Core auf Scale gewechselt bin? Im Moment sind die Platten ausgebaut und liegen quasi rum.

 

[Shihatsu]

Okay, ihr müsst mir doch sagen wenn ich dumme Fragen stelle. Platten einbauen, Storage - Pool - import. Viel einfacher gehts nicht...

 

[besterino]

Ich trau mich generell nicht, Aussagen zu Dingen zu treffen, die ich nicht selber mal ausprobiert habe. Mir lag schon auf der Zunge, einfach mal nen Import zu probieren weil ZFS normalerweise vorab meckert, wenn das nicht sauber klappen wird. War dann aber wieder zu feige...

 

[Shihatsu]

Sodele, nun stehen hier zwei Gigabyte MJ11-EC1. ein Jonsbo N3 und ein altes Supermicro SC 3U.
Zum Jonsbo: Schadet es meine Platten (EXOS und WD Red) von horizontaler auf vertikale Einbauweise zu wechseln?
Zum SC: DAs Ding hat 2 800W Netzteile: https://www.amazon.de/Supermicro-PWS-801-1R-Redundante-Stromversorgung-intern/dp/B00JJ4SNYS
Gibts da nen Zwischending zwischen RZ Lautstärke und Silent? Mit halt deutlich weniger Power? Oder habt ihr ne Modding-Idee?

Ich trau mich generell nicht, Aussagen zu Dingen zu treffen, die ich nicht selber mal ausprobiert habe. Mir lag schon auf der Zunge, einfach mal nen Import zu probieren weil ZFS normalerweise vorab meckert, wenn das nicht sauber klappen wird. War dann aber wieder zu feige...

Ich hab ja ein (genauer: 3, aus Gründen des 3-2-1) Backup, daher war meine Furcht nicht sooo groß, aber prinzipiell bin ich da ganz bei dir...

 

[Supaman]

Zum SC: DAs Ding hat 2 800W Netzteile: https://www.amazon.de/Supermicro-PWS-801-1R-Redundante-Stromversorgung-intern/dp/B00JJ4SNYS
Gibts da nen Zwischending zwischen RZ Lautstärke und Silent? Mit halt deutlich weniger Power? Oder habt ihr ne Modding-Idee?

SC745BAC-R1K23B-SQ | 4U | Chassis | Products | Supermicro

745BAC-R1K23B-SQ

www.supermicro.com

Yes, Sir! In den Gehäuse sind 2x 1200w redundante NTs mit Titanium Level verbaut, 95% Effizenz... und bei normaler last nicht lauter wie ein Standard BeQuiet NT im Office Betrieb. Ich habe damit mal einen Server gebaut, der Stand beim Chef unter dem Schreibtisch ohne das es gestört hat

 

[Shihatsu]

Ach du Scheiße, was es nicht alles gibt! ~280 Steine neu, aber ich habe sehr gute Erfahrung mit gebrauchtem Enterprise Gedöns gemacht (Würde nie Platten gebraucht kaufen, alles andere ist ja nicht tot zu kriegen quasi). Ich geh mal auf die Suche. Wasn geiler Shice, dank dir!

Edith die olle Hupe sacht: https://www.piospartslap.de/Supermicro-Switching-Power-Supply-Netzteil-1280W-PWS-1K28P-SQ - und schon ein Angebot gefunden. Immer noch teurer als gehofft, aber günstiger als gefürchtet. Ich denke davon werdens dann 2, dann gibbet noch nen Octo dazu für die beiden Nidec und die drei SanAce Schreihälse und ich bin glaube ich glücklich. Wird natürlich total albern in so ein Case sowas reinzubauen, aber gerade eben hat mich die Bastelwut komplett im Griff...

 

[underclocker2k4]

Ich denke davon werdens dann 2,

Wenn du kein vorgezogenes Silvester haben willst, solltest du davon Abstand nehmen.

Superman hat dir da leider einen sehr schlechten Tipp gegeben.
Es gibt bei dem 836 bzw. allgemein bei den Servern, unterschiedliche PDBs. (das sind die Dinger, die das NT aufnehmen und dann die Strömlinge weiterleiten)

Du hast mit 800W die ältere Variante der PDBs.
Das 1280W hingegen verwendet die neuere Variante des PDBs.
Die sind in keinster Weise kompatibel!
man vergleiche mal:

Sofern du auf vorgezogenes Silvester verzichten magst, hast du 2 Optionen.
1. das PDB Tauschen, das ist fummelig aber nicht unmöglich, etwas Gewalt ist notwendig
2. du verwendest ein passendes -SQ (super quiet - was das wohl heißen mag) NT für eben das vorhandene PDB

1. hat den Vorteil, dass noch ein paar Anschlüsse mehr dabei sind, insbesondere PCIe, primär ist das für GPU Anwendungen gedacht, daher auch die 1,2kW (und sogar noch mehr). Allerdings muss man aufpassen, es gibt die PDBs nicht nur in verschiedenen Ausführungen (bezogen auf das NT), sondern auch noch mit verschieden langen Kabeln. Letzteres führt dann zu entsprechenden Problemen, gerade bei kleineren MBs, da ist man dann fröhlich am Verlängerungskabel zusammenstecken.

2. wird mit: PWS-920P-SQ am einfachsten erreicht.

-SQ NTs haben nicht nur den Vorteil, dass sie entsprechend leiser sind, sondern auch massiv Strom sparen. Das 800er hat 15W im ausgeschalteten Zustand....

@Supaman
Bei solchen Empfehlungen bitte immer vorsichtig sein, wenn man die Details nicht kennt.
Gerade bei so extrem lang laufenden Cases wie ein SC836, gibt es im Laufe der Jahrzehnte (das ist es echt bald) verschiedenste Revisionen. Dabei wurden viele viele Sachen angepasst, nicht nur die hier angesprochenen PDBs, sondern auch noch viele andere Baustellen. Müssen wir aber nicht ins Detail gehen.
Die Erfahrung bei deinem Chef ist nur ein ganz ganz kleiner Ausschnitt des gesamten life cycle des Cases. Daher lassen sich Sachen nicht ohne weiteres übertragen, auch wenn es nur "ein Case" ist.

PS: Keine Angst wegen das Silvesters. Die sind ja nicht blöde bei SM. Das passt einfach nicht, außer mit dem großen Hammer.

 

[besterino]

Ich bin mit meinem alten SM836 in Sachen Lautstärke auch ordentlich auf die Nase gefallen. Kam auch mit den 1200ern und habe mir dann extra die „superquiet“ 800er geholt. War aber ein Witz, quiet my a**.

Waren aber halt die alten. Würde mich trotzdem überraschen, wenn die leise sind. Mit einem 40er Quirl (oder mehreren) 800W wegkühlen, ist halt nen Thema.

 

[underclocker2k4]

800W gibt es nicht als -SQ
Wenn das wirklich 800W war, dann waren es die normalen und sind halt laut. Bzw. haben die keine wirkliche Tempregelung.

Die 920er und 1280er SQ hingegen sind in der Tat leise. Das hängt aber auch von der Last ab. Wenn man da wirklich 900 oder 1200W zieht, dann werden die halt auch laut.
Bei den hier angedachten 50W System ist das aber zu vernachlässigen. In dem Fall sind die echt leise.
Das ist kein Silentsystem mit nem semipassiv NT, aber ist auf jeden Fall aushaltbar.
Das hängt halt auch davon ab, ob man beide NTs drin hat oder nicht. Wenn man 2 verwendet, dann wird die Last ja halbiert. Es ist also was anderes ob man ein 400W System mit einem (1x 400W) oder zwei (2x 200W) NTs betreibt.

Zusätzlich haben die -SQ nen besseres 80Plus grading und haben damit auch weniger Verlustwärme.

Die -SQ werden auch in den SM Workstation nicht ohne Grund eingesetzt.
Das hat @Supaman ja beschrieben, mit dem Rechner beim Chef.

Wenn das Thema Sound wirklich groß ist, ist das NT nur ein Teil.
Der 2. Teil sind die Lüfter. Die sind, je nach Rev des Cases, nicht Drehzahl geregelt. Und dann machen die Lärm als gäbs kein morgen mehr.
Tauschen kann man die nicht ohne weiteres, da das Kabel des Hotswaprahmens nur 3 polig ist.
Entweder bastelt man sich was zurecht oder man baut das Ganze quasi auf ne neue Rev um. 4 polige Kabel und org. PWM Lüfter.
Das wird bei geringer Last/Temp deutlich leiser. Silent ist das immernoch nicht und wird natürlich auch maßgeblich durch das MB bestimmt. Gegenüber der alten Rev ist das auf jeden Fall eine wohltat.
Aber auch hier eben nicht mit einem echten Silentsystem zu vergleichen.

Unterm Bett im Schlafzimmer will man sowas freilich nicht stehen haben...

 

[Shihatsu]

Erstmal: Vielen Dank an euch für die wichtigen Informationen!

Der Server steht im Hauswirtschaftsraum im Keller. Meine Frau will auch Wäsche aufhängen können ohne komplett angepisst zu sein, und ich habe da gar keine andere Wahl als das zu erreichen. Mein Diskussionsspielraum ist quasi nicht vorhanden, WAF > me
Bei den verschiedenen Revisionen, Kompatibilitäten und co ist das von SM ja auch herrlich intransparent dokumentiert, Saubude die!
Ich weiß jetzt: Ich habe den "oldschool" Stil bei Netzteilen, aber ich habe 4-polige Hotswap-Lüfter, also da die neuere (?) Revision - das macht doch Hoffnung. Als Board ist wie gesagt das winzige Gigabytechen geplant, soll ja nur TrueNAS machen.
Mein Plan schaut also jetzt erst einmal so aus: Ein passenden SQ-Netzteil-Typ identifizieren und davon 2 besorgen, Octo holen und erst einmal alles von der CPU-Temp regeln lassen, da das Board ja nichts anderes hergibt auf den ersten Blick. Oder kann ich den Octo mit Linux verheiraten und dann abhängig von den Plattentemps die Front- und Backlüfter regeln?

 

[besterino]

Du kannst den Octo einmal (unter Windows) konfigurieren und dann läuft der wie konfiguriert unter Linux weiter. Der speichert die Einstellungen im Gerät und ist dann autark.

 

[Supaman]

Ich habe mehrere Systeme mit den Case wo die 2x 1280w-SQ Nts drin waren verbaut, und wenn man die übrigen Systemlüfter durch andere leisere und langsamere Lüfter ersetzt hatte, war der Server angenehm leise. Die Empfehlung richtete sich auf das gesamte Case mit den NTs, nicht das man da irgendwas aus unterschiedlichen Serien umsteckt was möglicherweise nicht passt.

Und ja, die Last war eher im unteren Bereich: ESX für ~10 VMs mit 2x Dual XeonE5, 128 GB und 6x HDDs. Würde mal so vermuten das Ding lief mit ~300-400w oder so.

Wenn ich heute ein System mit redundanten NTs bauen würde, dann würde ich eins von den Fortron Twins nehmen, weil Standard ATX Format, und deutlich preiswerter - die Supermicro Gehäuse sind übel teuer geworden.

 

[AliManali]

die Supermicro Gehäuse sind übel teuer geworden.

Wenn sie denn überhaupt geliefert werden.

 

[Shihatsu]

Sodele, nachdem mir hier wunderbar geholfen worden ist besorgte ich mir 2 PWS-920P-SQ aus der Bucht. Waren als "refurbished" angegeben, kamen komplett eingeschweißt und ohne Kratzer - die haben sogar noch gerochen wie neu!
Eingebaut, Stromversorgung hergestellt, erste Schock: Kein Mucks - defekt? Naja, versuchst mal tatsächlich an zu machen, Mainboard leuchtet. Klick, an, TURBINE FUCK YEAH! Also ja, die SQ gehen erst an wenn auch was dran saugt - wieder was gelernt. Turbine ist nach beiden "Ich werd dann mal langsamer" Threshholts (Weniger Last durch Bootvorgang zu Ende, CPU fängts idlen an) einem sanften Säuseln gewichen - meine beiden DELL 210er (OPNsense Firewalls) sind lauter. Es ist also nicht einfach nur gut geworden, es ist wirklich richtig schön silent. Also für nen Server. Ist lauter als meine Workstation, aber das war auch nie das Ziel super silent zu werden.
Damit wäre Ziel zwei erreicht, TrueNAS steht alleine. Proxmox steht erstmal auch alleine (das war Ziel 1).
Jetzt kommt dann tatsächlich Ziel 3 dran: Epyschen Ersatz besorgen...

 

[underclocker2k4]

Sag ich ja, die -SQ machen schon Sinn.
Kannst ja mal den Stromverbrauch in Relation zum 800er messen.
Da sind schon im "Aus" etliche Watt drin.
Das gibt nen Aha-Effekt.

D.h. auch wenn man den Server selten anhat, amortisieren sich die NTs relativ schnell. (wenige Jahre)
Kommt halt drauf an, wie günstig man die bekommt. Manchmal sind die für nen wirklich schmalen Taler drin.
Ich habe meine 1280er aus den USA für 40$ oder so geholt.

PS: Sei froh, dass du PWM-Lüfter hast. Bei den alten ohne PWM (und auch nicht über Spannung geregelt) brauchste dir um das alte NT keine Gedanken machen. Das fällt da überhaupt nichts ins Gewicht.

 

[Shihatsu]

JA, deshalb habe ich die beiden schnieken Dinger erst geholt, nachdem das PWM-"Problem" gelöst war. Waren zwar keine 40$, sondern 80€, aber meine Frau kam rein und meinte "Wolltest du nicht die neuen Netzteile testen?" - ihr Blick auf m,ein "Test beendet, das ist Livebetrieb" wars mir wert
Der Server läuft btw dauerhaft, 24/7, und da schläft nur selten was.

 

[pwnbert]

Ich habe meine 1280er aus den USA für 40$ oder so geholt.

Kleine OT Frage, wie bekommt ihr das hin bei so Kleinmengen? Wenn ich etwas stöbere nach so Kram find ich ja auch ab und zu ganz interessante US-Angebote, die durchs shipping aber total uninteressant werden...

 

[Shihatsu]

Uff, jetzt hab ich nen "Showstopper" der eigentlich an Albernheit nicht zu überbieten ist:
Ich brauche SATA Power im Gehäuse, am Board, nicht an der Backplate.
Von der PSU-Verteilunit kommt noch ein ungenutzerter 4pol EPS und ein ungenutzter 8pol EPS, die nicht verwendet werden (waren ursprünglich dazu genutzt die beiden Opterons die da mal drin waren mit Strom zu versorgen. Von der Backplate kriege ich ansonsten noch 3 Floppy-Anschlüsse, kann ich die verwenden?

Also wirklich, soooo kurz vor dem Ziel und dann sowas

 

[underclocker2k4]

Sind denn wirklich alle normalen Molex belegt, schau mal genau nach, ich bin der Meinung, dass da immer 1 frei war.
Ansonsten, wie voll und mit was ist die Backplane belegt.
Es gibt von der unterschiedliche Ausführungen/Revisionen.
Einige haben die Molex alle in einer Ecke und einige haben die für pro übereinanderliegenden Stapel.
Bei der Ersten geht die glaube ich auch, wenn man einen abzieht. (kommt halt auf die Last an)
Bei der Letzteren kann es sein, dass das auch geht oder, dass die Spannung nur im Stapel verteil wird.
Da könnte man dann auf einen Stapel verzichten z.B.
Das dient der Versorgung von irgendwelchen nonDrive Geschichten?
Weil das GB-Board hat doch keinen SATA-Power input?!

 

[Shihatsu]

Ach... manchmal verzweifle ich echt an mir...
Also, um das beantworten zu können hab ich jetzt mal alle Lüfter von der Backplane gezogen. Und dann wollte ich auch mal schauen wieivele Molexes da sind, also an einem mal gezogen. Der bewegte sich gar nicht, also in die andere Richtung gedrückt, und plötzlich zeigt sich unter der Backplate ein verklemmter, freier Molex-Stecker. Nach fluchen, Zangenarbeit (zum greifen, nicht biegen oder so) und 2 Cuts am Handrücken ist das Ding jetzt befreit, zeigt Richtung Innenraum und ist benutzbar - Molex zu Sata müsste ich sogar noch irgendwo rumfliegen haben*. Also alles gut, vielen Dank - hier wirste echt immer geholfen!



*Wie ich mich kenne geb ich nach 5 Minuten wühlen in meinen 5 Kabelkisten auf und bestelle ein Kabel...

 

[besterino]

Auch auf die Gefahr mich zu wiederholen: Crimpzange, paar Meter Kabel und diverse Stecker auf Vorrat und Du kannst alles basteln, was das Herz begehrt. Mit etwas Glück auch ohne Cuts am Handrücken (dafür eventuell allerdings gequetschte Fingerkuppen)...

Traue den Selbstgebauten jedenfalls mehr als den diversen Adaptern (vor allem Molex) - wo man gerne beim Einstecken auf der einen Seite hübsch die Kabel auf der anderen Seite aus der Buchse drückt...