Supermicro IPMI Verständnisprobleme und allgemeine Überforderung

[Simaryp]

Hi,

ich habe gestern meinen Server zusammengebaut und heute Debian drauf installiert. Erst hat mich der blöde grub Ewigkeiten gekostet, weil der Debianinstaller verbuggt ist. Nachdem ich das hinbekommen habe, hänge ich seit Ewigkeiten mit verschiedenen Netzwerkproblemen fest und ich habe gerade verstanden, dass es wohl daran liegt, dass ich von dem IPMI überfordert bin. Vielleicht kann mir ja hier jemand weiterhelfen.

Ich habe ein Supermicro X11SCH-F.
Das erste Problem, womit ich viel Zeit verbracht habe ist, dass meine Settings in Debian zum Netzwerk ignoriert wurden. Ich habe festgestellt, dass das daran liegt, dass das IPMI seine eigene Netzwerkeinstellungen hat und dort war DHCP eingestellt. Das konnte ich lösen, indem ich dort manuell meine IP eingetragen habe und bei Debian dann einfach alles auf DHCP gelassen habe.

Jetzt wollte ich meinen SSH Server einrichten und habe immer wieder den Fehler bekommen, dass das Passwort nicht akzeptiert wird. Mein Verständnis ist gerade, dass das IPMI auch einen SSH Server hat. Jedenfalls kann ich in der Weboberfläche dazu was einstellen. Und ich vermute, dass der Debian SSH Server gar nicht erreichbar ist, obwohl er läuft. Kann auch sein, dass das alles quatsch ist. Aber ich komme gerade echt nicht weiter.

Außerdem wäre ich super happy, wenn mir jemand sagen kann, wie ich die Tastatur vom KVM HTML5 einstellen kann. Ich habe mir jetzt beholfen, indem ich ne extra Tastatur am Server habe, aber das kann ja auch nicht die Lösung sein. Die Eingaben passen weder zu meiner physischen Tastatur noch zu dem Layout der virtuellen Tastatur.

Hätte echt nicht gedacht, dass ich wegen solcher Kleinigkeiten den ganzen Tag verbrate...

 

[underclocker2k4]

Über welchen Netzwerkanschluss versuchst du denn das Debian zu erreichen?
Bitte Portbezeichnung aus Handbuch, Foto oder Zeichnung.

 

[Simaryp]

Das ist LAN1
In Debian als eno1 bezeichnet.

Ich habe im uefie meine IP Adresse eingetragen, meine Subnetzmaske und mein Gateway und ich kann auch den Server per Browser erreichen und im IPMI rumspielen. Die ganze Installation des Servers habe ich über die HTML5 KVM gemacht. Vielleicht liegt es auch nicht am IPMI und ich bin einfach zu doof.

EDIT: Nee, liegt am IPMI. Habe gerade mal die IPMI Zugangsdaten beim SSH Login versucht und lande damit beim IPMI.

 

[underclocker2k4]

Stell mal im BIOS -> IPMI -> BMC -> "IPMI LAN Selection" auf dedicated um.
Und verbinde IPMI-LAN und LAN 1 mit deinem Netzwerk.

 

[oNyX`]

Warum nimmst du nicht einfach die dedicated IPMI NIC (ist bei bei dem Brett die ueber den USB Ports) fuer IPMI und fuer LAN die anderen beiden NICs?

 

[underclocker2k4]

Genau das versuche ich ihm ja gerade aufzuzeigen.

@TE
Das liegt nicht am IPMI, sondern an dir, bzw. an der "falschen" Verwendung der Ports bzw. Config.

 

[Simaryp]

Ok, ich glaube ich habe es verstanden.
Mir war nicht bewusst, dass man das so benutzen sollte.
Also verbinde ich LAN 1 (und oder LAN 2 bei LAGG) für das Server OS mit dem Switch und richte eine IP für das Netzwerk ein und zusätzlich verbinde ich das IPMI LAN Interface mit dem Switch und richte dort eine andere IP ein, um den Server steuern und überwachen zu können, ja? Damit wären dann auch die Port Doppelungen erledigt.

Vielen lieben Dank!

 

[Simaryp]

Unterschiedliche IPs und SSH funktioniert jetzt.

Leider ist das Tastaturlayout unter der kvm Konsole immer noch bescheiden.
Wenn da jemand ne Idee hat, wäre das super. Brauche das, um beim reboot per remote das System zu entschlüsseln.

 

[oNyX`]

US Tastatur(QUERTY) lernen, mir ist auch kein Weg bekannt das Layout in der iKVM (HTML5) auf DE zu ändern. Ich glaub in der Java Version geht das, aber bevor ich mir JRE installieren wuerde, wuerde ich eher QWERY lernen wollen

 

[Simaryp]

Leider ist das aber auch nicht QWERTY, wenn ich auf meinem Arch Rechner da was rein tippe. Also schon QWERTY, aber Sonderzeichen liegen komplett woanders. Keine Ahnung, was das für ein Layout ist. Jedenfalls stimmt es auch nicht mit der Anzeige der virtuellen Tastatur überein.

 

[Holt]

Also verbinde ich LAN 1 (und oder LAN 2 bei LAGG) für das Server OS mit dem Switch und richte eine IP für das Netzwerk ein und zusätzlich verbinde ich das IPMI LAN Interface mit dem Switch und richte dort eine andere IP ein, um den Server steuern und überwachen zu können, ja?

Ja und ich würde nie die IPMI zum Bedienen des OS nutzen wollen, sondern nach dessen Installation dann ssh (von Windows z.B. putty) nehmen um mit über die IP des Rechners (nicht der IPMI) mit dem OS zu verbinden. Sollte Dir eine Konsole nicht reichen, so gibt es z.B. Xming (oder Alternativen wie MobaXterm) um auch Fenster auf einem Windows Rechner angezeigt zu bekommen. Damit kann man den Linux Server viel einfacher bedienen als über die IPMI, die ich nur zur Überwachung, dem Hoch- und Runterfahren und sowas nutze.

 

[Simaryp]

Klar, mache ich auch, aber ich hab die Systemplatte verschlüsselt und muss daher beim booten das Passwort eingeben. Da läuft ja der SSH Server noch nicht.

 

[martingo]

Ich würde empfehlen, ein hinreichend gutes Passwort zu wählen, das mit jeder Tastatur und ohne verschobene Sonderzeichen einzugeben ist.
Ist das einfachste und sicherste.

 

[oNyX`]

@Simaryp alternativ koenntest du Dropbear nutzen https://www.thomas-krenn.com/de/wiki/Voll-verschlüsseltes-System_via_SSH_freischalten

 

[Simaryp]

Davon habe ich schon mal gelesen. Dachte durch das IPMI kann ich mir das sparen...
Aber so wird es dann wohl gehen müssen. Immerhin war das KVM bei der Installation und der ersten Einrichtung nützlich, bis SSH ging.

 

[Toranaga]

Also normalerweise sollte das prima mit den zwei MAC und zwei IP auf der LAN1 funktionieren.

Was aber sein kann: War das Netzwerk zum Zeitpunkt der Erststarts des Servers nicht erreichbar? Kabel z.B. nicht richtig drin? Switch noch aus?
Dann kommt das System mit dem Aufschalten der IPMI auf das LAN1 durcheinander.

Hatte das auch schon. Lösung war Rechner ausschalten, 10 Minuten vom Strom und Netzwerk trennen, Netzwerk einstecken, Strom einstecken, einschalten. Danach funktionierte es bei mir wieder perfekt. Grund für den Kuddelmuddel war damals das der Switch erst nach dem Server eingeschaltet war.

In den Foren schreibe manche auch das die BIOS-Batterie auch raus muss. Aber bei mir hat es ohne funktioniert. Der IPMI muss komplett stromlos sein. Das dauert eben einen Moment bis alle Kondensatoren entladen sind.

 

[Simaryp]

Danke für den Hinweis. Spätestens nach Umbau meines Netzwerks, sollte ich genügend Ports haben. Dann trenne ich das lieber so.

Werde dann wohl sowas wie Dropbear nutzen. Kämpfe gerade noch mit Kühlungsproblemen an meinem neuen Server. Deswegen bin ich gerade etwas geblockt/ abgelenkt, was Software angeht.

 

[oNyX`]

Fan Ramping bzw Lower Threshold Spam im IPMI?

 

[Simaryp]

Ne, von der Lüftersteuerung beim IPMI bin ich zwar alles andere als begeistert, aber da geht es eher darum, dass die HotSwap-Bays in meinem Gehäuse so eng sind, dass kaum Airflow da ist. Vielleicht kann ich es aus Kulanz noch zurück schicken, ist aber noch nicht klar. Wenn die Festplatten arbeiten müssen die Noctua NF-A8, die ich da dran gebaut habe bei 100% laufen, um die Platten unter 40°C zu bekommen. Bei einigermaßen angenehmer Geräuschkulisse, gehen die Temperaturen langzeitmäßig eher Richtung 50°. Naja, ein anderes Topic.
Aber abgesehen davon, wäre ich super happy, wenn man die Lüfter ans OS durchreichen könnte, um die mit fancontrol oder so anzusteuern.

 

[RICE]

Das ist leider das übliche Problem: Man kauft ein 19" Gehäuse, und will das dann im Wohnbereich aufstellen.

Die 19" Server-Gehäuse sind auf hohen Luftdurchsatz ausgelegt, man hat eine Fan-Wall in der Mitte mit einem starken Luftstrom, der das komplett bestückte System im Volllastbetrieb kühlen können muss.
Deshalb nimmt man hierfür Lüfter mit hohem Fördervolumen, statischem Druck, und hohen Drehzahlen, teils sind die Lüfter auch 38mm dick.
Natürlich müssen die Lüfter jahrelang unter Last durchlaufen können, und sind deshalb mit zuverlässigen (aber etwas lauteren) Lagern versehen.
Die Lautstärke ist im Serverraum egal, da geht eh niemand hin so lange alles läuft.

Aber es kommen immer wieder Leute auf die Idee, die "lauten" Originallüfter von 19" Systemen mit "leisen superklasse" Noctua-und-Co-Lüftern auszutauschen um das ganze auf Silent zu trimmen, funktioniert ja bei Midi-Towern auch super so.
Das soll jetzt sicherlich kein Noctua-Bashing werden, die Lüfter sind ja auch gut. Nur leider sind sie eben absolut nicht auf diesen Einsatzzweck ausgelegt und deshalb komplett unpassend, die Industrial PPC vielleicht mal außen vor.
Silent funktioniert wunderbar bei normalen Tower-Gehäusen, die haben große Einlassflächen mit relativ wenig Widerstand, da reichen auch niedrigere Drehzahlen.
Wenn man das aber mit 19" Gehäusen machen will (vor allem mit den kleinen 1-3HE), dann kochen eben die HDDs und Prozessor im eigenen Saft, weil der lebensnotwendige Luftstrom fehlt.

Such einfach mal das Datenblatt von den original verbauten Lüftern, und vergleiche Förderstrom, statischen Druck und Drehzahl mit deinen NF-A8, da liegen Welten dazwischen...

 

[Simaryp]

Naja, ist auch kein wirklich klassisches Servergehäuse mit Fan-Wall, sondern ein 4HE mit 2x 4 HotSwap-Bays.
Die 2 80mm Lüfter, die auf den Bays montiert waren sind diese hier:

http://szdafengge.com/pd.jsp?id=72#_pp=2_499

Konkret die DFG8025B12M.
Mein Chinesisch ist etwas eingerostet, aber die Noctua dürften da gleichauf sein, wenn ich die Werte richtig lese.

Insgesamt ist das komplette Belüftungskonzept dieses Gehäuses und in ganz besonderem Maße der HotSwap-Bays bescheuert. Die Bays sind bescheuert, weil erstens die HDDs in den Bays so dicht gepackt und damit der Querschnitt für die Luft zur Front hin sehr winzig ist, und zweitens der Käfig der bays total durchlöchert ist, auf Höhe der Lüfter sogar riesige Querschnitte frei sind, dass der Lüfter vor allem Luft aus dem Case zieht und einfach nur umwälzt, anstatt frische Luft von draußen zu holen.

Das Case ist halt jetzt da und viel Alternativen gibt es nicht. Mein Schrank ist halt kein Serverschrank, sondern ein Netzwerkschrank mit 60cm Tiefe. Große Servergehäuse mit Fan-Wall passen da nicht rein und damit bleiben nur die 19" Gehäuse, die im Prinzip aufgebaut sind, wie Desktopgehäuse. Ich nehme an, wenn die Bay nicht so scheiße wäre, wäre das auch kein Problem. Die anderen Sachen sind gut belüftet.

Da ich zur Zeit eh nur 4 HDDs habe, habe ich die jetzt einfach mit Lücken verteilt und erreiche so bei Belastung mit badblocks 36°C bei 66% Lüfterdrehzahl. Die Temperartur ist, denke ich, in Ordnung und die Lüfter sind so zwar klar hörbar, aber nicht total unangenehm und der Raum ist eigentlich auch nicht bewohnt. Trotzdem wollte ich da keinen Düsenjet hinstellen.

 

[oNyX`]

Ka sofern die HDDs unter 50C bleiben seh ich da kein grosses Problem, wenn ich überleg als ich damals noch in nem Altbau gewohnt hab und der Server auf der Buehne stand, Sommer HDDs 60C+ Winter Teils 2C

Verreckt ist bis heute davon keine (die eine is bei 60k PoH), wuerd ichs nochmal so machen, nein. Dafuer sind die 10TB Reds zu teuer

Bzw man kann auch 19" leise und kuehl halten

700RPM sind die 3x 120mm Noctua S12A in der Fanwall (mitte vom Case)

 

[RICE]

Hmm ok, also noch schwieriger als gedacht, ich bin von einem klassischen (und damit durchdachten) 19" Gehäuse ausgegangen...
Die Lüfter sind keine typischen Server-Lüfter, eher Standardkram.
Du könntest natürlich versuchen, die Backplanes so abzudichten, dass ein zwangsgeführter Luftstrom von vorne nach hinten entsteht, vielleicht mal mit Panzertape ausprobieren ob das was bringt.

Wegen den Temperaturen schaue ich persönlich immer, dass ich unter 40° bleibe.

 

[oNyX`]

Das mit dem Airflow forcieren bringt bzw wirklich viel, Alutape ist toll dafuer.

 

[Simaryp]

Hab ich alles schon gemacht
Ein paar Bilder und die Problementwicklung kann man auch ab hier nachlesen:

Eigenbau Server Feedback - Kodinerds

In diesem Thread stelle ich meinen neuen Homeserver vor, frage nach Feedback und tausche meine Lösungen aus. Der ursprüngliche Startpost ist im Spoiler unten zu finden. Ziel Aktuell habe ich eine Synology DS216+II und langsam laufen die Platten voll.…

www.kodinerds.net

Was ich an der aktuellen Lösung noch ändern werde, ist der Tausch der Gummipins gegen Schrauben, damit der Lüfter dichter aufliegt. Ich werde, sobald ich meine Teilrückerstattung erhalten habe, die Festplattenhalter überarbeiten, indem ich die Bodenplatte wegdremel. Wenn ich es richtig sehe, sorgen die nur für Stabilität, wenn keine Platte drin ist, aber schirmen die Platten ab. Aber, dann ist das maximal dicht und besser kann ich es nicht optimieren. Der nächste Schritt wäre sonst, Front überarbeiten und andere Bays kaufen. Weil ich aber nur vier Platten drin habe, geht es erst mal so.

Alutape wäre natürlich noch besser, dass lässt sich wesentlich leichter verarbeiten, weil es starrer ist.

 

[oNyX`]

Bestell dir ne Rolle bei Ama (6Eur oder so) oder so, kostet nix und ist perfekt dafuer.

 

[Simaryp]

Die Front Lüftungsschlitze des Gehäuses könnte ich auch zu machen, aber vlt. ist das dann für den Rest der Komponenten negativ.

Eine Sache, die ich noch nicht lösen konnte, ist Folgede:
Die Lüfter in der Rückwand ziehen durch das Netzteil Luft von hinten ein. Der Netzteillüfter dreht bei der geringen Last natürlich nicht hoch. Aber ich habe auch bedenken, das Lochgitter des Netzteils abzukleben.

 

[oNyX`]

Das NT würd ich lassen wie es ist, solang die CPU und Co nicht zu heiß wird ja auch eher nebensächlich, die throttled dann schon im Fall des Falles, die HDDs wären mir wichtiger.

Du könntest dir aus dickem Plastik ne Art Airshroud bauen/falten oder gar drucken falls 3d Drucker zur Hand

 

[Simaryp]

Ja, das .Netzteil ist mir zu kritisch. Die PCI-Slots habe ich abgeklebt.

Für die HDD bringt mir ein Abkleben der Front aber nichts. Die HDD Lüfter können eh nur an den Festplatten vorbei ziehen. Die hinteren Gehäuselüfter können da wohl nicht helfen, mehr Luft zu ziehen.

Und so sind die Temps ja erst mal vollkommen ok. 36 °C unter Last ist ja schon optimal. Spannend wird es erst wieder, wenn ich mal mehr HDDs einbauen will oder wenn es im Netzwerkschrank schlimmer werden sollte.

Ein Problem ist noch, dass das IPMI anscheinend manchmal meinen Setzwert der Lüfter wieder auf die Defaults setzt. Eine Lösung dafür wäre die Grundeinstellung auf FullSpeed zu setzen, damit der Fallback dann kühl und nicht heiß ist.

Beitrag automatisch zusammengeführt: 14.02.2020

Kann mir jemand ein gutes linux tool nennen, um die hdd etwas zu stressen? Würde gerne meinen ZFS Pool einrichten und badblocks ist dann eher ungünstig.

 

[besterino]

dd?