NVME unter ESXI schmiert bei Temp >70°C ab - Kühler sinnvoll?

[Gen8 Runner]

Moin,
ich habe einen ESXI Host (siehe Signatur), welcher im Regelbetrieb hervorragend läuft.

Aber wehe es kommt ordentlich Last auf den ESXI Host (bspw. VM kopieren, große Dateien kopieren), dann steigt der Temperatur der SSD auf 70°C an, es erscheint auch im Fehlerlog immer wieder Throttling, Throttling, Throttling...Aber auch all das bringt nix - ZACK, als würde jemand den Schalter umlegen und den ganzen Host ausknipsen.

Einzige Lösung: Kompletter Reboot und alles wieder neu hochfahren. Ätzend!

Ich hatte zuerst eine Sandisk Extreme Pro 1TB verbaut und dachte, dass diese Fehlerhaft sei.
Also gestern gegen eine:
Corsair MP510 aus meinem Laptop getauscht.
Heute: Neue VM aufgesetzt...Dasselbe Phänomen. Beim Verschlüsseln dieser (150GB) Fumpp.... Schalter umgelegt, alles tot.

Also immer noch das Phänomen. SSD rennt bis an die 70°C und dann wird das Licht ausgeknipst.

Jetzt gibt es ja diese schicken SSD Kühler (nicht von Werk aus mitgeliefert bei meiner SSD). Bringen die überhaupt was oder ist das mehr Wärmestau und Modding-Gedöns?

Danke für eure Rückmeldungen!

 

[odtl]

Kommt ganz auf die SSD und den Kühler an. Bei einseitig bestückten SSDs, bzw solchen wo der Controller oben sitzt, bringen selbst die Kühler was die bei den Boards so dabei sind, inzwischen sind das ja meist schon etwas "dickere" Stücke Aluminium, meiner Erfahrung nach schaffen die durchaus ein Paar Grad weg, sorgen aber vorallem für eine flachere und glattere Temperaturkurve, so das eine eventuelle Drosselung hinausgezögert wird.

Die Aftermarket Teile für zwei Seiten, mit riesen Blöcken, Finnen, Heatpipes etc (es seien z.B. der Sabrent M.2 2280 SSD Rocket oder der Cryorig Frostbit genannt), die schaffen Berichten nach deutlich mehr (ob man Berichten wie 30°C weniger auf dem Controller nun glauben schenken kann ist eine andere Frage), das ist i.d.R. nicht nur zum hübsch ansehen (wobei es sowas natürlich auch gibt). Aber auch hier gilt, der Controller sollte oben sitzen, sonst kühlt man viel mehr den Speicher, und das bringt nicht so viel, der ist nämlich gerne warm.

Bevor ich über einen Kühler nachdenke würde ich zum Testen als ersten Schritt erstmal einfach einen aktiven Lüfter direkt drauf blasen lassen, sofern du halbwegs Airflow im Gehäuse hast müßten sich damit durchaus zweistellige Werte von der Maximaltemperatur wegfräsen lassen, und wenn die Kiste dann immer noch abschmiert, dann hast du wohl ein anderes Problem.

 

[Gen8 Runner]

Kommt ganz auf die SSD und den Kühler an. Bei einseitig bestückten SSDs, bzw solchen wo der Controller oben sitzt, bringen selbst die Kühler was die bei den Boards so dabei sind, inzwischen sind das ja meist schon etwas "dickere" Stücke Aluminium, meiner Erfahrung nach schaffen die durchaus ein Paar Grad weg, sorgen aber vorallem für eine flachere und glattere Temperaturkurve, so das eine eventuelle Drosselung hinausgezögert wird.

Die Aftermarket Teile für zwei Seiten, mit riesen Blöcken, Finnen, Heatpipes etc (es seien z.B. der Sabrent M.2 2280 SSD Rocket oder der Cryorig Frostbit genannt), die schaffen Berichten nach deutlich mehr (ob man Berichten wie 30°C weniger auf dem Controller nun glauben schenken kann ist eine andere Frage), das ist i.d.R. nicht nur zum hübsch ansehen (wobei es sowas natürlich auch gibt). Aber auch hier gilt, der Controller sollte oben sitzen, sonst kühlt man viel mehr den Speicher, und das bringt nicht so viel, der ist nämlich gerne warm.

Bevor ich über einen Kühler nachdenke würde ich zum Testen als ersten Schritt erstmal einfach einen aktiven Lüfter direkt drauf blasen lassen, sofern du halbwegs Airflow im Gehäuse hast müßten sich damit durchaus zweistellige Werte von der Maximaltemperatur wegfräsen lassen, und wenn die Kiste dann immer noch abschmiert, dann hast du wohl ein anderes Problem.

Leider sind die Möglichkeiten dort auch räumlich nur begrenzt, da direkt der CPU Kühler im Weg ist.
Auf der Unterseite ist auch nicht viel Spielraum, da dort ziemlich dickes Plastik für die Befestigung der SSD verbaut ist. Insgesamt also nicht optimale Bedingungen. Hatte es schon mit einem Lüfter probiert, aber der hatte wohl zu wenig Druck.

Ich habe mir nun einen kleinen Aluminium-Körper, von dem du sprachst, bestellt. Werde den noch modifizieren (Gewinde schneiden, 40mm Lüfter draufschrauben) und dann nochmal nen paar Tests laufen lassen.

Sehr nervige Geschichte auf jeden Fall und wir haben Winter...Wenn erstmal im Sommer 30°C im Zimmer herrschen, wird das ganze nicht unbedingt besser werden.

 

[odtl]

Ich habe hier z.B. eine 970 EVO Plus verbaut (ohne das MSI Shield Frozr), in einem Lian Li TYR PC-X500, sitzt direkt zwischen Grafikkarte und CPU Kühler, wenn ich den oberen 120er Frontlüfter aufdrehe (ein sehr alter S-FLEX) dann sinkt die maximale Temperatur um gute 15 Grad.

Also wenn ein Lüfter überhaupt nicht hilft, selbst einer mit geringem Druck, dann wäre das schon verwunderlich, selbst ein 40mm Lüfter sollte zumindest minimale Auswirkungen haben, wobei der aber auch volle Pulle drehen müßte. Aber vielleicht hast da ja auch bereits 'nen orderntlichen Hitzestau im Gehäuse, so das nur heiße Luft bewegt wird?

Was genau hast du denn bestellt, Aluminium Kühlkörper gibt es ja viele?

 

[Holt]

Also wenn ein Lüfter überhaupt nicht hilft

Wenn ein Lüfter nicht hilft, dann weil der Luftstrom trotzdem nicht über die SSD streichen kann. Wenn ein ausreichend starker Luftstrom über die SSD steicht, wird diese auch ohne einen Kühler nicht zu warm werden.

 

[odtl]

Wenn ein Lüfter nicht hilft, dann weil der Luftstrom trotzdem nicht über die SSD streichen kann. Wenn ein ausreichend starker Luftstrom über die SSD steicht, wird diese auch ohne einen Kühler nicht zu warm werden.

Sage ich ja mehr oder weniger Wenn wirklich frische Luft drüber zieht, dann sollte das schon was bringen, nur wenn's heiß Luft ist, dann bringt's wenig bis nichts.

 

[Holt]

Wenn wirklich frische Luft drüber zieht, dann sollte das schon was bringen, nur wenn's heiß Luft ist, dann bringt's wenig bis nichts.

Wenn da so warm Luft drüber zieht das es nichts bringt, dann ist das aber nicht der Luftzug eines Lüfters, außer vielleicht wenn man einen Wirbel im Rechner hat und die Luft intern nur im Kreis zirkuliert. Dann hat man aber sowieso schon einen Fehler gemacht, denn der Luftstrom sollte immer von vorne (und/oder unten) nach hinten (und/oder oben) verlaufen und kein Lüfter entgegen dieser Richtung arbeiten, dann gibt es auch keinen Hitzestau durch im Kreis zirkulierende Luft, sofern die Lüfter genug Luftstrom erzeugen. Bei den M.2 SSDs ist dann das Problem eher, dass diese vom Luftstrom nichts abbekommen, weil sie so flach über dem Mainboard sitzen und anderen Komponenten den Luftstrom über sie hinweg leiten. Bei Serverboards wird ja darauf geachtet das dies nicht passiert, da sind immer alle Komponenten, vor allem auch die RAM Slots, auch entsprechend ausgerichtet, leider sind gerade die RAM Slots bei Consumer Boards eben oft quer angeordnet und stehen damit dem Luftzug über die dahinterliegende M.2 SSD im Wege.

Aber hier geht es ja, wenn ich das richtig sehe, um den Eigenbau mit dem SuperMicro X11SCA-F und nicht um den Fujitsu TX140S2, wobei bei jedem in der Signatur ESX I angegeben ist. Beim Fujitsu TX140S2 passt die Ausrichtung der RAM Slots, beim SuperMicro X11SCA-F leider nicht. Hier sollte der TE mal schauen ob sein Gehäuse und Lüftungskonzept passen, ggf. helfen Fotos davon um ihm hierbei Hilfestellung geben zu können.

 

[Gen8 Runner]

Hier einmal die Einbausituation. Von rechts wird der Luftstrom nach links gedrückt (und mit rausgesaugt).
Aber wie Holt leider schon richtig erkannt hat, hinter der SSD sitzen noch quer die RAM Riegel, welche wahrscheinlich auch den letzten Hauch eines Lüftchens wegnehmen.

- Den anderen NVME Slot nutzen ist keine Option, da dadurch ein PCIe Slot wegfallen würde.
- Zwischen CPU Kühler und SSD sind nur 30mm Platz (also auch hohe Kühler, wie der RaidSonic ICY BOX IB-M2HSF-702 haben keinen Platz)

Bestellt ist nun:

https://www.amazon.de/ICY-BOX-W%C3%A4rmeleitpad-Silikon-Gummi-Befestigung/dp/B077MRDK16

https://www.amazon.de/gp/product/B004QZKV68

Den Lüfter werde ich direkt auf den Kühler setzen und dann hoffen, dass es reicht.
Von Noctua gab es noch einen mit mehr Durchsatz und Staudruck, aber den hatte ich bereits entsorgt, da der wie eine Turbine klang (wunderte mich bei Noctua, aber war leider so).

 

[odtl]

Wundert mich dennoch, bei mir ist's ähnlich aufgebaut, auch wenn der RAM nicht ganz so weit vor der SSD steht, aber trotzdem ein Stück, und bei mir kommt von unten noch warme Luft von der Grafikkarte die zwischen SDD und RAM/Frontlüfter bläst, und dennoch kommt da noch mehr als genug Luft dran 🤔

Sofern die RAM Riegel keine 10 cm hoch sind geht die Luft ja drüber hinweg, und wird dann hinter den Riegeln Wirbel erzeugen welche die Luft wieder "runter" ziehen, so das dennoch gut was abtransportiert wird. Es sei denn natürlich der CPU Kühler ragt weit nach vorne und schließt quasi über den RAM Riegeln ab? 30 mm ist ja nicht viel, da passt ja kaum ein Riegel drunter wenn's nicht echter low profile ist. Wobei ich irgendwie auch immer davon ausgehe das sich keine weiteren Hindernisse vor den Frontlüftern befinden (Festplatten z.B.).

 

[Green7]

70°C ist ja viel zu viel. Sowas hatte ich auch mal mit einer Kingston SSD und Windows Bitlocker. Habe die dann im meinem Case direkt im Luftstrom hinter einen 80mm Lüfter gehängt dann gings.

In meinem Server habe ich meine Crucial P1 die als Cache läuft gleich mit einem Kühlkörper versehen die rennt bei so 32°C

Notfalls den hier montieren Raid Sonic IB-M2HSF-702 😅

 

[Holt]

Den Lüfter werde ich direkt auf den Kühler setzen und dann hoffen, dass es reicht.

Man sieht leider nicht genau was links ist, aber es scheint eher nicht so als wenn dort die Luft ausstörmen könnte. Welches Gehäuse hast Du und wo geht die Abluft des CPU Kühlers hin? Wenn das eher ein geschlossener Raum ist, dann könntest Du mit einem lüfter auf dem SSD Kühler in die Gefahr geraten die Luft dort nur um Kreis zu verwirbeln, weil die wärme Luft nicht wirklich abgeführt wird.

Von Noctua gab es noch einen mit mehr Durchsatz und Staudruck

So viel Durchsatz und Staudruck braucht man doch gar nicht, schon gar nicht wenn noch ein Kühlkörper drauf ist und damit eine viel größere Oberfläche zur Verfügung steht.

Es sei denn natürlich der CPU Kühler ragt weit nach vorne und schließt quasi über den RAM Riegeln ab?

Wenn ich mir das Bild von dem Mainboard auf der Seite von Supermicro ansehen, dann fürchte ich fast, dass dies wohl der Fall ist. Ein Foto von der Seite des Kühlers wäre hilfreich, aber auch wenn da ein kleiner Spalt ist, wird sich vor allem dann kaum Luft unter dem CPU Kühler bewegen, wenn dessen unterste Lamelle auch nur ein wenig tiefer als die Oberkante der RAM Riegel ist.

Notfalls den hier montieren Raid Sonic IB-M2HSF-702

Der dürfte zu hoch sein, aber man sieht ja das er mit einem kleinen 30mm Lüfter auskommt, man braucht eben keinen großen Lüfter, auch wenn der Kühler keine Heatpipes hat. Es reicht auch oft schon nur einen Kühlkörper zu verbauen, wenn der hoch genug ist um denn den Luftstrom zu erfassen, wenn oberhalb der SSD einer hinwegströmt.

 

[Gen8 Runner]

Ja, der RAM und die Kühlerrippen vom CPU Kühler setzen das ganze ziemlich dicht. Links daneben ist jedenfalls alles offen (Lüftungsbohrungen ohne Ende, nicht mal eine Slotblende ist eingebaut.
Zwei Kühler drücken Luft ins Gehäuse durch die Festplatten rein, der CPU Kühler drückt weiter die Luft durch die Kühlerrippen und auf der Rückseite des Gehäuses saugt ein Lüfter auch noch alles heraus.
Sämtliche andere Komponenten NULL Problem...Festplatten 33-35°C (unter Last!), CPU auch null Problem, einzig die NVME.

@Green7
Der ist leider zu hoch für die 30mm, hatte ich auch auf meiner Watchlist.

Ich hoffe nun, dass der kleine Alu-Kühlkörper, welchen ich bestellt habe, in Kombination mit den Lüftern reicht. Ich werde berichten, sobald alles verbaut ist, wie die Lage sich verändert hat.
Eventuell noch den Aufkleber von der SSD entfernen (die sollen ja auch für einen Hitzestau sorgen), natürlich blöd wegen der Garantie...Ich bin gespannt.

 

[Green7]

Den Aufkleber solltest du dringend entfernen!
Da die kühlhörper ja ein wärmeleitpad haben und dieses sollte direkten Kontakt zu den Chips haben. Der Aufkleber würde das ganze ja isolieren

bei meiner p1 lies sich der ganz leicht im ganzen entfernen , habe ihn dann auf die Plastikhülle des Kühlers geklebt um ihn nicht zu verlieren.

 

[Holt]

Eventuell noch den Aufkleber von der SSD entfernen (die sollen ja auch für einen Hitzestau sorgen), natürlich blöd wegen der Garantie

Wegen der Garantie würde ich das lassen und es bringt allenfalls ein paar wenige Grad, die machen den Kohl nicht fett. Warte jetzt erstmal ab bis der Kühler und der Lüfter eingebaut sind. Bin gespannt wie Du den einbauen willst, denn da untern dürfte kaum ein Luftzug hinkommen, wenn Du den einfach an den Seitendeckel des Gehäuses schraubst, denn Du hast den Luftstrom vom Lüfter des CPU Kühlers und der wird hinten dann vom Gehäuselüfter fortgeführt.

Wenn man den Lüfter des CPU Kühlers etwas zur Seite verschieben kann und den seitlichen Luftstrom dann mit einer Art Leitblech nach unten lenken könnte, wäre dies vermutlich die effezienteste Methode für einen kühlenden Luftzug auf die SSD zu sorgen.

Die Idee mit dem Wirbel hinter den RAM Riegeln:

, und wird dann hinter den Riegeln Wirbel erzeugen welche die Luft wieder "runter" ziehen

Die kann man hier jedenfalls vergessen, die Luft die über die RAMs geht, wird hiier wohl komplett vom Lüfter des CPU Kühlers angesaugt. Unterhalb der untersten Lamelle des Kühlers dürfte hier kaum ein Luftzug sein, während darüber ein kräftiger Luftzug nach hinten geht. Deshalb würde ich hier versuchen etwas von dem Luftstrom den der Lüfter des CPU Kühlers erzeugt, auf die SSD abzuleiten.

Towerkühler sind toll und verbreitet, aber die Boardhersteller scheinen ihre Boards immer noch für die Verwendung von Top-Down CPU Kühlern auszulegen, denn damit hättes die SSD dort mit Sicherheit keine Temperaturprobleme und nicht nur die, die Spawas dürften ähnlich ungenügend gekühlt werden, denn die bekommen ja auch keinen Luftstrom ab, außer es gibt oben noch einen Gehäuselüfter.

 

[odtl]

Die kann man hier jedenfalls vergessen, die Luft die über die RAMs geht, wird hiier wohl komplett vom Lüfter des CPU Kühlers angesaugt.

In diesem Fall hier kann man das in der Tat größtenteils vergessen, die SSD ist ja beinahe völlig von oben und vorne eingeschlossen, da wundert es mich nun nicht mehr das die so schwitzt, einzig linksseitig wird vielleicht noch etwas Luft vorbei ziehen, je nachdem wo genau der Frontlüfter sitzt.

So ein Leitblech könnte da durchaus hilfreich sein, vielleicht auch einfach links am RAM vorbei. Ich hätte wahrscheinlich einfach ohne Rücksicht auf Verluste noch einen 120er schräg mitten in's Gehäuse gehängt so das er sich einen Teil der Luft von der Front schnappt und direkt da zwischen Grafikkarte und RAM in's kleine Kabuff pustet, der Luftzug würde dann sicher auch noch bis zum VRM kommen.

 

[Holt]

Ob da überhaupt was vorbeizieht, dürfte auch davon abhängen wie viel der/die Frontlüfter reinblasen und wie viel davon der Lüfter des CPU Kühlers aufnimmt. Dazu kommt dann eben noch, dass die RAMs diese Luft nach oben zwingen, eben in die Nähe des Einlasses des Lüfters des CPU Kühlers. Daher wäre mein Gedanke eben auch, ein Teil der Luft die dieser Lüfter einzieht, dann zur Kühlung der SSD zu nutzen, wobei die Frage ist wie man diese dann am Besten auf die SSD leiten könnte.

 

[Gen8 Runner]

Nicht hübsch, aber wirkungsvoll!

In den Kühlkörper (Alu) habe ich zwei Gewinde geschnitten und darauf den Lüfter geschaubt.
Dann Kühlkörper -> Wärmeleitpad -> SSD und verbaut, Lüfter angeschlossen (ist 3 Pin und läuft dauerhaft auf Volllast, soll angeblich 6,7m³ pro Stunde schaffen.
Lüfter so eingebaut, dass dieser durch den Kühlkörper drückt (nicht saugt!). Aufkleber sind drauf geblieben.

Anschließend eine VM aufgesetzt und das reproduziert, wo er letztes mal 3x abgestürzt ist (bei nur 150GB Partitionsgröße, die verschlüsselt wurde):
- Gesamte Systempartition von Windows 10 verschlüsselt (dieses mal 250GB, um es auszureizen).

Temperaturen, wie ersichtlich: Zu Anfang, Idle 35°C, zum Ende hin (nach 20 Minuten Dauerlast) max. 47°C! Höher lief er nicht. Vorher lief er schnurgerade bis 70°C hoch und hat sich dann verabschiedet - Reboot!
Gerade läuft der AS SSD Benchmark mit 10GB durch - Temperaturen 38°-42°C.

Investition: 16€, zehn Minuten Arbeit.

Ich bin begeistert. Nun kann endlich auch die Drossel für VEEAM Backup & Replication raus. Denn selbst das Backup (Restore sowieso) der VM's hat den Host zum Absturz gebracht, da die Temperaturen zu hoch wurden.

 

[odtl]

Na das sind doch mal gute Nachrichten, aber laß den Flash Speicher nicht zuuu kühl laufen, das verringert die Lebensdauer!

 

[Holt]

Zu kalt ist das nun nicht, die JEDEC geht von 40°C Betriebstemperatur bei Client SSDs aus, auf der Basis sollten die NAND/SSD Hersteller auch die P/E Zyklen spezifizieren. Aber wenn die SSD bei 70°C nicht throttelt sondern komplett aussteigt, was ich von anderen SSD mit Phison E12 Controller auch schon gelesen haben, dann ist sowieso etwas falsch.

 

[Gen8 Runner]

Zu kalt ist das nun nicht, die JEDEC geht von 40°C Betriebstemperatur bei Client SSDs aus, auf der Basis sollten die NAND/SSD Hersteller auch die P/E Zyklen spezifizieren. Aber wenn die SSD bei 70°C nicht throttelt sondern komplett aussteigt, was ich von anderen SSD mit Phison E12 Controller auch schon gelesen haben, dann ist sowieso etwas falsch.

Witzigerweise genau dasselbe war der Fall mit der Sandisk. Exakt das gleiche Verhalten (nur ist mir nicht bekannt, ob die auch auf Phison setzen).

Eventuell auch seitens ESXI eine Sicherheitssperre? Throttling erschien erst zigfach im Log von ESXI und dann flogen die SSDs vom Hostspeicher und damit sämtliche VM's. Da half nur der komplette Reboot.

2021-03-14T17:19:37.814Z cpu9:2097634)NMP: nmp_ThrottleLogForDevice:3872: Cmd 0x2a (0x459a9153bb80, 2099697) to dev "t10.NVMe____Force_MP510_____________________________3439465322A77964" on path "vmhba1:C0:T0:L0" Failed: H:0x0 D:0x8 P:0x0 Invalid sense $
2021-03-14T17:19:37.814Z cpu9:2097634)ScsiDeviceIO: 3448: Cmd(0x459a9153bb80) 0x2a, CmdSN 0x8000002b from world 2099697 to dev "t10.NVMe____Force_MP510_____________________________3439465322A77964" failed H:0x0 D:0x8 P:0x0 Invalid sense data: 0x22
2021-03-14T17:19:37.814Z cpu9:2097634)0x76 0x6d.
2021-03-14T17:19:37.841Z cpu4:2097633)nvme:NvmeCtrlr_DoTaskMgmtAbort:2848:scan virt reset in queue 1 completed, 0 found, 0 impacted.
2021-03-14T17:19:37.969Z cpu9:2097634)ScsiDeviceIO: 3448: Cmd(0x459a914f4000) 0x2a, CmdSN 0x80000053 from world 2103564 to dev "t10.NVMe____Force_MP510_____________________________3439465322A77964" failed H:0x0 D:0x8 P:0x0 Invalid sense data: 0x0
2021-03-14T17:19:37.969Z cpu9:2097634)0x0 0x0.
2021-03-14T17:19:38.041Z cpu4:2097633)nvme:NvmeCtrlr_DoTaskMgmtAbort:2848:scan virt reset in queue 1 completed, 0 found, 0 impacted.
2021-03-14T17:19:38.041Z cpu5:2097392)VSCSI: 2753: handle 8289(vscsi0:0):Completing reset (0 outstanding commands)
2021-03-14T17:19:53.214Z cpu11:2099544)Vmxnet3: 18593: indLROPktToGuest: 0, vcd->umkShared->vrrsSelected: 1 port 0x2000005
2021-03-14T17:19:53.214Z cpu11:2099544)Vmxnet3: 18834: Using default queue delivery for vmxnet3 for port 0x2000005
2021-03-14T17:19:53.214Z cpu11:2099544)NetPort: 1359: enabled port 0x2000005 with mac 00:0c:29:74:bd:9b
2021-03-14T17:19:53.254Z cpu3:2099544)Vmxnet3: 18593: indLROPktToGuest: 0, vcd->umkShared->vrrsSelected: 1 port 0x3000006
2021-03-14T17:19:53.254Z cpu3:2099544)Vmxnet3: 18834: Using default queue delivery for vmxnet3 for port 0x3000006
2021-03-14T17:19:53.254Z cpu3:2099544)NetPort: 1359: enabled port 0x3000006 with mac 00:0c:29:74:bd:a5
2021-03-14T17:19:53.259Z cpu9:2099546)Vmxnet3: 18593: indLROPktToGuest: 0, vcd->umkShared->vrrsSelected: 1 port 0x3000005
2021-03-14T17:19:53.259Z cpu9:2099546)Vmxnet3: 18834: Using default queue delivery for vmxnet3 for port 0x3000005
2021-03-14T17:19:53.259Z cpu9:2099546)NetPort: 1359: enabled port 0x3000005 with mac 00:0c:29:74:bd:af
2021-03-14T17:19:53.264Z cpu3:2099544)Vmxnet3: 18593: indLROPktToGuest: 0, vcd->umkShared->vrrsSelected: 1 port 0x3000008
2021-03-14T17:19:53.264Z cpu3:2099544)Vmxnet3: 18834: Using default queue delivery for vmxnet3 for port 0x3000008
2021-03-14T17:19:53.264Z cpu3:2099544)NetPort: 1359: enabled port 0x3000008 with mac 00:0c:29:74:bd:87
2021-03-14T17:19:53.269Z cpu9:2099546)Vmxnet3: 18593: indLROPktToGuest: 0, vcd->umkShared->vrrsSelected: 1 port 0x3000007
2021-03-14T17:19:53.269Z cpu9:2099546)Vmxnet3: 18834: Using default queue delivery for vmxnet3 for port 0x3000007
2021-03-14T17:19:53.269Z cpu9:2099546)NetPort: 1359: enabled port 0x3000007 with mac 00:0c:29:74:bd:91
2021-03-14T17:20:12.954Z cpu6:2097659)NMP: nmp_ResetDeviceLogThrottling:3586: last error status from device t10.NVMe____Force_MP510_____________________________3439465322A77964 repeated 8 times
2021-03-14T17:25:12.956Z cpu9:2097724)DVFilter: 6053: Checking disconnected filters for timeouts
2021-03-14T17:35:12.961Z cpu9:2097724)DVFilter: 6053: Checking disconnected filters for timeouts
2021-03-14T17:41:09.131Z cpu2:2099539)igbn: indrv_EventISR:922: Event ISR called on pf 0x43084172f0c0

Overheating NVMe Flash Drives

I recently deployed an all-NVMe based vSAN configuration in my home lab. I’ll be posting more information on my setup soon, but I decided to use OEM Samsung based SSDs. I’ve got 256GB SM961 MLC bas…

vswitchzero.com

 

[Holt]

Witzigerweise genau dasselbe war der Fall mit der Sandisk. Exakt das gleiche Verhalten (nur ist mir nicht bekannt, ob die auch auf Phison setzen).

Nein, SanDisk ist ja eine Tochter von WD und die haben einen eigenen NVMe SSD Controller entwickelt, ob der irgendwie auf Phison Technologie basiert, ist nicht bekannt. WD nennt ihn eine Eigenentwicklung, aber sowas wurde schon öfter behauptet und am Ende war es sogar nur ein relabelter Controller eines der bekannten Controllerherstellers.

Eventuell auch seitens ESXI eine Sicherheitssperre?

Wenn jemand diese Probleme auch mit einer Samsung SSD hat, von denen ist mir kein Fall bekannt wo die einfach stehenbleiben statt zu throtteln, dann würde ich dies stark vermuten. Wobei dies meiner Meinung nach denn aber eine schlchte Auslegung seitens ESXI ist, da das thermische Throtteling ja nur temporär sein sollte und eine extra dafür vorgesehene Sicherheitsmaßnahme der SSD gegen Schäden durch Überhitzung ist. Darauf so zu reagieren das es einem Absturz gleichkommt, ist ebenso unsinnig wie unlogisch, kommt aber vermutlich daher das ESXI natürlich vor allem für den Enterpriseeinsatz entwickelt ist und da sollte sowas wie überhitzte SSDs natürlich nicht vorkommen. Also hat vermutlich keiner daran gedacht, dass das thermische Throtteling zwar von S.M.A.R.T. gemeldet wird, dies aber eben kein Hinweis auf einen Ausfall oder Defekt der SSD ist, wie bei den meisten anderen Alarmmeldungen die in Folge von S.M.A.R.T. Werten vorkommen können.

 

[Gen8 Runner]

Update:
44 Tage in Betrieb, ohne Ende (auch parallel) Backups gemacht, Daten hin- und hergeschoben und er läuft butterweich durch!

Tatsächlich behoben mit dieser einfachen Kühllösung!