PCI Express immer Hot-Plug fähig?

[Stefan Payne]

Hat jemand von euch schonmal was von Xpress Cards gehört?!

 

[twoPhases]

Nein, google spuckt da auch nichts richtiges aus.

 

[Cyberwar]

Hat jemand von euch schonmal was von Xpress Cards gehört?!

ich kenn die nur für Notebooks: http://www.avm.de/de/Produkte/FRITZCard/FRITZ_Card_Express/index.html

@Schlingel man is hier jetzt leer

 

[pajaa]

Naja - wie gesagt - Hot-Plug-Austausch von defekten Karten wird kaum klappen, weil das System schon vorher abgestürzt ist bzw. sich aufgehangen hat. Und bei einem ordentlich konfigurierten Server wird man nur ganz selten im Betrieb Karten nachrüsten wollen. Und selbst dann würde ich den Server lieber einmal neu starten um:
- einen evtl. Absturz zu vermeiden (oft ist ein Reboot weniger schlimm, als etwaiger Datenverlust)
- zu sehen, das das System auch mit der neuen Karte ordentlich startet.

Na klar. Bei ordentlich konfigurierten Servern kannst du sogar im Betrieb eine oder mehrere CPUs wechseln, wenn die mal kaputt gehen...
Und um irgendwelche abgerauchten RAID-Controller auszutauschen, fährt man keinen Server herunter, der seit Jahren läuft. Hast du ne Ahnung, wieviele Regressansprüche dann auch den Betreiber von z. B. eCommerce-Kunden zukommen, weil deren Shops nicht funktionerten, weil irgendein übereifriger Admin den Server heruntergefahren hat, was übrigens lange dauert, weil oft ganze Datenbanken aus dem RAM auf Platte geschrieben werden müssen, und dann fährt die Kiste auch noch 10 min lang wieder hoch und brauch ewig, bis die Datenbanken wieder geladen sind.
Wir reden ja nicht nur über den kleinen Homeserver, sondern generell über hot pluging, oft zu finden in großen Maschinen wie die IBM zSeries. Da würde niemand auch nur auf die Idee kommen, das Ding wegen sowas komplett runterzufahren.

Und PCIe ist Hot-Plug-fähig, und das schon seit der Einführung des Standards, ob das auch für PEG-Karten gilt, weiß ich leider nicht, da die, glaub ich noch nen anderes elektrisches Interface und ne andere Anbindung an das System haben, i. e. es gehen kaum PCIe-Raid-Controller in PEG-Slots [für GraKas].

pajaa

 

[iMan]

Ich habe es heute mal probiert.

Betriebssystem: Windows Server 2003 R2 Enterprise
Mainboard: GA-8I945GMMFY-RH
PCIe-Karte: Dawicontrol DC-300e SATA-RAID-Controller

Ich habe den Controller im laufenden Betrieb mit geöffneten Gerätemanager in den PCIe x1 Slot gesteckt und es passierte rein gar nichts. Hab mal neu gebootet, da meldete sich das BIOS vom Controller und nach dem Windows Start hat er die Treiber installiert.

Dann habe ich die Karte mit geöffneten Gerätemanager wieder rausgezogen und es passierte wieder rein gar nichts. Im Gerätemanager war das Ding auch noch vorhanden. Dort habe ich das Gerät dann wieder entfernt (rechte Maustaste, etc.).

Anschließend habe ich ihn wieder reingesteckt und es passierte schon wieder rein gar nichts. Als ich dann im Gerätemanger nach neuer Hardware suchen lassen habe wurde der Controller gefunden und wieder die Treiber installiert.

Also kaputt ist nichts, aber automatisch geht auch nichts.

 

[sevsev]

12 Jahre später und es gibt ein Server Board, welches PCIe x16 Hot Plug supportet!
Linus Tech Tips hat gerade ein Test Video herausgebracht.

 

[Sonnenbluemchen]

Leichenschändung TM (Ist das mit 11 1/2 Jahren seit dem letzten Post ein Rekord? )


Joa, scheint nur zu kompliziert und unnötig zu sein. :P

 

[Holt]

Die Hot Plugging Fähigkeit von PCIe ist heute bei Servern vor allem für PCIe SSDs relevant. Die kommen dort bisher meist im U.2 Formfaktor, kommende FF wie Ruler oder M.3 unterstützen Hot Plugging aber auch.

 

[sevsev]

Also ich finde dass PCI Hot Swap genau jetzt extrem wichtig ist, da auch im Server-betrieb massen an GPUs für KIs eingesetzt werden.
Aber in den Consumer Gegenden hat es natürlich nur wenig sinn solche Features zu bringen.

 

[Sonnenbluemchen]

Aber in den Consumer Gegenden hat es natürlich nur wenig sinn solche Features zu bringen.

+1 (Die meisten Consumer haben meist wenn überhaupt nur ne GPU und eventuell ne NVMe SSD, aber auf der liegt so gut wie immer das OS)

 

[jdl]

Also ich finde dass PCI Hot Swap genau jetzt extrem wichtig ist, da auch im Server-betrieb massen an GPUs für KIs eingesetzt werden.

Für HPC ist das relativ unwichtig. Raucht ein Knoten ab, fährt man ihn herunter und tauscht die Komponenten aus. Da es mittlerweile Softwarelösungen gibt ausfallende Komponenten zu umschiffen, spielt hier hot plugging nicht so die Rolle. Es wird der komplette Knoten herausgenommen und gewartet.

 

[sevsev]

Für HPC ist das relativ unwichtig. Raucht ein Knoten ab, fährt man ihn herunter und tauscht die Komponenten aus. Da es mittlerweile Softwarelösungen gibt ausfallende Komponenten zu umschiffen, spielt hier hot plugging nicht so die Rolle. Es wird der komplette Knoten herausgenommen und gewartet.

Also aus eigener Erfahrung kann ich sagen bei den neuen HPC's ist es um einiges einfacher einfach eine Komponente bzw ein Modul auszutauschen ohne herunterzufahren, da manche AI-Software besser ununterbrochen läuft.
Auch muss beachtet werden, dass Zeit=Geld ist und die INIT Phase eines größeren Performance Rechners dauert...

 

[jdl]

Auch muss beachtet werden, dass Zeit=Geld ist und die INIT Phase eines größeren Performance Rechners dauert...

Bei einem Cluster sind die einzelnen Knoten relativ schnell heruntergefahren und man kann Komponenten tauschen. Die speziellen nVidia-GPU-Knoten haben spezielle verschraubte Tesla-GPUs, da ist rein gar nichts mit HotPlugging.

 

[flateric]

Ive NEVER been so FRUSTRATED... Hot-Swapping PCIe Cards - YouTube

 

[sevsev]

Bei einem Cluster sind die einzelnen Knoten relativ schnell heruntergefahren und man kann Komponenten tauschen. Die speziellen nVidia-GPU-Knoten haben spezielle verschraubte Tesla-GPUs, da ist rein gar nichts mit HotPlugging.

Modular Server sollten jedoch bald wieder aufkommen. V.A. bei den Supercomputern.

 

[jdl]

Modernen HPC-Computer sind i.d.R. MPP-Systeme, d.h. die Module sind einzelne Knoten, die man problemlos im laufenden Betrieb warten kann. Man wird in der Top500 faktisch nichts anderes mehr finden, in der Top10 finden sich nur MPP-Systeme.