F@H Cluster

[brooker]

Spannend. Ich hab unter 2.0 zu 3.0 nichts festgestellt. Die Auslastung zeigt auch, dass da bei 2.0 nochmal ordentlich Luft nach oben ist. Liegt dann aber warscheinlich an der deutlich älteren Hardware. Sind denn die einzelnen Generationen an sich noch mal schneller oder haben die nur mehr verfügbare Bandbreite?

... man benötigt zwei absolut identische Systeme und natürlich auch möcglichst du selben WUs. Ich hatte das damals mit 4 identischen Systemen mit RTX3090 unter Linux getestet.
Zu deiner Frage: die Geschwindigkeit und Bandbreite ist höher.

PCIe Gen 4 verdoppelt die Datenrate von PCIe Gen 3, weshalb PCIe Gen 4-Geräte Daten mit viel höherer Geschwindigkeit übertragen können. PCIe Gen 3 arbeitet mit 8GT/s (Gigatransfers pro Sekunde), was ungefähr 1GB/s pro PCIe-Lane entspricht. Im Vergleich dazu arbeitet PCIe Gen 4 mit 16GT/s, also etwa 2GB/s (Gigabyte pro Sekunde) pro PCIe-Lane.

Was ist der Unterschied zwischen PCIe Gen 3 und PCIe Gen 4? - Kingston Technology

PCIe Gen 4 ist der neueste und schnellste PCIe-Standard, der auf Motherboards und kompatiblen CPUs verfügbar ist. PCIe Gen 4-Karten können die volle Bandbreite verarbeiten, die mit der NVMe-SSD-Technologie möglich ist.

www.kingston.com

 

[Neo52]

interessantes Thema, sicherlich werde ich auch nochmal den Wechsel auf PCIe 4.0 oder 5.0 (wobei es dafür noch keine GPUs gibt) im Cluster versuchen, wenn ich das Board geprüft hab. Der Threadripper hat halt Lanes ohne Ende, aber
1. nur 3.0, auch wenn X16 und
2. zieht der halt auch 180W für die CPU, das macht sich auf Dauer auch bemerkbar.

Das 2. System was hier auch noch rechnet hat bereits PCI 5.0, aber die beiden 4090 haben ja nur 4.0 und eben auch nur X8.
Hier war es noch die 4070Ti und die 4090



BTW: vorhin wurde auch die 21.000 WU für die Fuzzies erarbeitet und diese Woche wird es auch die 12 Mrd. und die 23.000 WUs gesamt 🥳 🥳 🥳

Durch den Bauernstreik konnte ich es sogar auf den 28. Platz für den bisherigen Januar schaffen. "+65" liest sich sehr gut, aber das bleibt natürlich nicht so.

 

[sptn.]

[...]
BTW: vorhin wurde auch die 21.000 WU für die Fuzzies erarbeitet und diese Woche wird es auch die 12 Mrd. und die 23.000 WUs gesamt 🥳 🥳 🥳
[...]

Das habe ich die letzten Tage schon beobachtet. Du machst richtig gute Fahrt, wenn alles gut läuft gibt es diesen Monat den nächsten Highscore fürs Team 🚀

Beitrag automatisch zusammengeführt: 15.01.2024

... man benötigt zwei absolut identische Systeme und natürlich auch möcglichst du selben WUs. Ich hatte das damals mit 4 identischen Systemen mit RTX3090 unter Linux getestet.
Zu deiner Frage: die Geschwindigkeit und Bandbreite ist höher.

PCIe Gen 4 verdoppelt die Datenrate von PCIe Gen 3, weshalb PCIe Gen 4-Geräte Daten mit viel höherer Geschwindigkeit übertragen können. PCIe Gen 3 arbeitet mit 8GT/s (Gigatransfers pro Sekunde), was ungefähr 1GB/s pro PCIe-Lane entspricht. Im Vergleich dazu arbeitet PCIe Gen 4 mit 16GT/s, also etwa 2GB/s (Gigabyte pro Sekunde) pro PCIe-Lane.

Was ist der Unterschied zwischen PCIe Gen 3 und PCIe Gen 4? - Kingston Technology

PCIe Gen 4 ist der neueste und schnellste PCIe-Standard, der auf Motherboards und kompatiblen CPUs verfügbar ist. PCIe Gen 4-Karten können die volle Bandbreite verarbeiten, die mit der NVMe-SSD-Technologie möglich ist.

www.kingston.com

Spannendes Thema. Wenn man mal Zeit hätte müsste man das mal noch genauer untersuchen. Ich denke mal hier liegt es auch an der Massiven rechenleistung einer 3090 und der Tatsache, das Linux gegenüber Windows ansich schon mal mehr Punkte macht. Bei älteren/schwächeren Karten unter Windows wäre der Effekt vielleicht kaum oder gar nicht auszumachen. Bei einer 1060 sind 7% 45k Punkte, das geht im Rauschen unter. Bei einer 3090 und angenommenen 8,5m PPD sind das schon mal 595k mehr. Das macht sich dann schon bemerkbar. Angenommen natürlich, die 7% gelten für alle Karten gleichmäßig, was warscheinlich auch wieder nicht so ist.

 

[Ickewars]

... wenn alles gut läuft gibt es diesen Monat den nächsten Highscore fürs Team 🚀

Supi, was Neo da gerade zusammenknüllt. 😍
Aber Team-Highscore eher nicht, bzw. müsste ich dafür meinen Urlaub canceln. Ab morgen sind meine Kisten erstmal aus. 🤷‍♂️

 

[Neo52]

wenn alles gut läuft gibt es diesen Monat den nächsten Highscore fürs Team 🚀

Wäre immer wieder wünschenswert, wenn da nicht immer so der Alltag reingrätschen würde.
Seit heute hab ich auch nicht mehr die volle Falt-Power am Start, aber trotzdem bin ich mehr als zufrieden mit dem Ergebnis

 

[brooker]

Spannendes Thema. Wenn man mal Zeit hätte müsste man das mal noch genauer untersuchen. Ich denke mal hier liegt es auch an der Massiven rechenleistung einer 3090 und der Tatsache, das Linux gegenüber Windows ansich schon mal mehr Punkte macht. Bei älteren/schwächeren Karten unter Windows wäre der Effekt vielleicht kaum oder gar nicht auszumachen. Bei einer 1060 sind 7% 45k Punkte, das geht im Rauschen unter. Bei einer 3090 und angenommenen 8,5m PPD sind das schon mal 595k mehr. Das macht sich dann schon bemerkbar. Angenommen natürlich, die 7% gelten für alle Karten gleichmäßig, was warscheinlich auch wieder nicht so ist.

Grundsätzlich bringt Linux aufgrund der nachweislich besseren Ressourcennutzung ca. 5% Mehrleistung gegenüber einen W10 oder W11 System.

Je stärker die GPU, umso besser muss die PCIe-Anbindung, je flotter muss die SSD und der CPU-Support bei NVidias sein, damit man das Maximum rausholen kann bzw. kein bottleneck entsteht. Die WUs variieren aber sehr stark. D.h., man muss sich das schon eine Weile loggen und auswerten.

Die Single-Core Leistung der CPU ist nach wie vor entscheidend für den Support, da bisher keine Multi-Core Optimierung für den Client gibt.

Wer 24/7 falten ist in der Regel mit Linux (vgl. PCGH Folding Linux Images) unterwegs und falten im sweet spot der GPU. Am besten laufen m.E.n. Einzel-GPU-Systeme, da aufgrund der besseren Wärmeableitung der optimale Arbeitsbereich länger gehalten und folglich weniger Puffer eingebaut werden muss. Ich spreche hier von Laufzeiten über Monate ohne ein Zutun.

 

[Ickewars]

Ich spreche hier von Laufzeiten über Monate ohne ein Zutun.

Hätte ich mit Win11 und 2x GPU ... wenn nicht sporadisch (max. 2x jährlich) das dusselige Windoof nen spontanen Neustart durchziehen würde.
Mit ner Wakü finde ich das thermische Verhalten bei Multi-GPU ziemlich unproblematisch. Auch die vorherige Dreierkiste lief immer wieder Monate am Stück, bei sehr entspannten Temps, durch.

 

[Neo52]

leider hat Linux vorhin wieder gesponnen und ich konnte das Falten nicht starten
Habs dann irgendwann aufgegeben, aber ich hoffe gegen Wochenende hat sich das Linux wieder erholt.

So langsam muss ich wohl wirklich mal versuchen einen neuen Treiber da drauf zu bekommen

 

[brooker]

Hätte ich mit Win11 und 2x GPU ... wenn nicht sporadisch (max. 2x jährlich) das dusselige Windoof nen spontanen Neustart durchziehen würde.

Das kenne ich nur all zu gut. Bei Linux haste das nicht ;o)

Mit ner Wakü finde ich das thermische Verhalten bei Multi-GPU ziemlich unproblematisch.

Ja, mit WaKü ist das ne entspannte Nummer. Der Invest ist aber ziemlich hoch, sodass die wenigsten ne WaKü für 24/7 verwenden. Den "One Million Folder" mit fünf GTX 970 hatten wir damals auch auf WaKü gebaut. Jedoch ist auch das Thema Lanes bei mehr als einer GPU auch wieder ein Thema.

 

[Ickewars]

leider hat Linux vorhin wieder gesponnen

Bei Linux haste das nicht ;o)

Irgendwas ist eben immer ... 🤷‍♂️🙃

 

[Neo52]

Ja, mit WaKü ist das ne entspannte Nummer. Der Invest ist aber ziemlich hoch, sodass die wenigsten ne WaKü für 24/7 verwenden. Den "One Million Folder" mit fünf GTX 970 hatten wir damals auch auf WaKü gebaut. Jedoch ist auch das Thema Lanes bei mehr als einer GPU auch wieder ein Thema.

deswegen hatte ich damals zum Threadripper gegriffen, der hat gut Lanes parat, meiner leider halt nur PCIe 3.0

Bei mehr als 2 GPUs der aktuellen GPU-Gen braucht man sowieso eine Wakü oder ein riesiges Case und eine entsprechende Board-Gestaltung.
In meinem 'Rack' sind ja die beiden 4090 @ Luft, das im Phanteks Enthoo Pro 2 auf einem i3 @ Intel LGA 12100F

Edit: Bild hinzugefügt

 

[Neo52]

So, und wieder eine Stufe weiter:
12 Mrd für die Fuzzies 🥳 und auf Platz 188 gerutscht.

 

[Ickewars]

Fröhliche Gratulation aus der LH Business Lounge am BER, Du Überflieger.

 

[brooker]

@Neo52 ... wieviel Kerne (Cores und Threads) hast du am Laufen (aktivert) und zieht bzw. steht er im Boost?

 

[Neo52]

@brooker meinst Du den Threadripper?
Ist ein 2950X @ Stock @ Heatkiller.
Dank dem Linux kann ich das auch nicht mehr so gut drüber schauen, auch wenn das Sensor-Prog vom Linux recht umfangreich ist.
Sehr schade dass die Aquasuite nicht mehr funktioniert und dementsprechend keine Daten mehr liefert

 

[brooker]

@brooker meinst Du den Threadripper?

... nee, meinte den i3 @ Intel LGA 12100F

 

[Neo52]

Auch der läuft @ Stock
In meiner Signatur werden die Aquasuite-Web Daten angezeigt.
Gekühlt wird er mit einem Noctua NH-D15, das sollte mehr als ausreichen.
Eben als ich nachgesehen hab war er bei 45°C, da sollte auch der boost gut ausfallen

 

[Neo52]

also das Linux spinnt weiter. Ich könnte

nachdem ich jetzt 2h gebraucht habe den 545er Nvidia Treiber drauf zum Laufen zu bringen sülzt mich der Client immernoch irgendwas von Beta-Treibern voll 😠




Bin schon wieder mit Geduld, Zeit und Latein am ENDE

 

[sptn.]

Wie hast du denn den Treiber installiert? Manuell oder über das Treiber Menü?

 

[Neo52]

welches Treiber-Menü? 🤷‍♂️

Die Sache mit Manuell hat mich aber auch viel Zeit gekostet.

Zwischendurch gab es mal ein Update. Ich hatte den 8er Client runtergeladen und da lief es auch kurz, aber das hab ich dann recht schnell abgebrochen.

 

[sptn.]

Hab jetzt kein Ubuntu vor mir… wenn du auf Einstellungen gehst in der Leiste gibt es irgend ein Icon wo man dann die Treiber auswählen kann. Mach mal einen Screenshot 😬 kannste mir auch per PN schicken.

 

[Neo52]

das muss ich Dir erstmal schuldig bleiben, ich hab das Unterfangen abgebrochen.

Vielleicht wird es später noch, aber eigentlich reicht es mir schon wieder. Bis Sonntag lief das einwandfrei und ab Montag ...
Ich hab schon den ganzen Tag mit solchen unplanmäßigen Sachen verschwendet, das läuft wieder richtig rund alles

BTW: der PC mit den beiden 4090 spinnt genauso, aber immerhin faltet er. (der hat aber Windows, macht die Sache nicht sehr viel besser 🤐)
Wenn das so weitergeht gehe ich demnächst ins 🛏️ und stehe erst 2025 wieder auf

 

[Ickewars]

2025 könnte aber schlechtes Falt-Wetter sein.

 

[Cherio]

Da bin ich schon weiter, hab gestern auf einen Rapport schon 2026 geschrieben.

 

[sptn.]

das muss ich Dir erstmal schuldig bleiben, ich hab das Unterfangen abgebrochen.

[…]

Alles gut, wenn ich Montag wieder im Büro bin und du es noch nicht selber gefunden hast kann ich’s dir sagen.

Jedenfalls gibt es da ein Menü in dem Ubuntu dir, anhand deiner Grafikkarte, schon entsprechende Treiber anbietet. Musst du nur Klickiklicki machen und dann sollte es easy gehen. Bin damit zumindest bis jetzt prima gefahren.
Ich hatte ja aber nur meinen uralt-Elektroschrott, mit deinem HighEnd-scheiss will Ubuntu vielleicht einfach nicht kooperieren 😂

 

[Neo52]

also so langsam wir das ganze heute richtig spooky 🫣



zur Erinnerung, es handelt sich auch dieses Mal um eine 4090m und eine 4070ti

Beitrag automatisch zusammengeführt: 19.01.2024

Ich hatte ja aber nur meinen uralt-Elektroschrott, mit deinem HighEnd-scheiss will Ubuntu vielleicht einfach nicht kooperieren 😂

die 30er ging auch einwandfrei, aber die 40er hatten schon immer etwas Ärger gemacht. Meistens hat ½h warten ausgereicht, oder auch mal 1 oder 2 Neustarts.
Dieses Mal hat er sich überhaupt nicht überreden lassen

 

[Ickewars]

Oje, wat ein Elend. Weiß schon, warum ich noch keine Motivation auf den Linux-Kram hatte. Dafür fehlen mir echt die Zeit und vor allem die Nerven. 😱

 

[Neo52]

der letzte Post war aber Win11 🤐

---

hab das mal kurz aufgelistet, man kann da ja schon durcheinander kommen:

Enthoo	Win10	2x RTX 4090
Cluster (Thermaltake Core X9)	Ubuntu	RTX 4090	RTX 4070ti
Lappi	Win11	RTX 4090m (@4080 Desktop)	RTX 4070ti

 

[Ickewars]

Sehr seltsam alles, mit Windoof waren meine Problemchen immer einigermaßen überschaubar. So strange Werte hatte ich zumindest noch nie? 🤔

 

[Neo52]

Ich bin der Sache kurz auf den Grund gegangen, die ti mit ihren -95% läuft auf openCL 🤔