Leistung der Instinct-Beschleuniger: AMD hat vor allem ein Software-Problem

Thread Starter
Mitglied seit
06.03.2017
Beiträge
114.186
In einer Leistungsanalyse zwischen NVIDIAs aktuellen Hopper-Beschleunigern mit H100- und H200-GPU sowie AMDs Instinct MI300X zeigten sich vor allem die Nachteile des Software-Ökosystems von AMD. Auf dem Papier ist der Instinct MI300X durchaus in der Lage es mit der Konkurrenz aufzunehmen, in manchen Bereichen wäre er sogar im Vorteil. In den kommenden Monaten soll die Instinct MI325X als Nachfolger des MI300X mit 256 anstatt 192 GB HBM3E aufwarten können. In der Vorstellung zeigte AMD Vergleiche mit NVIDIAs H200-Beschleuniger und sieht sich in vielen Bereich weit vor der Konkurrenz.
... weiterlesen
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
War das schon jemals anders?

Wurde vor einer Weile nicht irgendwo gesagt - ich finde die Quelle nicht mehr - dass die Betriebskosten von Nvidia so gering sind, dass AMD selbst dann nicht mithalten könnte, wenn die Beschleuniger kostenlos wären?
 
Dass es bei AMD oftmals bei der Software hapert, ist ja nun echt nichts neues. Erschreckend bzw. unerklärlich ist hingegen, warum man das bei AMD offenbar bis heute nicht wirklich erkannt und begriffen hat. Schon vor Jahren hätte man sich da deutlich besser aufstellen müssen.
Bleibt zu hoffen, dass AMD nun, da sie finanziell wieder deutlich besser aufgestellt sind, an dieser Stelle mal deutlich investiert.
 
Dass es bei AMD oftmals bei der Software hapert, ist ja nun echt nichts neues. Erschreckend bzw. unerklärlich ist hingegen, warum man das bei AMD offenbar bis heute nicht wirklich erkannt und begriffen hat.
Interessante Theorie. Auch angesichts dessen, daß sie schon vor etlichen Monaten erklärt haben, daß egal was sie machen, die Soft für eine ganze Weile Priorität 1 haben wird. Ein Insider was? :hmm:
Soweit Prio 1, daß Semi berichtete, Lisa persönlich hat mit denen mind. 1 Videokonferenz gemacht?

Bleibt zu hoffen, dass AMD nun, da sie finanziell wieder deutlich besser aufgestellt sind, an dieser Stelle mal deutlich investiert.
Ggf. würde es vielleicht schon reichen, wenn man die vorhandenen Mannschaften machen lässt was wirklich wichtig ist ;)

@cresent15
Das wäre tatsächlich neu. Jetzt mal auch abseits dessen, daß ich nicht ganz schnalle was das mit dem Tonic/der News zu tun haben könnte. Das Problem ist grad, daß die Soft die Hardware unterperformt. Nicht, daß man sonst 101 Probleme damit hat die man mit NV nicht hat :hmm:
Oder hab ich da was falsch verstanden?

@all
Gut, ob überhaupt und welche Früchte das nun trägt ist ja die andere Sache :fresse: Aber da mit Druck was tun wollen, das sieht man vorerst schon.

Tatsächlich fährt jetzt der Hyperzug für KI rum, irgendwie scheint das für AMD aber adaptiert worden zu sein, für eine Hardware die primär für FP64 gemacht worden war. Da liefern die Dinger übrigens volles Karacho.
Imho hat man aber Stückchen zu lang nur darüber geredet, daß ML daruf ebenfalls so bollert. Für ML muss man halt merh selbst tun, was Soft angeht. Es reicht wohl nicht richtig gut Cuda zu konvertieren ;)
 
Zuletzt bearbeitet:
Das Thema Software war schon immer ein Problem von AMD, die Trends stets verschlafen haben und danach 10 Jahre gebraucht haben, um danach auf Augenhöhe zu sein.
  • G-Sync war ab Tag 1 hervorragend ab 30Hz bis MaxHz, AMD hat mit FreeSync schnell nachgezogen, aber nahezu alle Implementierungen der ersten 3 Jahren waren kompletter Müll, weil nirgends ein HwScaler verbaut war. Oft waren das dann Monitore mit mehreren FreeSync Range Optionen, z.B. 96-144Hz oder 48-96Hz.
  • DLSS seit 2.0 ist der Game Changer, um gewaltige Performancesprünge umzusetzen und gleichzeitig das Anti Aliasing Problem zu lösen. Mir gefällt native zwar optisch besser, aber bei 50% Performance Improvement mit 4K Quality ist das ein guter Kompromiss.
  • Low Latency Modes gab es bei Nvidia schon vor 10 Jahren (PreRendered Frames 1), dazu kam dann Reflex in zahlreichen Titeln
Es ist die Software, die für mich Radeon Grafikkarten unkaufbar macht. Früher G-Sync, heute DLSS 2.0, weil FSR derart schlecht in der Verbreitung, Leistung und Qualität ist, dass auch ein 200€ Aufpreis der Nvidia Grafikkarte nach wie vor gerechtfertigt ist. Würde DLSS auch bei AMD Grafikkarten funktionieren, hätte ich mir eine 7900XTX gekauft, aber FSR ist derzeit nicht konkurrenzfähig. AMD ist immer der Nachzügler und haut in der Eile unfertige Features raus, die weder in Spielen angeboten werden, noch vergleichbar gut funktionieren.

In der Arbeit haben wir vor 6(?) Jahren Grafikbeschleuniger für Terminalserver gebraucht, da war bei Citrix gar nichts anderes als Nvidia GRID überhaupt unterstützt. Wie immer too little too late von AMD, also haben wir 6 Server mit jeweils 2x Nvidia T4 Grafikkarten gekauft, plus nochmal ca. 500 Userlizenzen.

Hardwareseitig ist Team Rot fast immer leistungsfähig, aber das bringt mir nichts, wenn unterm Strich nichts gutes dabei rumkommt. Ich würde SO gern AMD kaufen, um die Nvidia Preispolitik zu sabottieren, aber da spare ich mir dann 100€ und habe ein paar GB mehr VRAM, dafür habe ich dann Upscaling zweiter Klasse und mehr Verbrauch. Danke, aber nein Danke.
 
@Stunrise
Ähnliche Erfahrung bezüglich offline Raytracing. Als Nvidia cudacore Unterstützung auf den gaming Treibern aktivierte, konnte man von heute auf morgen Raytracing apps auf consumer GPUs nutzen. Das war für mich der Grund, von Radeon auf Nvidia zu wechseln. Erwarb damals eine gtx 970, um das auszuprobieren und war beeindruckt. Selbst Rendern verteilt auf mehrere Nvidia GPUs funktionierte aus dem Stand heraus. Ein Reiter gesetzt, GPUs ausgewählt, lief. Ähnliches bei Blender cycles. Nvidia ist damals der Blender Foundation beigetreten und hat innerhalb kürzester Zeit bei der Entwicklung einer zuverlässigen Schnittstelle geholfen. AMD hat das erst ca. 5 Jahre später getan. Blender cycles geht nun auch auf AMD, aber mit ca. 30-40% niedrigeren Benchmark werten als vergleichbare Nvidia Karten. Derzeit nutze ich einen kleineren Anbieter (Freeware) und cudacore. Es gab aus dessen Community mehrere Anfragen bei AMD, ob sie nicht bei Implementierung einer Schnittstelle für AMD GPUs helfen könnten. AMD zeigte sich nicht interessiert. Drittanbieter, die für $100-$200 plugins zu einigen RT-engines entwickelt haben, sind die einzige Alternative. Aber es gibt keine direkte Unterstützung von AMD und nur wenige wollen sich dem Risiko aussetzen, den kleinen Drittanbieter verschwinden zu sehen und auf unvollendeten Projekten sitzen zu bleiben.
 
Dass es bei AMD oftmals bei der Software hapert, ist ja nun echt nichts neues. Erschreckend bzw. unerklärlich ist hingegen, warum man das bei AMD offenbar bis heute nicht wirklich erkannt und begriffen hat. Schon vor Jahren hätte man sich da deutlich besser aufstellen müssen.
Bleibt zu hoffen, dass AMD nun, da sie finanziell wieder deutlich besser aufgestellt sind, an dieser Stelle mal deutlich investiert.
Die Realität sieht so aus:

R&D-Budget (in Mio. $):
2017 - 1196
2018 - 1434
2019 - 1547
2020 - 1983
2021 - 2845 (Xilinx - 970)
2022 - 5005 (ab hier inkl. Xilinx)
2023 - 5672
2024 - ca. 6400

Und Nvidias R&D-Budget (in Mio. $):
2020/21 - 3924
2021/22 - 5268
2022/23 - 7339
2023/24 - 8675
2024/25 - ca. 11700

In den letzten 5 Jahren macht das ca. 22 Mrd. für AMD und knapp 37 Mrd. für Nvidia.

Intel dürfte übrigens so bei 75~80 Mrd. herauskommen und Apple hat in den letzten 5 Geschäftsjahren 128 Mrd. aufgewendet.
 
Es gab vor etlichen Monaten Meldungen, dass man dieses Defizit sehr wohl erkannt hat und hier aufschließen möchte. Dies aber mehrere Jahre dauern wird. AMD sollte hier also von Jahr zu Jahr besser werden. Bin gespannt, was dabei heraus kommt.
 
Bin mir da was Nvidia / AMD angeht nicht so ganz sicher wer hier das Schwarze Schaf ist. Denn auch Nvidia Schlampt mit Treibern.


Wobei sich auch Nvidia in der Vergangenheit nicht gerade mit Ruhm Bekleckert hat.


Die Liste lässt sich noch weiter Fortführen. Auch in der 3XXX und 4XXX Serie Steckt der Teufel im Detail.
Wenn ich mir so die Probleme bei AMD durchlese sind die Verglichen mit denen von Nividia Harmlos.
Nicht zuletzt weil Sie auch sich damals einen Bock geschossen haben zu Linux.
Vor einiger Zeit hat mal Nvidia einen Modifizierten Kernel von Linux an Linus Torwald ( Urvater von Linux Kernel) geschickt.
Er war so Entsetzt darüber das er nur eine Antwort darauf kannte:

Nvidia F*** y**

Generell würde ich eher schreiben das Nvidia da das Problem ist. Wenn also Nachholbedarf bei AMD Besteht so ist die nicht zu vergleichen mit den Patzern die Nvidia hingelegt hat.

Auch wenn es hier um KI Beschleuniger geht ,sollte man auch alles mitnehmen an Infos und sich ein Bild daraus machen.
 
Bin mir da was Nvidia / AMD angeht nicht so ganz sicher wer hier das Schwarze Schaf ist. Denn auch Nvidia Schlampt mit Treibern.


Wobei sich auch Nvidia in der Vergangenheit nicht gerade mit Ruhm Bekleckert hat.


Die Liste lässt sich noch weiter Fortführen. Auch in der 3XXX und 4XXX Serie Steckt der Teufel im Detail.
Wenn ich mir so die Probleme bei AMD durchlese sind die Verglichen mit denen von Nividia Harmlos.
Nicht zuletzt weil Sie auch sich damals einen Bock geschossen haben zu Linux.
Vor einiger Zeit hat mal Nvidia einen Modifizierten Kernel von Linux an Linus Torwald ( Urvater von Linux Kernel) geschickt.
Er war so Entsetzt darüber das er nur eine Antwort darauf kannte:

Nvidia F*** y**

Generell würde ich eher schreiben das Nvidia da das Problem ist. Wenn also Nachholbedarf bei AMD Besteht so ist die nicht zu vergleichen mit den Patzern die Nvidia hingelegt hat.

Auch wenn es hier um KI Beschleuniger geht ,sollte man auch alles mitnehmen an Infos und sich ein Bild daraus machen.

Ist das Satire? 😂
 
Zuletzt bearbeitet:
Wenn also Nachholbedarf bei AMD Besteht so ist die nicht zu vergleichen mit den Patzern die Nvidia hingelegt hat.
Das ist richtig. Die Sachen die du erwähnst sind quasi OT. Bei AMD ist es aktuell:
- bringen die mögliche Leistung in FP64 sehr ordentlich auf die Straße
- bringen KI-Leistung nicht ordentlich auf die Straße
- zu viel Gefrickel bei KI

Nicht mehr, aber auch nicht weniger. Wobei, lieber Thread, auch wenn ich entsprechend einen Daumen hier für einen Beitrag vergeben habe ;) ich die These aufstellen möchte, daß z.B. die stabel difussion Bildchen mit 6 Fingern oder sonstigen Fehlern, immer das Ergebniss auf NV sind :hmm: Wer das auf AMD gegenrechnet bekommt WEIT weniger Fehler die er korrigieren muss. Hmm...

Ist das Stiere? 😂
Habs zuerst auch gedacht, aber denke das ist wohl eher Ziegen.

Nur eine Vermutung. Was dafür keine ist, ist der Grad der Faulheit bei völlig unsinnigen Fullquotes. In dem Fall schon quasi das Endstadium.
 
Zuletzt bearbeitet:
Das ist richtig. Die Sachen die du erwähnst sind quasi OT. Bei AMD ist es aktuell:
- bringen die mögliche Leistung in FP64 sehr ordentlich auf die Straße
- bringen KI-Leistung nicht ordentlich auf die Straße
- zu viel Gefrickel bei KI

Nicht mehr, aber auch nicht weniger. Wobei, lieber Thread, auch wenn ich entsprechend einen Daumen hier für einen Beitrag vergeben habe ;) ich die These aufstellen möchte, daß z.B. die stabel difussion Bildchen mit 6 Fingern oder sonstigen Fehlern, immer das Ergebniss auf NV sind :hmm: Wer das auf AMD gegenrechnet bekommt WEIT weniger Fehler die er korrigieren muss. Hmm...


Habs zuerst auch gedacht, aber denke das ist wohl eher Ziegen.

Nur eine Vermutung. Was dafür keine ist, ist der Grad der Faulheit bei völlig unsinnigen Fullquotes. In dem Fall schon quasi das Endstadium.
Das stört mich überhaupt nicht.
 
@cresent15
Scheint so. Ich denke, weil dir hier alle anderen halt am A... vorbeigehen die über diesen Doppelmüll scrollen müssen, wenn sie deine Beiträge passieren möchten, um wieder reale Inhalte zu sehen und zu lesen (y) Sollte man sich für "ich komm nicht weiter" Threads/Beiträge vormerken und da mit einer ähnlichen Beständigkeit ebenfalls einfach drüberscrollen.
 
@cresent15
Scheint so. Ich denke, weil dir hier alle anderen halt am A... vorbeigehen die über diesen Doppelmüll scrollen müssen, wenn sie deine Beiträge passieren möchten, um wieder reale Inhalte zu sehen und zu lesen (y) Sollte man sich für "ich komm nicht weiter" Threads/Beiträge vormerken und da mit einer ähnlichen Beständigkeit ebenfalls einfach drüberscrollen.
Genau so ist es. Wenn es Luxx kümmern würde, gäbe es eine Ausklappmechanik. Scheinbar interessiert es den Betreiber aber auch nicht.
 
Es ist die Software, die für mich Radeon Grafikkarten unkaufbar macht. Früher G-Sync, heute DLSS 2.0, weil FSR derart schlecht in der Verbreitung, Leistung und Qualität ist, dass auch ein 200€ Aufpreis der Nvidia Grafikkarte nach wie vor gerechtfertigt ist. Würde DLSS auch bei AMD Grafikkarten funktionieren, hätte ich mir eine 7900XTX gekauft, aber FSR ist derzeit nicht konkurrenzfähig.
Für mich ist es umgekehrt.
Die mangelnden Optionen im Geforce Treiber über Jahre, machten Geforce Karten zu Kinderspielzeug für mich.
Jetzt mit der neuen Geforce App ist es schonmal besser geworden. Aber dass dauerte jetzt auch fast 10 Jahre. (Hatte Wattman schon 2016 mit der Polaris im Radeon Treiber und wollte es nie wieder vermissen)
Und selbst die Optionen in der Nvidia App sind immer noch wenig im vergleich zu dem was der Radeon Treiber kann.
Nur beim Punkt DLSS muss ich dir zustimmen. DLSS ist besser als FSR.
Aber dafür hat AMD Frame Generation über den Treiber, und in allen Spielen.
Dadurch kann ich in Star Citizen mit meinem 7 Jahre altem PC und 330€ Radeon mehr FPS haben als ein RTX 4090 Nutzer weil SC extrem CPU limitiert ist und Frame Gen trotz CPU Limit die FPS verdoppelt.
fmf 2.jpg

fmf 1.jpg

fmf 3.jpg
 
Bin mir da was Nvidia / AMD angeht nicht so ganz sicher wer hier das Schwarze Schaf ist. Denn auch Nvidia Schlampt mit Treibern.
... .
Es gibt doch aktuellere Beispiele:



Zum Thema:

Es gab vor etlichen Monaten Meldungen, dass man dieses Defizit sehr wohl erkannt hat und hier aufschließen möchte. Dies aber mehrere Jahre dauern wird. AMD sollte hier also von Jahr zu Jahr besser werden. Bin gespannt, was dabei heraus kommt.
Du meist sicherlich die Übernahme von Silo Ai

oder Nod.Ai mit der (Machine Learning) Distribution SHARK

oder Mipsology mit Zebra AI, einer Engine die KI-Modelle zum Inferencing auf FPGAs optimiert (für AMD Xilinx).
 
Zuletzt bearbeitet:
Hallo, kann mir denn hier jemand sagen wie das bei den aktuellen AMD GPUs mit der Unterstützung für Stable Diffusion aussieht ?

Läuft das mittlerweile, oder muss man da vorher noch größere Anpassungen vornehmen ?

Ich habe diesbezüglich mal auf einem discord Server gefragt, die kurze Antwort war irgendwie nur das es man dafür wohl irgendeine Linux-Distribution braucht, also unter Windows scheint das angeblich nicht zu funktionieren, die Discussion auf dem discord ging leider ziemlich schnell mit anderen Dingen weiter die nichts mehr mit meiner Frage zu tun hatten und ging dann eben leider auch unter

Mich würde es Interessieren, zumal die RX 7600 XT nunmal die günstigste GPU mit 16gb vram ist, womit dann auch mit Sicherheit die Nutzung von XL-Lora Modellen kein Problem darstellen würde, ausserdem zähle ich mich halt zu den Leuten die keine wahnsinning hohe gaming Leistung brauchen, von daher wäre die 7600 XT für mich schon von Interesse, aber im Zweifel hat man natürlich wenig Lust um ständig den Rechner neu hochzufahren nur damit man von Windows in irgendeine Linux Version booten kann damit SD funktioniert


Wäre an der Stelle dankbar für hilfreiche Antworten.


Guten Rutsch ;)
 
Hallo, kann mir denn hier jemand sagen wie das bei den aktuellen AMD GPUs mit der Unterstützung für Stable Diffusion aussieht ?

Läuft das mittlerweile, oder muss man da vorher noch größere Anpassungen vornehmen ?
Es "läuft" teilweise, du musst aber mehr oder weniger versiert im Troubleshooten sein.
Spiel mich auch grade ein wenig damit auf einer 6700XT 12GB unter Win11:
Mich würde es Interessieren, zumal die RX 7600 XT nunmal die günstigste GPU mit 16gb vram ist, womit dann auch mit Sicherheit die Nutzung von XL-Lora Modellen kein Problem darstellen würde, ausserdem zähle ich mich halt zu den Leuten die keine wahnsinning hohe gaming Leistung brauchen, von daher wäre die 7600 XT für mich schon von Interesse, aber im Zweifel hat man natürlich wenig Lust um ständig den Rechner neu hochzufahren nur damit man von Windows in irgendeine Linux Version booten kann damit SD funktioniert
Hast du die Karte schon oder würdest du sie neu kaufen?
Wenn du sie für AI neu kaufst leg 150€ drauf und nimm eine RTX 4600 mit 16GB: https://geizhals.at/?cat=gra16_512&sort=p&xf=132_16384~9810_06+17+-+RTX+4060+Ti
Hat sich ein Arbeitskollege vor Weihnachten speziell für SD gekauft, bei gleichen Settings dauert ein Bild generieren bei mir 3-4x so lange wie bei ihm, plus er hat den großen Vorteil das JEDES Tool ohne Gefrickel funktioniert - installieren, starten, läuft.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh