[Kaufberatung] Graka für Stable Diffusion in 2024

[horst_lafer]

Schönen Nachmittag!
Ich verkaufe (bzw. versuche ich es) seit kurzer Zeit AI generierte Bilder unter Verwendung von bekannten und selbst trainierten Latent Diffusion Modellen.

Zurzeit nutze ich dieses hier als Grundlage unter Debian: https://github.com/Stability-AI/stablediffusion

Mit steigender Nachfrage und Ansprüchen in diesem Bereich, bemerke ich trotz Tricks und Effizienzspielerein, dass meine RTX 2060 nicht mehr mithalten kann.

Ich möchte mit maximal dreifachem upsampling 3 individuelle 4K Bilder unter 5 minuten ohne Einsatz von Filtern produzieren. Es muss eine Nvidia Karte sein da CUDA verwendet wird. Budget ~ 700€.

Ein shell script führt den Vorgang automatisch durch und lädt die Bilder anschließend hoch.

Ich habe mich bereits ausgiebig erkundigt und stehe nun vor folgender Frage.

RTX 4070 Super 12GB vs. (gebrauchte) RTX 3090 24GB

Rein von der Rechenleistung her sind beide so ziemlich identisch.

Ich bin persönlich nicht an Gaming interessiert, würde also die neueren Technologien der 4070 wie zB. Frame Generation und Co nicht nutzen.

Natürlich spielt der VRAM eine große Rolle, besonders bei höheren Auflösungen und Training von Netzwerken, aber Benchmarks zu Folge erfüllt die 4070 Super Ganz knapp meine Anfoderungen und obs dann nur beim Training länger dauert ist mir egal.

Gibt es da noch was dazwischen was Sinn machen könnte?

Die 3060 12GB ist etwas zu schlapp, wobei angeblich eine 16GB Variante der 4070/4080 bald kommen sollte. Ob die in meinem Preisbereich liegt bezweifle ich aber.

 

[fp483]

Sally,

Wenngleich ich nicht kommerziell rechne und auch nicht in Deinem Anwendungsbereich, stand ich kürzlich ebenfalls wegen wissenschaftlichen Berechnungen (cuda) vor der ähnlichen Entscheidung zwischen 4070 und 3090.

Da in meinem Anwendungsbereich die Größe des Speichers wichtig ist, habe ich mich letztendlich für eine gebrauchte rtx3090ti entschieden. Diese konnte ich günstiger als eine neue 4070 mit nur 12 GB bekommen, was letztendlich auch zur Kaufentscheidung beitrug.

Einziger Nachteil, den ich sehe, ist der Stromverbrauch. Das könnte für Dich aber relevanter sein als für mich. Und zudem lässt sich dieser ja auch noch etwas eindämmen.

Viele Grüße,
fp483

 

[horst_lafer]

Da in meinem Anwendungsbereich die Größe des Speichers wichtig ist, habe ich mich letztendlich für eine gebrauchte rtx3090ti entschieden. Diese konnte ich günstiger als eine neue 4070 mit nur 12 GB bekommen, was letztendlich auch zur Kaufentscheidung beitrug.

Einziger Nachteil, den ich sehe, ist der Stromverbrauch. Das könnte für Dich aber relevanter sein als für mich. Und zudem lässt sich dieser ja auch noch etwas eindämmen.

Viele Grüße,
fp483

Hallo, vielen Dank für den Beitrag!

Ja genau, der Speicher ist auch bei der Diffusion extrem wichtig.
Das wäre ein klarer Punkt für die 3090, besonders weil es nicht so aussieht als ob in naher Zukunft irgendwas von Nvidia über 16GB kommt, das nicht ~ 1500€ kostet. Die absolut absurden Durchschnittspreise von derzeitigen Mittel/Oberklasse Grafikkarten im Vergleich zu vor 7 Jahren ist ein anderes Thema, aber ich nehme an wir teilen uns da eine Meinung.

Wie bereits von dir erwähnt, habe ich mir auch Gedanken über den Stromverbrauch gemacht. Hast du vielleicht mit dem Reduzieren der Spannung etwas experimentiert? Das wäre nämlich mein Plan gewesen den Stromverbrauch in Schach zu halten.

Sorgen macht mir auch die Langlebigkeit der Karte, da sie ja von Haus aus schon sehr heiß läuft und viel Strom verbraucht. Gekoppelt mit mehreren Jahren Einsatz durch den Voreigentümer ist es fragwürdig wie lange man noch was davon hat. Ich persönlich würde sie in meinen Wakü Kreislauf integrieren, habe diesbezüglich auch schon nach Blöcken gesucht, aber Bedenken habe ich trotzdem.

Du hast mich aber schon etwas beruhigt. 🙂
Sofern die 3090 zu einem fairen Preis erhältlich ist macht es einfach mehr Sinn als sich die 4079 zu holen, besonders wenn Gaming nicht von Relevanz ist.

Also ich habe Angebote zwischen 700 - 800€ gefunden.
Problem ist hier auch dass ich die Karte testen möchte bevor ich jemandem 700 bar auf die Hand drücke. Zu Fremden in die Wohnung zu gehen ist mir aber etwas unangenehm ehrlich gesagt, haha.

 

[Zyxx]

Ich kann nicht absehen wie gut das wirklich funktionieren würde, aber wenn das hier wirklich hält was versprochen wird:

AMD Quietly Funded A Drop-In CUDA Implementation Built On ROCm: It's Now Open-Source - Phoronix

www.phoronix.com

Dann könntest du auch im anderen Lager nach Karten mit viel Speicher schauen.
Die 6800X wird bei Mindfactory ja grade für <400€ verschleudert.

 

[horst_lafer]

Ich kann nicht absehen wie gut das wirklich funktionieren würde, aber wenn das hier wirklich hält was versprochen wird:

AMD Quietly Funded A Drop-In CUDA Implementation Built On ROCm: It's Now Open-Source - Phoronix

www.phoronix.com

Dann könntest du auch im anderen Lager nach Karten mit viel Speicher schauen.
Die 6800X wird bei Mindfactory ja grade für <400€ verschleudert.

Hochinteressant!

Ich hatte keine Ahnung dass daran gearbeitet wird. Sollte es funktionieren wird das ohne Zweifel weltbewegend für AMD sein.

Da muss ich jetzt mal genauer schauen wie die CUDA Implementierung bei dem Diffusion Model genau funktioniert und ob das vielleicht wirklich die perfekte Alternative sein könnte.

Ok ich gehe mal auf eine Google Rundreise, vielen Dank für den Link! 🙂

 

[fp483]

@horst_lafer

Ich habe bisher noch nicht viel experimentieren können. Die Systeme laufen bei uns unter debian. Hier läßt sich sehr einfach das power limit reduzieren (unter windows sicher auch). Mit undervolting unter debian habe ich mich allerdings noch nicht beschäftigt. Soll wohl aber auch gehen. Die 3090Ti hat ein power limit von 480 W, welches ich einfach gekappt habe (380 W).

Ich fand diesen Artikel recht interessant, der zeigt, dass die Performance-Einbußen gar nicht dramatisch ausfallen müssen, wenn man die Karte einfach am Power-Limit beschneidet und dann bleiben die deutlich kühler, was auch der Haltbarkeit zu Gute kommen müßte: powerlimit

Klar müßtest Du das für Deinen Anwendungsfall testen, aber ich würde vermuten, dass es auch dort einen sweet spot gibt, der deutlich effizienter als Stock-Setting läuft. Und klar ist das vom Preis abhängig, aber die 3090ti, die ich über Kleinanzeigen bekommen habe, ging für 550 Euro weg.

@Zyxx
Kann gut sein, dass die Radeon's mittlerweile oder auch in der Zukunft gut unter Cuda laufen, aber gegenwärtig ist mir das noch zu unsicher und daher halte ich es im Style von Guardiola: "Thiago oder nix", also nvidia oder nix;-)

Viele Grüße,
fp483

 

[Zyxx]

Ich kann das verstehen @fp483

 

[horst_lafer]

@horst_lafer

Ich habe bisher noch nicht viel experimentieren können. Die Systeme laufen bei uns unter debian. Hier läßt sich sehr einfach das power limit reduzieren (unter windows sicher auch). Mit undervolting unter debian habe ich mich allerdings noch nicht beschäftigt. Soll wohl aber auch gehen.

Ah sehr gut, ein Linux Kollege.

Also das nvidia-driver package hat bisweilen noch nicht den neusten Treiber unter bookworm non-free-firmware integriert, den muss man sich über Backports holen.

Mit dem Treiber lässt sich aber prinzipiell alles machen, wie schon erwähnt zB. das Power Limit, Lüfterdrehzahl aber auch Taktfrequenz und Spannungen. Dazu muss in der xorg.conf

Option "Coolbits" "28"

gesetzt werden.

Ich lese den Artikel gerade und es scheint generell ein Ding der Vergangenheit zu sein händisch Spannungen einzustellen. Bei weitem nutzerfreundlicher und effektiver einfach ein Power Limit vorzugeben und den Rest macht die Karte selbst.

550 ist ein sehr guter Preis, waren das zufällig die eBay Kleinanzeigen?

 

[fp483]

Genau an diesen Einstellungen inclusive Start-Skripte habe ich vorhin gewerkt. Ging wie hier beschrieben easy durch:

Nvidia power limit at boot

Nvidia power limit at boot. GitHub Gist: instantly share code, notes, and snippets.

gist.github.com

Ich selbst habe auch keine Lust an den Spannungen zu arbeiten, daher ist mir das power limit auch ausreichend.

Die Karte habe ich in der Tat aus den Kleinanzeigen (Abholung). Und ich hatte vorab vereinbart, dass die Karte kurz im Benchmark läuft, bevor zur Bezahlung geschritten wird. Ich gehe auch echt ungern in fremde Wohnungen, weil ich auch niemanden belästigen will, aber wie bei Dir auch kaufe ich ungern die Katze im Sack. Der Kontakt war freundlich und entspannt. Im Prinzip, so wie man sich einen optimalen Verkauf vorstellt. Also wenn Du so eine Karte bekommen kannst, bist Du glaube ich gut bedient. Aber ich mußte auch ein wenig suchen, bis ein passendes Angebot kam. Manche möchten auch heute noch für eine 3070Ti mehr als 500 Euro. Ich drücke die Daumen.

Viele Grüße,
fp483

 

[horst_lafer]

@fp483
Ja, mit nvidia-smi geht's auch, ich glaube dass ist jetzt sogar die empfohlene Methode, da xorg eigentlich schon hinüber ist.

Seit Windows 10 hab ich mich verabschiedet und nie wieder zurückgesehen. Es gibt einfachere Wege seine gesamten Daten und Nutzerverhalten an Werbefirmen zu übermitteln.

Sehr guter Deal, ich hoffe dass ich auch so viel Glück habe bei der Suche.

Du sprichst etwas an was mich generell sehr verärgert bei manchen Privatverkäufern.

Ich will dieses Verhalten nicht als desillusioniert bezeichnen, da ich natürlich nachvollziehen kann wie schwierig es ist den Markt im Auge zu behalten und gleichzeitig ein Verständnis davon zu haben wie viel diverse Hardware wert sein könnte, aber wenn man da Leute sieht die darauf bestehen 4 Jahre alte Hardware zu 80% des Originalpreises zu verkaufen, dann muss man schon manchmal höflich nachfragen ob noch alle Tassen im Schrank sind

Und an der Inflation liegt es nicht, grundsätzlich kann man davon ausgehen dass gebrauchte Grafikkarten und CPUs nach 1 - 2 Jahren, sofern sie keine Sondereditionen sind, um mindestens 30 - 40% fallen.

Das ist einfach die Realität und wenn ich solche Wunschangebote sehe, wobei der Verkäufer völlig entsetzt und beleidigt reagiert wie ich es überhaupt wagen kann die Hälfte des Neupreises anzubieten, dann kocht bei mir schon manchmal der Kessel.

 

[Gurkengraeber]

Ich will dieses Verhalten nicht als desillusioniert bezeichnen, da ich natürlich nachvollziehen kann wie schwierig es ist den Markt im Auge zu behalten und gleichzeitig ein Verständnis davon zu haben wie viel diverse Hardware wert sein könnte, aber wenn man da Leute sieht die darauf bestehen 4 Jahre alte Hardware zu 80% des Originalpreises zu verkaufen, dann muss man schon manchmal höflich nachfragen ob noch alle Tassen im Schrank sind

Und an der Inflation liegt es nicht, grundsätzlich kann man davon ausgehen dass gebrauchte Grafikkarten und CPUs nach 1 - 2 Jahren, sofern sie keine Sondereditionen sind, um mindestens 30 - 40% fallen.

Das ist einfach die Realität und wenn ich solche Wunschangebote sehe, wobei der Verkäufer völlig entsetzt und beleidigt reagiert wie ich es überhaupt wagen kann die Hälfte des Neupreises anzubieten, dann kocht bei mir schon manchmal der Kessel.

Also auch ich verkaufe meine Hardware zum höchst möglichen Preis, daran ist nichts verwerfliches. Natürlich sollte man nicht beleidigt oder gar beleidigend reagieren, wenn jemand mit einem Preisvorschlag kommt, der einem nicht gefällt. Dann lehnt man höflich ab und gut ist.

Aber solange man einen Käufer findet, hat man alles richtig gemacht. Ich weiß nicht wie viele verärgerte Leute ich bei der Strix letztes Jahr oder kürzlich wegen der 4070Ti oder 4080 Super hatte, obwohl ich die für mich zu niedrigen Angebote sehr höflich abgelehnt habe. Und am Ende habe ich eben immer jemanden gefunden, der meinen Preis bzw. einen dicht dran zahlen wollte. Einer kam sogar für die Ti aus 100km Entfernung, am Ende hätte er die Karte neu wohl günstiger bekommen. Aber auch er war Erwachsen und trifft eben seine Entscheidungen.

Also nein, von "nicht alle Tassen im Schrank" kann keine Rede sein. Angebot und Nachfrage, ganz einfach. Nur der Ton sollte halt stets gewahrt bleiben, da bin ich bei Dir.

 

[horst_lafer]

Aber solange man einen Käufer findet, hat man alles richtig gemacht. Und am Ende habe ich eben immer jemanden gefunden, der meinen Preis bzw. einen dicht dran zahlen wollte. Einer kam sogar für die Ti aus 100km Entfernung, am Ende hätte er die Karte neu wohl günstiger bekommen. Aber auch er war Erwachsen und trifft eben seine Entscheidungen.

Also dem stimme ich nicht zu.

Dass ein Käufer ausreichend informiert sein sollte ist natürlich dessen Eigenverantwortung, aber jemandem wissentlich gebrauchte Hardware zum relativen Neupreis anzudrehen finde ich nicht in Ordnung, besonders wenn es offensichtlich ist dass dieser vielleicht wirklich einfach zu wenig Erfahrung hat oder sogar einem Irrtum unterliegt.

Das grenzt meiner Meinung nach schon an Laesio Enormis, ehrlich gesagt.

Die Regel sollte sein, wer fair verhandelt, hat alles richtig gemacht.
Der Käufer kommt dann nämlich sicher wieder und verbreitet vielleicht sogar seine positive Erfahrung.

Umgekehrt sieht es aber nicht so rosig aus, da es an der Nachhaltigkeit mangelt.

Zumal solche ungleichgelagerten Geschäfte nicht nur dem Einzelnen schaden, sondern in anderen Verkäufern ebenfalls den Mut, oder eher, die Dreistigkeit erwecken illusorische Preisvorstellungen an den Tag zu legen.

Im Endeffekt hat dann keiner was davon, weil Käufer vergrault werden die mit Sicherheit nicht mehr mit diesem Händler in Kontakt treten und Verkäufer erheblich länger bzw. ewig warten müssen bis sie endlich jemanden finden.

Zusammenfassend, halte ich es für kurzsichtig ewig darauf zu warten bis man einen gefunden hat der bereit ist ein unrealistisches Angebot anzunehmen ist, da man gleichzeitig dem Markt und sich selbst langfristig schadet.

Viel ökonomischer wäre es, vorerst zu recherchieren was überhaupt ein faires Angebot darstellen würde und dann zu diesem Preis zu verkaufen.

 

[fp483]

Ich kenne das auf beiden Seiten. Ich versuche aber stets sowohl als Verkäufer, wie auch als Käufer fair zu sein und mache mir vorher ein Bild davon was gegenwärtig reale Preise sind. Und man muss ich sich emotional vom Gegenstand entkoppeln. Es bringt nichts sich daran zu klammern, dass der Gegenstand mal sehr teuer war, aber auch nichts, abstrus niedrige Preise zu fordern.

Ich selbst kann auch nicht leiden, wenn man komplett einfach mit "was ist letzte Preis" kommt. Da reagiere ich nicht darauf. Aber wenn mir ein potentieller Käufer höflich erklärt: "Hey schau, das Nachfolgemodell, das gleich schnell ist, kostet xxx neu, evtl. möchtest Du dir über mein Angebot von yyy Gedanken machen", dann denke ich in der Tat darüber nach.

Bei der 3090ti hatte ich vermutlich Glück, aber ich habe den Verkäufer weder auf einen Nachlass gedrängt, noch irgendwie diskutiert, wir haben uns beide letztlich im Gespräch so geeinigt. War wirklich ein optimaler Verkaufsablauf. Und ich hatte den Eindruck, dass der Verkäufer sehr zufrieden war.

Ich hatte aber auch schon hier im Forum echt nette Kontakte. Z.B. hat mir ein User hier im Forum einen Server für eigentlich zu wenig Geld überlassen. Ich hatte ihn angeschrieben, dass ich nur ZZZ Euro zahlen könne, dass ich weiß, dass es zu wenig ist, dass das Gerät aber nicht für mich persönlich sondern für meinen öffentlichen Arbeitgeber ist, und ich da privat nicht mehr ausgeben könnte. Das hat er sich überlegt, und uns das Gerät dann für den Preis überlassen. Das war wirklich sehr entgegenkommend und ich bin ihm heute noch dankbar, dass ich bei der Arbeit nun flotter unterwegs bin.

Viele Grüße,
fp483

 

[Gurkengraeber]

Händler? Ich dachte Du redest hier von privat and privat. In 20 Jahren Ebay hab ich noch niemals an/von jemanden 2x verkauft/gekauft.

Edit: Hat sich noch einer zwischen geschoben, Antwort auf Post #12.

 

[horst_lafer]

@Gurkengraeber
Ist ja immer Privat auf Privat, außer du handelst im Rahmen des Bundes oder der Union.

Das mag sein, aber ich hoffe du siehst ein dass die Art und Weise deines Handelns als Einzelner einen Einfluss auf das Kollektiv nehmen kann.

Die meisten Verkäufer orientieren sich nämlich am Preis der Konkurrenz, anstatt zu recherchieren was denn ihre Ware wirklich wert ist.

Und dann kommt es schnell zum Dominoeffekt, wo die Mehrheit der Verkäufer davon überzeugt ist, dass sie ihre Ware zum selben Preis verkaufen können bzw. müssen, weil Max Mustermann ja auch zu 80% des Neupreises verkauft hat.