Hallo zusammen,
es lässt sich streiten, ob diese Frage in das Thema Mainboards, Software oder die Kaufberatung passt.
Zu meinem "Problem": Ich spiele aktuell einiges mit KI, was sich zukünftig auch in den Bereich Bilder, Bilderverwaltung sowie Trainieren von Modellen erweitern kann.
Gegenwärtig nutze ich gerne Modelle im Bereich des Llama 70b Models (37GB groß). Das 8B Modell (5GB) ist ebenso möglich, aber eben deutlich kleiner.
Um nun das große Modell in den VRAM der GraKa zu bekommen, wären somit mindestens 40GB notwendig. Hier sind wir nicht mehr im Consumerbereich. Alternativ wären zwei Consumerkarten möglich, welche dann zwar parallel aber nicht via NV Link kommunzieren können. Gegenwärtig habe ich, natürlich kommt ein Haben-Wollen-Faktor dazu, die RTX 5090 im Blick. Auch und gerade wegen der vielen Shader von über 20.000. Zwei 5090 sind aber definitiv zu teuer!
Ebenso kann ich mir vorstellen, die Maschine mit ProxMox zu betreiben, um Fileserver, NAS und verschiedene KI Themen parallel / unter mehreren VMs abbilden zu können. Der Stromverbrauch spielt eine untergeornete Rolle.
Aktuell kenne ich es von meinem i7 / 3060 Laptop: Wenn das Modell zu groß ist, wird es in den normalen RAM (shared Memory) geladen, und die Leistung sinkt stark ab. Lässt sich dieses Thema evtl. mit einem Threadripper und Quad-Channel-Ram eindämmen?
Idee: Das Modell ist im RAM (zb. 37GB), wird via QuadChannel und x16 PCi5 auf die Grafikkarte geladen, dort gerendert, und erhöht somit die Geschwindigkeit? Hat hier jemand Erfahrung, ob und inwiefern dies klappt? Aktuell wird, wenn das Model nicht in den VRAM passt, via RAM+CPU gerendert.
Ebenso stellt die Grenze von 192GB RAM beim AM5 System für mich eine Grenze dar, die ich nicht weiß, ob ich Sie überschreiten möchte? Und selbst hier: 4*48GB sind selten schnell stabil auf AM5.
Wie wäre hier eure herangehensweise und hat evtl. jemand hier Erfahrung?
Es muss klar sein, dass hier auch das Thema "Spaß an der Freude" und "haben wollen" ein Thema sind. Gerade mit Hinblick auf einen Threadripper 7860x/7870x.
Viele Grüße
Roewe
es lässt sich streiten, ob diese Frage in das Thema Mainboards, Software oder die Kaufberatung passt.
Zu meinem "Problem": Ich spiele aktuell einiges mit KI, was sich zukünftig auch in den Bereich Bilder, Bilderverwaltung sowie Trainieren von Modellen erweitern kann.
Gegenwärtig nutze ich gerne Modelle im Bereich des Llama 70b Models (37GB groß). Das 8B Modell (5GB) ist ebenso möglich, aber eben deutlich kleiner.
Um nun das große Modell in den VRAM der GraKa zu bekommen, wären somit mindestens 40GB notwendig. Hier sind wir nicht mehr im Consumerbereich. Alternativ wären zwei Consumerkarten möglich, welche dann zwar parallel aber nicht via NV Link kommunzieren können. Gegenwärtig habe ich, natürlich kommt ein Haben-Wollen-Faktor dazu, die RTX 5090 im Blick. Auch und gerade wegen der vielen Shader von über 20.000. Zwei 5090 sind aber definitiv zu teuer!
Ebenso kann ich mir vorstellen, die Maschine mit ProxMox zu betreiben, um Fileserver, NAS und verschiedene KI Themen parallel / unter mehreren VMs abbilden zu können. Der Stromverbrauch spielt eine untergeornete Rolle.
Aktuell kenne ich es von meinem i7 / 3060 Laptop: Wenn das Modell zu groß ist, wird es in den normalen RAM (shared Memory) geladen, und die Leistung sinkt stark ab. Lässt sich dieses Thema evtl. mit einem Threadripper und Quad-Channel-Ram eindämmen?
Idee: Das Modell ist im RAM (zb. 37GB), wird via QuadChannel und x16 PCi5 auf die Grafikkarte geladen, dort gerendert, und erhöht somit die Geschwindigkeit? Hat hier jemand Erfahrung, ob und inwiefern dies klappt? Aktuell wird, wenn das Model nicht in den VRAM passt, via RAM+CPU gerendert.
Ebenso stellt die Grenze von 192GB RAM beim AM5 System für mich eine Grenze dar, die ich nicht weiß, ob ich Sie überschreiten möchte? Und selbst hier: 4*48GB sind selten schnell stabil auf AM5.
Wie wäre hier eure herangehensweise und hat evtl. jemand hier Erfahrung?
Es muss klar sein, dass hier auch das Thema "Spaß an der Freude" und "haben wollen" ein Thema sind. Gerade mit Hinblick auf einen Threadripper 7860x/7870x.
Viele Grüße
Roewe
