[Kaufberatung] Rechner für KI-Anwendungen mit mehreren GraKas

[LL0rd]

Hallo Zusammen,

ja, ich habe gesehen, dass es einen ähnlichen Thread hier schon gibt. Bei mir ist die Anforderung aber eine komplett andere. Deshalb hier der neue Thread. Worum geht es mir:

Ich benötige für ein Projekt einen neuen Rechner, speziell für LLM oder allgemein GAI. Das Ziel ist es, möglichst günstig an möglichst viel Rechenpower für AI Anwendungen zu gelangen, allerdings dass alles lokal ist. Also kein Cloud bzw. dedicated Server.

Ich werde wohl um die 96GB NVRAM benötigen. Also ist die Idee, dass ich mit 4 gebrauchten 3090/3090Ti mit je 24GB NVRAM starte und diese Karten dann mit nvlink verbinde.

Die Frage ist nun, was man als Plattform für die Karten nimmt. Brauche ich für AI Anwendungen alle PCI-Lanes? Also 16x4 => 64 + ein paar für den Rest?

Das würde bedeuten, ich bräuchte einen Threadripper bzw. ein paar wenige Xeon CPUs, die die PCI-Lanes zur Verfügung stellen. Richtig?

Weitere Frage wäre zum Thema RAM. Macht es Sinn auf DDR5 zu gehen für (G)AI Anwendungen oder kann man bei DDR4 bleiben um Kosten zu sparen? Wenn ich es richtig verstanden habe, werde ich wohl um die 128-256GB an RAM in der Kiste benötigen. Und da macht der Preisunterschied sich schon bemerktbar.

 

[tonythebuilder]

Das wird schwierig, weil das hier eher ein Forum für PC Spieler und Enthusiasten ist. Von daher habe ich mich mal "schnell" in die Thematik eingelesen.

- Es werden so 64GB bis 128, besser 192 GB RAM (65B LLM) empfohlen. (For example, PyArrow 30B model uses around 70 Gb of RAM. 7B model fits into 18 Gb. 13B model uses 48 Gb.) Die Daumenregel ist wohl minimum das doppelte vom VRAM.
- Bei 4x 24GB = 96GB VRAM, Minimum 192 GB RAM mehr besser.
- PCIe Lanes habe ich jetzt nichts direkt gefunden, es wird wohl davon ausgegegangen das die Karten mit Gen4 x16 angebunden sind.
- Ebenfalls werden schnelle SSD (NVME Protokol) mit min. 256 GB Swap space empfohlen.
- CPU minimum 16 Kerne (Siehe Puget), Single Socket.

Um auf deine Fragen zu antworten:
x16, ja minimum 64 Lanes
Ja, Xeon (WS/Server) oder TR/Epyc
DDR5 hast du mehr GB/s Datendurchsatz. Ja DDR4 ist noch um die hälfte günstiger (RDIMMs 32GB Module) (DDR5 ca.120,-€, DDR4 ca. 60,-€ (Aber Aufpassen nicht jeder Xeon und TR usw. unterstützen 3200 RAM)).

Letzten Endes wird es so oder so teuer. Und du wirst definitiv keine Rekorde brechen. Es wird selbst auf den empfohlenen Systemen, durch aus mehrere Sekunden, dauern bis 1 Token berechnet wurde.

https://towardsdatascience.com/how-...system-for-deep-learning-in-2023-e5bbb905d935 Hier noch ein Build mit gebrauchter Hardware.

 

[thom_cat]

das ist schon eine sehr spezielle anfrage und wie tony richtig sagt, hier geht es mehr um gaming und (einfachere) office kisten.

du könntest einen thread auch hier nochmal reinsetzen: (Home-) Server/Workstation Forum
ich denke dein anliegen bewegt sich eher im bereich workstation...