AI/KI-Server - Mac Mini? Oder Erweiterung des Proxmox Host?

[sashXP]

Hallo zusammen,

ich möchte mich mit KI und insbesondere mit Ollama beschäftigen und suche die beste Kombination für mein kleines Heim- und Testlabor.

Derzeit habe ich einen Proxmox-Host, der rund um die Uhr läuft, ausgestattet mit einem Ryzen 3700X und 128 GB RAM, um alle meine Homelab-Aufgaben zu hosten. Zusammen mit einer USV und einen PoE-Switch liegt der Stromverbrauch des Racks bei etwa 160–170 Watt.

Für mein Home-AI-Projekt habe ich aktuell zwei mögliche Lösungen im Kopf:

1. Aufrüstung des Main-Servers:
   • Kauf einer NVIDIA P40 oder einer aktuellen Gaming-Grafikkarte
   • Einrichtung einer VM mit GPU-Passthrough. RAM wäre prinzipiell noch 16 GB verfügbar für eine VM, 4 Kerne könnte ich auch "zuteilen". Hier wird dann eine Ollama Instanz gehostet.
2. Kauf eines M4 Mac Mini:
   • Installation einer Ollama-Instanz auf dem Mac Mini.
   • Betrieb des Mac Mini im Headless-Modus rund um die Uhr.

Aktuell habe ich noch keine festen Anwendungsfälle, aber ein paar Ideen:

• Automatisierung meines Dokumentenmanagementsystems (DMS) mit Paperless und einer Integration von „Paperless-GPT“.
• Nutzung von Ollama für Home Assistant.
• Nutzung weiterer produktiver Automatisierungsprojekte, sobald ich mehr Erfahrung gesammelt habe, ggf. habt ihr auch Ideen?

Option 1 (Aufrüstung des Main-Servers) scheint kostengünstiger, aber ich bin unsicher, ob ich mit der Leistung und den Möglichkeiten dieser Lösung zufrieden wäre. Insbesondere der Stromverbrauch geht bei dieser Lösung vermutlich ziemlich in die höhe.

Was denkt ihr? Welche Option würdet ihr empfehlen, oder gibt es noch eine andere Herangehensweise, die ich in Betracht ziehen sollte? Wenn die Option mit dem Mac Mini nehmen sollte - welche Option sollte ich wählen? M4 mit 24GB und 512 GB SSD? Oder reicht auch ein kleineres Modell?

Ich freue mich auf eure Meinungen und ggf. Erfahrungen!

Viele Grüße,
sash

 

[Luckysh0t]

Nutzung weiterer produktiver Automatisierungsprojekte, sobald ich mehr Erfahrung gesammelt habe, ggf. habt ihr auch Ideen?

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Z.B mit Obsidian/VS Code als integrierte Hilfe zum coden.

Ich muss sagen, mich reizt es auch. An so einen mac dachte ich auch, aber ich denke, für den Anfang werde zumindest ich mit einer einfachen VM anfangen, um mich dann an die Anforderungen anzupassen um nicht "sinnlos" Geld zu verbrennen. Kann schon sein, dass ich dann schnell sage, OK das braucht dedi HW xD

 

[sashXP]

GENAU das Video habe ich gestern auch gesehen! :P

Ich dachte u.a. auch an den Mac Mini, weil da der Preisverfall vielleicht nicht ganz so groß ist... also wenn ich in 1 Monat keine wirklichen produktiven Einsätze habe, werde ich das Ding wieder verkaufen können, oder ich gebe ihn in der Familie weiter... oder so

 

[sandreas]

Meiner Ansicht nach ist das Thema "self-hosted" AI mit guten bis sehr guten Ergebnissen nur mit sehr starken Grafikkarten zu erreichen, solange man bei einer gestellten Frage nicht extrem lange auf die Ergebnisse warten will - damit meine ich die NVidia Modelle ab 3060 aufwärts. Je mehr Shader / Cuda Cores, desto besser, je mehr VRAM, desto besser.

Neben der Grafikperformance (Anzahl Shader) ist auch der Videoram von entscheidender Bedeutung, wenn man ein halbwegs gutes AI-Modell laden will, braucht man mindestens 8GB Videoram, eher deutlich mehr (12 oder sogar 24GB). Am besten mehr, als das LLM groß ist. Sobald die GPU in den wesentlich langsameren System-Arbeitsspeicher auslagern muss, erlahmt alles und es ist kaum noch benutzbar. Daher sind auch ältere gebrauchte Karten mit PCIe 3.0 (z.B. die Nvidia 2080 TI) mit 11GB VRAM nach wie vor sehr teuer, teilweise sogar teurer als die 3060.

Die P40 ist also schon eine sehr gute Wahl.

Ich hab jetzt zum M4 nur die Angabe gefunden, dass der VRAM integriert im SoC ist, aber nicht wie groß der ist. Außerdem ist der M4 in den meisten belangen deutlich langsamer als NVIDIA Karten. Meiner Ansicht nach ist der Kauf einer NVIDIA Karte zur Zeit das einzige, wie man ERNSTHAFT was erreicht. Für kleinere Experimente und bestimmte Anwendungsfälle reicht ein M4, aber nicht für Large-Language-Modelle.

Was den Stromverbrauch angeht: LLMs (unter Benutzung) und geringer Stromverbrauch schließen sich quasi aus. Selbst mit nem M4 wirst du hier nicht sehr glücklich werden. Ich persönlich sehe das Thema LLM noch nicht im (sparsamen) Homelab.

Kleiner Tipp: Wenn du nur mal ein bisschen anfangen und ausprobieren willst, kann ich die NVidia 1660 (Super) empfehlen - die gibt es auf dem Gebrauchtmarkt für <80 Euro, die hat 6GB VRAM und ne halbwegs brauchbare Anzahl an Shadern. Hab mir die mal für ein kleines Projekt gekauft und das ging ganz gut. LLMs dürften damit aber eher mäßig laufen

 

[Luckysh0t]

Ich hab jetzt zum M4 nur die Angabe gefunden, dass der VRAM integriert im SoC ist, aber nicht wie groß der ist

VRAM=RAM. Das ist unified memory.

 

[sandreas]

VRAM=RAM. Das ist unified memory.

Das ist je nach Config natürlich ein Riesenvorteil ggü. NVIDIA

 

[Haldi]

Ne P40 kriegste gebraucht für 300-400€.
Die wirste wohl in nem Jahr auch wieder für 300€ los.

Ich würde ehrlich gesagt nicht mit VM arbeiten sondern Docker Container. Da kannst du auch doppelt belegen/dynamisch zuweisen.

Einfach mal einbauen, rumspielen. Spass haben.
Mein paperless-ngx kann auch mit den Standard möglichkeiten gut genug meine dokumente zuweisen. Und ob das nun in 5 Sekunden oder 3 minuten geschiet ist mir auch egal ^^
Home Assistant KI ist zwar cool.
Aber solange du nicht in jedem Zimmer Voice Sattelitten hast nutzt man das sowieso auch nie^^
Aber ja. Das ganze einrichten und rumspielen macht definitiv viel Spass.
Wünsche dir gute Unterhaltung.

 

[sashXP]

P40 liegt mittlerweile bei 500€ wenn ich nichts übersehen habe… genau deswegen überlege ich auch hinsichtlich des Macminis. Vorteil wäre zudem, denke ich, dass der Stromverbrauch deutlich geringer ist. Sobald das Modell geladen ist, geht der Verbrauch ja hoch. Ja, ich habe eine PV Anlage, aber trotzdem möchte ich, dass sich der Verbrauch im Rahmen hält.

Bzgl. Paperless: ich kenne die Möglichkeiten im Standard, möchte aber gerne KI nutzen und zum Beispiel die Datei Benennung automatisieren. Auch die automatische Anlage von Korrespondenten und gegebenenfalls auch die Tag Zuweisung beziehungsweise auch Tag Anlage automatisieren. Natürlich ist das eine Spielerei…