[Kaufberatung] Virtualisierende Workstation mit quasi-NAS (entschieden & bestellt)

[albertus]

Ich lese seit mehreren Wochen hier im Forum mit, weil ich den lange mit mr herumgetragenen Gedanken, einen neuen Computer zu kaufen, jetzt ernsthaft realisieren möchte (wie ich gerade so viele alte Gedanken angehe, seitdem ich fast nur noch zu Hause bin...). Ich beschreibe mal von vorne meine Bedürfnisse, fülle dann noch die Kaufberatungsvorlage aus und hab unten dann schon eine Liste an Komponenten und ein paar Fragen.


Anforderungen/Bedürfnisse/Wünsche, ungefähr nach Wichtigkeit sortiert:

• Redundant große Datenmengen speichern (und gern NAS-mäßig auf anderen Rechnern verfügbar haben, aber bislang keinerlei Multimedia-Server-Ambitionen; ich wohne außerdem alleine):
  Ich bin es leid, dass externe Festplatten mit den Jahren immer mal wieder Sektorenfehler und damit auch meine Daten Fehler haben, was ich obendrein erst merke, wenn ich sie benutze (wenn ich es überhaupt merke). Bei mir entstehen und ich sammle neben üblichen persönlichen Daten vor allem Audiodateien, die gerne mal größer werden (wenn überhaupt komprimiert, dann verlustfrei).
  -> Ich bin ziemlich entschlossen, ZFS einsetzen zu wollen. Für die Datensicherheit ist ECC im RAM auch nicht mehr verhandelbar, sondern ein Muss.
• Free / Libre / Open Source Software, wo immer möglich; gerne selbstkompiliert (nutze Gentoo Linux am Laptop; hab ein bisschen über FreeNAS gelesen, bin skeptisch über dessen Featuritis, ich brauch definitiv kein Klickibunti, könnte mir aber auch vorstellen, mich in FreeBSD reinzuwurschteln)
• Windows benötige ich gelegentlich für proprietäre Audio-Anwendungen, von denen ich (noch?) nicht wegmöchte (z. B. Steinberg Cubase, Avid Sibelius), sowie für die Steuerung meiner externen Soundkarte (Focusrite Scarlett) Diese Sachen würde ich gerne zukünftig auf der neuen Workstation machen statt wie bislang meinen Laptop zu dual-booten.
• Performance-Bedarf hätte ansonsten noch die Software-Entwicklung, inkl. Entwicklung und Ausprobieren von rechenintensiven Algorithmen im Bereich des Operations Research (meist multi-threaded).
• Ich möchte derart zukunftssicher sein, dass ich das Gerät nicht in zwei Jahren ersetzen muss. Zukunftssicherheit in puncto CPU und Mainboard sind sicher schwierig, da mach ich mir wenig Upgrade-Illusionen, aber Leistung & co. sollten Luft nach oben lassen und vor allem Peripherie-Konnektivität zeitgemäß sein - etwa USB C / Thunderbolt / USB 3.1 / USB 3.2 Gen. 2x2 (ich blick da übrigens gar nicht durch, was da der Unterschied ist... außer dass "C" die Form von Stecker und Buchse bezeichnet)
• Das Gerät wird in meiner Zweizimmerwohnung im Wohnzimmer stehen, sollte also nicht beliebig laut sein.
• Rund um die Uhr muss es nicht laufen, daher auch nur "quasi-NAS". Entsprechend nicht ganz so arg wichtig, aber auch nicht gänzlich unwichtig, ist der Stromverbrauch.
• Zu Beginn (Daenübernahme) oder auch dauerhaft möchte ich viele externe USB-Festplatten (2.0, ein paar 3.0) anschließen können.
• Ich möchte nicht ausschließen, dass ich in Zukunft vielleicht auch mal ein Video streame oder bearbeite, sodass die entsprechende Power dafür "nice to have" wäre.
• Wenn ich mir dafür mal wieder Zeit nehme, würde ich vielleicht auch das eine oder andere Spiel entstauben - aber eher nix Aktuelles, oder wenn doch, dann bin ich hier trotzdem genügsam in puncto FPS oder ähnlichem.

Fragebogen aus der Kaufberatungs-Vorlage:

1. Möchtest du mit dem PC spielen? Wenn ja, was?
Vielleicht mal ein bisschen WarCraft II, StarCraft oder, wenn ich das durchhabe, auch mal StarCraft II. Alternativ Age of Empires II (mit The Conquerors) oder auch mal das gute alte Half-Life: Counter-Strike

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder ähnlich nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Musikbearbeitung. Hobby. Steinberg Cubase, Ableton Live, plus virtuelle Instrumente. Eventuell auch mal Video, z. B. OBS.

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?
Leise wäre gut. Leuchten muss er nicht, Taktrate ist kein Selbstzweck.

4. Wieviele und welche Monitore möchtest du nutzen? Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Gsync/FreeSync?
Aktuell habe icheinen ASUS PB278Q (WQHD = 2560x1440), den Rest weiß ich nicht (ist also vermutlich auch weniger wichtig für mich). Gerne zukunftsfähig für UHD oder zweimal UHD...

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten?
(Bitte mit Links oder genauen Model-Namen)
Ich habe alte PCs, aber ich bezweifle, dass ich dessen Komponenten weiternutzen kann oder will.

6. Wie viel Geld möchtest du auszugeben?
Kein ganz hartes konkretes Limit, aber natürlich auch nicht unnötig verschleudern. Mit meiner Liste unten bin ich inkl. Festplatten bei ca. 2000 Euro gelandet (auch wenn ich gehofft hatte, billiger wegzukommen, würde ich das im Zweifel ausgeben). Mehr sollte es lieber nicht werden.

7. Wann soll die Anschaffung des PC erfolgen?
So bald wie möglich, um endlich redundanten Speicher in großer Menge nutzen zu können (ZFS). (Es eilt gefühlt.)

8. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen (vom Shop oder von Helfern (Liste als Sticky))?
Nach ein paar YouTube-Videos und Threads hier würde ich es ohne Weiteres wagen, Komponenten selber zusammenzustecken. Löten kann ich nicht und habe eher zwei linke Hände, aber dafür wirds schon reichen. Ich interessiere mich für das Thema und schätze auch die Lernmöglichkeit.


Meine aktuell anvisierten Komponenten:
(nach Lektüre vor allem des Hardware-Guide, des Elektronik-Kompendiums, das ich auf Wikipedia verlinkt gefunden hatte und nützlich für den groben Überblick fand, und nach Herumklicken in den Filtern des hier viel genutzten "geizhals"es):

• AMD Ryzen9 3900X - mich lacht vor allem PCIe 4.0 an, aber auch das Leistungsvermögen, das mich ggf. so zufriedenstellt, dass ich nicht so bald einen Threadripper haben muss (will). In der Wertung "Preis pro GHz" steht er gegenüber den "benachbarten" Modellen auch ganz gut da.
• ASRock X570 Pro4 - hat mit 8 SATA gleich viel Luft nach oben für den wichtigsten Punkt, dem großen, zuverlässigen Datenspeicher, soll laut anderen Threads hier (und laut geizhals-Filter) ECC unterstützen und auch PCIe 4.0.
• be quiet! Straight Power 11 - mir gefällt die angeblich eher niedrige Lautstärke, und vollmodular ist sicher nice to have. Straight Power soll angeblich besonders elektrisch stabil sein, was angeblich für Festplatten relevant sein kann. Welches genaue Modell ich brauche, weiß ich nicht (hängt auch davon ab, ob ich eine Grafikkarte brauche, s.u.), alles ab 450 Watt könnte reichen, aber ich würde auch das Platinum 750W bezahlen ohne zu murren. (Was bedeutet das "2.51" hinter dem ATX?)
• Fractal Design Define R5, wurde im Hardware-Guide erwähnt und gefällt mir, insbesondere in puncto "nicht so laut" (und trotzdem gut gelüftet), Staubfilter und mit dem ausreichenden Platz für 8 LFF-HDD.

Wo ich noch unsicher bin bzw. offene Fragen:

• 2 x 32 GB ECC-RAM DDR4-3200: ECC ist Muss. Board kann maximal 128 GB und hat 4 Slots, daher beste Aufrüstbarkeit mit 32 GB pro Slot. 2 Riegel, weil Dual Channel angeblicih durchaus was bringen soll in einer Workstation. 3200 war das höchste, was ich im Geizhals noch fand, und angeblich(tm) ist der RAM-Takt durchaus relevant als möglicher Flaschenhals. So weit richtig? Gibt es konkrete Modellempfehlungen?
• NVMe SSDs, weil das die schnellste Anbindung ist(?) und ich kein SATA verbrauche, und davon möglichst zwei Stück, damit der Schreib-Cache (Intent-Log) im ZFS redundant ist? Eine bestimmte Technologie, damit das intensive Abnutzen bei Nutzung als Schreibcache (und ggf. auch Lese-Cache, evtl. mit Prefetch) nicht ganz so schlimm ist?
• HDD: mit wenigen (zwei), aber dafür gleich großen (mind. 8 TB) beginnen, um Ausbaufähigkeit zu optimieren? Was ist in meinem Szenario von Shingled Recording zu halten, sollte ich auf CMR achten? Helium ok?
• Hersteller-Mix im "RAID" (eher ZFS mirrors) als Sicherheit gegenüber systematischen Fehlern? Also verschiedene SSDs, aber auch Zweierpaare verschiedener HDD - könnten mit ZFS doch auch ruhig unterschiedlich schnell sein, oder? (Wenn ich die Funktionsweise richtig verstanden habe, balanciert sich die Geschwindigkeit beim Lesen von beiden gespiegelten Platten automatisch entsprechend jeweiliger Schnelligkeit - die schnellere muss im Zweifel halt mehr machen.)
• Brauche ich eine Grafikkarte? Ich glaube verstanden zu haben, dass der 3900X keine integrierte Grafik hat. Ich befürchte, auch das Board liefert keine rudimentäre Grafik (für Kommandozeilenbedienung oder bestenfalls noch mehr) mit, oder? Wenn ich mit einem teureren Board keine Grafikkarte bräuchte, wäre das auch eine Überlegung wert. Und dann wird es nochmals vertrakter: Wie virtualisiere ich? Brauche ich zwei Grafikkarten, wenn ich mal Windows und ein weiteres System (Host oder ein anderer Gast, der Workstation-Load macht) gleichzeitig nutzen und grafisch sehen will?
• Aprospos Virtualisierung: Ist Proxmox mehr als nur eine "bequeme Verwaltung" für KVM (und LXC, mal außern vor gelassen), oder würde es genügen, mich mit "bare KVM" auseinanderzusetzen, solange ich keine redundante Hardware aufbaue o.ä., was ja nicht zu meinen Anforderungen gehört? Oder wäre Xen die bessere Wahl? (Gehört vielleicht in ein anderes Forum, aber gehört mindestens zum obigen Punkt "Grafikkarte" vielleicht auch zum Kontext -- kann ich mit diesen Virtualisierungen auch ohne Reboot des Hosts die Grafikkarte zumindest nacheinander den verschiedenen Gästen zuweisen, um sie nacheinander/abwechselnd zu "sehen"?)

Ich bedanke mich schonmal fürs Lesen meiner doch etwas länger gewordenen Listen!

 

[Firebl]

Zum Thema Arbeitsspeicher, gibt es 32GB U-DIMM ECC Module?

Bei den Festplatten empfielt es sich, dass wenn du sowieso schon mindestens 8 TB haben willst, gleich 10 TB mit Heliumfüllung zu nehmen. Diese sind kühler, leiser und sparsamer. Hier haben wir in den letzten zwei wochen in der Festplattenkaufebratung viel dazu geschrieben.

Sparsam und Ryzen 3000 bzw X570 schließt sich meiner Meinung nach aus. Der Rechner in der Signatur hat 170W Idle.

 

[underclocker2k4]

Zum Thema Arbeitsspeicher, gibt es 32GB U-DIMM ECC Module?

Sag du es uns.

Samsung DIMM 32GB, DDR4-2666, CL19-19-19, ECC ab € 92,50 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Samsung DIMM 32GB, DDR4-2666, CL19-19-19, ECC ✔ Bewertungen ✔ Produktinfo ⇒ Typ: DDR4 DIMM 288-Pin, ECC • Übertragung: 2666MT/s (2666MHz effektiv - abgeleitet von 1333MHz I/O-Takt m… ✔ Speicher ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[albertus]

Gibt es denn in meiner Situation Einschränkungen, dass ich nur UDIMM verwenden kann? Und: Verhält der sich beim ECC anders als z. B. RDIMM? Bei Geizhals sind nach Auswahl von DDR4 und ECC und 3200 MHz jedenfalls nur noch RDIMM übrig.

 

[underclocker2k4]

Für RDIMM braucht man richtige Serverplattformen, wie EPYC, Xeon-D oder Scalable Xeon. Alles andere bedeutet immer UDIMM sprich nonRDIMM.
Ansonsten ist ECC=ECC.

 

[Phantomias88]

Gibt es denn in meiner Situation Einschränkungen, dass ich nur UDIMM verwenden kann? Und: Verhält der sich beim ECC anders als z. B. RDIMM? Bei Geizhals sind nach Auswahl von DDR4 und ECC und 3200 MHz jedenfalls nur noch RDIMM übrig.

RDIMM (Registered, Buffered) haben einen Signalverstärker auf dem RAM verbaut, daher erreiche sie auch höhere Taktraten als UDIMM (unbuffered).
Dafür sind UDIMM bei der Zugriffzeits schneller, da die Signale nicht erst verstärkt werden müssen.

Für Workstation würde ich UDIMM wählen, da hier doch der Speicherzugriff schneller ist.
Bei Server stört das niemand mit der höheren Zugriffszeit bei RDIMM, da es hier auf Sicherheit ankommt und nicht nur auf Geschwindigkeit.

Grundsätzlich gibt es Single-Bit ECC, Multi-Bit ECC, Paritycheck und Chip-Kill.
Welches genau genutzt wird, sagt uns Windows: https://superuser.com/questions/893560/how-do-i-tell-if-my-memory-is-ecc-or-non-ecc

Unter Linux kann mann es auch auslesen, aber da habe ich gerade keinen Link dazu.

 

[albertus]

Okay, danke.
Ryzen 3xxx sind ja ausdrücklich bis DDR-3200, d.h. es gibt einfach mit ECC keinen UDIMM, der so schnell ist. Da mir ECC wichtiger ist als im Zweifel höhere Speicherperformance, müsste ich also auf Intel oder EPYC umsteigen, oder eben den langsamer getakteten ECC-UDIMM nehmen. Geht klar.

 

[Phantomias88]

Okay, danke.
Ryzen 3xxx sind ja ausdrücklich bis DDR-3200, d.h. es gibt einfach mit ECC keinen UDIMM, der so schnell ist. Da mir ECC wichtiger ist als im Zweifel höhere Speicherperformance, müsste ich also auf Intel oder EPYC umsteigen, oder eben den langsamer getakteten ECC-UDIMM nehmen. Geht klar.

Genau, ich kenne aber User die auch mit einem R7 1700X unbuffered ECC genutzt haben und diesen bis DDR4-3000 stabil übertaktet haben.
Mit aktivem ECC, den der Windows WHEA meldet sich wenn Speicherfehler auftauchen und mann kann gezielt mehr Spannung oder weniger Takt geben.

Auch wenn der Takt geringer ist bei UDIMM ist die Latenz doch um einiges besser, so das RDIMM mit höherem Takt laufen muss um überhaupt die Latenz von UDIMM zu erreichen.

 

[Firebl]

Ich hatte kurz geschaut und keine UDIMMs gefunden, daher meine Frage. Darauf wollte ich hinaus, der Ryzen nimmt nur UDIMMs.

Zu deiner Virtualisierungsfrage: Wenn du die Grafikkarte einer bestimmten virtuellen Maschine durchreichst, damit dort "Grafik-Workload" erbracht werden kann, steht sie natürlich nur dort zur Verfügung. Ohne Durchreichen kannst du soviele VMs laufen lassen, wie die Kiste schafft.
Bei Proxmox als OS kannst du natürlich so viele VMs wie du lustig bist aufrufen. Dann läuft das Ryzen System ja als Headless Server und du kannst von einem anderen PC so viele RDP oder sonstige Remote Verbindungen auf diverse VMs öffnen wie du magst.

Bzgl Abnutzung der SSDs musst du entweder Server SSDs kaufen oder einfach testen. Mit Cache bzw ZFS habe ich leider keine eigenen Erfahrungen, aber als VM-Store (mit SATA SSDs) habe ich 850Evos wie am fließband aufgerieben. Bei Intel D3S 4510 SSDs hat sich dagegen noch nichtmal ein Prozent Wearlevel verabschiedet. (dabei finde ich die mit 120€/480GB garnicht mal so teuer für ServerSSDs.

 

[albertus]

Dann läuft das Ryzen System ja als Headless Server und du kannst von einem anderen PC so viele RDP oder sonstige Remote Verbindungen auf diverse VMs öffnen wie du magst.

Das wäre indirekt eine offene Frage von mir gewesen: Es braucht weder integrierten Grafik-Chip auf der CPU noch Grafikkarte für eine grafische Benutzeroberfläche, die nicht direkt an einen Bildschirm übertragen, sondern etwa per RDP oder VNC angeschaut wird? Überrascht mich jetzt etwas. Oder habe ich Dich falsch verstanden? Oder geht RDP auch ohne GUI?

 

[Firebl]

Na irgendeine Grafikkarte benötigst du, damit der Rechner überhaupt bootet
Aber solange du nichts mit den VMS machst was eine dedizierte Grafikkarte benötigt, teilen sich diese die allgmeine Grafikkarte im System.

 

[tolga9009]

Das ist Boardabhängig. Manche Boards geben einen POST Error aus und weigern sich weiter zu booten, solange keine Grafikkarte (dGPU oder iGPU) erkannt wurde. Bei AM4 ASRock Boards scheint dies generell kein Problem zu sein (Ausnahmen kann es geben). Bzgl. X570 Phantom Gaming 4 habe ich gelesen, dass der auch Headless booten kann - angesichts der minimalen Unterschiede zum X570 Pro4, denke ich, dass auch dieser mit Headless kein Problem haben wird.

Wenn ich das richtig verstanden habe, willst du auf dem System direkt Gamen, Musik abmischen usw. und einpaar VMs laufen lassen für Software, die nicht nativ unter Linux / FreeBSD läuft, richtig? Dann wäre nämlich eine Grafikkarte definitiv obligat. Für Ryzen + GPU Passthrough bräuchtest du sogar 2 (Alternative: Dual Boot).

 

[albertus]

Wenn ich das richtig verstanden habe, willst du auf dem System direkt Gamen, Musik abmischen usw. und einpaar VMs laufen lassen für Software, die nicht nativ unter Linux / FreeBSD läuft, richtig? Dann wäre nämlich eine Grafikkarte definitiv obligat. Für Ryzen + GPU Passthrough bräuchtest du sogar 2 (Alternative: Dual Boot).

Ja, richtig verstanden. Windows soll bei diesen Dingen als VM-Gast laufen, damit ich Windows den ZFS-Speicher weiterhin über Linux oder FreeBSD zur Verfügung stellen kann (möchte nicht mit verschiedenen Betriebssystemen dasselbe ZFS verwalten und gerne überhaupt ZFS on Windows vermeiden) und ggf. weitere Services für Windows von außen bereitstellen kann, andererseits aber auch Windows beschneiden kann (denk: Unterbindung bestimmter Telemetrie o.ä.).

Allerdings sind die wichtigen Dinge alles keine Workloads, die ich nicht auch einer integrierten Grafik zutrauen würde (die ich bislang tatsächlich über Dual Boot am i7-Laptop ohne dedizierte Grafik mache, wo ich aber einfach das dual-booten leid bin und außerdem eben gern gleichzeitig mein Linux anbehalten wollen würde).

Na irgendeine Grafikkarte benötigst du, damit der Rechner überhaupt bootet
Aber solange du nichts mit den VMS machst was eine dedizierte Grafikkarte benötigt, teilen sich diese die allgmeine Grafikkarte im System.

Das klappt out of the box durch die Virtualisierung hindurch, oder brauche ich dafür eine Grafikkarte mit bestimmten Eigenschaften? Solange ich auf derselben physischen Maschine bin (d.h. Bildschirm hängt schon auch an der Grafikkarte), genügt RDP vielleicht.

Was wären denn die Optionen für zwei Grafikkarten? Das ins Auge gefasste Board hat ja offenbar zwei PCIe x16, nur halt nicht auf beiden echtes x16. Käme CPU/Chipsatz damit einfach so klar, wenn ich da zwei Stück reinstecke? Ich bräuchte ja maximal eine "leistungsstarke" (sicherlich auch nicht sonderlich stark in heutigen Maßstäben) und die zweite könnte nahezu beliebig billig sein (sollte nur große Auflösung packen und übertragen können).

Oder gibt es auch Grafikkarten mit mehreren "Kernen" auf einer einzigen Steckkarte, die ich separat "dediziert" vergeben könnte? Hab dazu auf die Schnelle, vielleicht mangels gutem Suchbegriff, nichts gefunden.

 

[Trambahner]

Wie wärs mit gea's AIO-Konzept?
ESXI nehmen, in eine VM dann die Storage-Appliance mit durchgereichtem HBA oder PCIe-Geräten und den Speicher von dieser via NFS zurück an ESXI geben?
Der Windows-VM kannn dann z.B. per weiterem Passthrough eine GPU und USB-Geräten zugewiesen werden, so dass Du quasi diirekt an der Kiste auf der VM arbeiten kannst und Windows trotzdem auf nem ZFS-Storage ist. Nachteil: Passthrough ist speziell von GPUs ist manchmal ein gefrickel. Ob die Latenzen für Deine Soundkarte (hängt die auch per USB dran? Dann muss die vmtl. auch per Passthrough in die Windows-VM).

Alternativ: Proxmox direkt auf der Maschine mit einer GUI erweitern und dort z.B. einen RDP-Client installieren. Dann kannst Du die Windows-VM auch direkt am Server bedienen. Gleiche Herausforderungen aber für die Soundkarte.
FreeBSD selber hat auch nen Hypervisor onboard (=> Bhyve), mit dem bin ich aber in meinen spärlichen Versuchen nicht glücklich geworden.

Von dem ASRock X570 Pro4 hört man, dass die Stromversorgung für die CPU, sagen wir mal vorsichtig, "sehr preissensibel" aufgebaut ist und die Mosfets heiss werden. Bei den 12+16 Kernern ist da angeblich nicht mehr viel mit OC.
PCIe 4.0 aktuell nicht überbewerten, es gibt eigentlich keine Userhardware dafür. Ist also eher was für die Zukunft und beim X570 halt als schnellerer Link zwischen CPU und Chipsatz.
Nutzbar ist letzteres z.B.. auf dem X570 WS Ace, womit ein dritter PCIe x8 Slot zur Verfügung steht und der für PCIe3.0-Geräte annähernd keine Durchsatzbremse hat.
Das Ace ist derzeit aber nicht bzw. schwer zu bekommen.

Generell kann Ryzen aber heikler mit Passthrough bei Virtualisierung sein, da die IOMMU-Gruppen auf den Boards manchmal einfach suboptimal dafür hinterlegt sind.

 

[Phantomias88]

PCIe 4.0 aktuell nicht überbewerten, es gibt eigentlich keine Userhardware dafür. Ist also eher was für die Zukunft und beim X570 halt als schnellerer Link zwischen CPU und Chipsatz.
Nutzbar ist letzteres z.B.. auf dem X570 WS Ace, womit ein dritter PCIe x8 Slot zur Verfügung steht und der für PCIe3.0-Geräte annähernd keine Durchsatzbremse hat.
Das Ace ist derzeit aber nicht bzw. schwer zu bekommen.

Hi, wie meinst du das mit dem Überbewerten?
Es gibt ja schon Grafikkarten, 200G LAN und NVME SSDs mit PCI-Express 4.0 zur Zeit sind 8GByte/s mit nvme möglich.
Davon mal Abgesehen, wenn der Thread Ersteller oben schreibt:

-> Ich bin ziemlich entschlossen, ZFS einsetzen zu wollen. Für die Datensicherheit ist ECC im RAM auch nicht mehr verhandelbar, sondern ein Muss.

Also Sicherheit vorgeht, würde ich Gen 4 bevorzugen da hier die Daten Integrietät verbessert wurde gegenüber Gen3.

 

[v3nom]

Als Cache ist Bandbreite nicht alles. Dann lieber eine Optane: Intel Optane SSD 900P

 

[sch4kal]

Asus KNPA-U16 + beliebigen AMD Epyc, Drops gelutscht

 

[Trambahner]

Ebent. Wenn man massiv I/O braucht und auch die Anwendungen dafür hat, dann führt an den großen Sockeln eh nix vorbei.

Die "Datenintegrität" hängt nicht von der PCIe-Generation ab, sondern von der Einhaltung der signaltechnischen Spezifikationen der jeweiligen Generation.
"200G Lan" daheim? Sicher nicht mit nem kleinen Ryzensystem sinnvoll auslastbar. Erst recht nicht daheim. Da ist 10G schon selten und selbst Enthusiasten nutzen kaum mehr als 25G oder 40G.

Die bezahlbaren NVME SSDs brechen dank ihres TLC-Speichers (oder gar QLC) in der Regel nach ein paar dutzend GB ein, dann gehts mit Schneckentempo weiter. Nix 7-8GB/s. Und selbst dann bräuchte man erst die Anwendungen, die das wirklich konstant ausnutzen. Tipp: ATTO, CrystalDiskMark und ASSSD gehören nicht dazu, die produzieren i.W. lange Balken fürs Selbstwertgefühl.

Daher bleib ich bei "auf Sicht uninteressant" und nur für wenigste (meist teure) Spezialfälle relevant. Für den Enthusiasten kann wie geschrieben der Link zwischen CPU und X570 Chipsatz als Gen4 statt gen3 interessant sein. Das wars dann auch schon.
Wie das in 3-5 Jahren aussieht? Anders vermutlich, aber ich kaufe keine Hardware auf >3 Jahre "was könnte vielleicht mal sein"-Perspektiven.

 

[Phantomias88]

@Trambahner

Ok, ich Verstehe was du meinst.
Allerdings ist PCI-Express 4.0 keine AMD only Erfindung, sondern basiert auf dem PCI-SIG Standard.
Wenn Intel jetzt PCI-Express 5.0 Saisonfähig macht, bist mit PCI-Express 4.0 immer noch doppelt so schnell unterwegs wie mit Gen3.

Aber gut, wenn ECC Speicher genutzt wird ist auch Gen2 Crossfire noch erträglich ohne µ-Ruckler!

 

[Trambahner]

Ob AMD oder Intel ist mir grundsätzlich egal. Ich suche immer nach dem Prinzip "gut nutzbar für den jeweiligen Anwendungsfall" aus.

Bzgl. Gaming-Bedärfen kann ich nix beurteilen; bin kein Spieler. Seit Core2Duo hats bei mir jede Onboard-GPU getan. In meinem TR 1920x steckt eine Quadro P400 (weil am TR halt nix onboard ist), zuvor war meine letzte steckbare Grafikkarte in einem Pentium4 (und das war eine passiv gekühlte Gforce irgendwas.

 

[albertus]

Asus KNPA-U16 + beliebigen AMD Epyc, Drops gelutscht

Hab ich anlässlich des Kommentars jetzt auch mal ne halbe Stunde lang mit rumgeklickt, da wird dann aber die CPU ne ganze Ecke teurer (+ Lüfter dazu). Auch wenn octa-channel RAM irgendwie fetzig klingt (will aber auch bestückt werden, ums zu nutzen -> noch mehr Kosten), würde ich den Weg doch eher für meinen übernächsten PC in den Hinterkopf verlagern, solange ich noch keine Anwendung habe, die was Bodenständigeres ausreizt.

Ob AMD oder Intel ist mir grundsätzlich egal. Ich suche immer nach dem Prinzip "gut nutzbar für den jeweiligen Anwendungsfall" aus.

Bzgl. Gaming-Bedärfen kann ich nix beurteilen; bin kein Spieler. Seit Core2Duo hats bei mir jede Onboard-GPU getan. In meinem TR 1920x steckt eine Quadro P400 (weil am TR halt nix onboard ist), zuvor war meine letzte steckbare Grafikkarte in einem Pentium4 (und das war eine passiv gekühlte Gforce irgendwas.

Vollste Zustimmung in allen Punkten! (Dass in der Kaufberatungsliste "Gaming" oben steht, liegt an der Vorlage, und meine Games sind alle uralt.) Wenn ich Geizhals nach ECC-Unterstützung und sinnvollen Befehlssatz-Erweiterungen inkl. Virtualisierung filtere und dann nach "Preis pro GHz" sortiere, hab ich bei AMD zufällig auch den TR 1920X ganz weit vorne (und hat auch 12 Kerne, nur weniger GHz, aber ich multithreade ja viel). Daher ernsthafte Frage: Was nutzt Du da drumrum,(insbesondere Mainboard und Kühlung), ist der im Idle etwas stromsparender als meine Variante, und bist Du ansonsten zufrieden mit dem System? Ich wäre halt mit dem Sockel in der Sackgasse, aber wenn das Mainboard nicht sonderlich teuer ist, nehm ich das in Kauf.

Den obigen Punkt, solange ich mein System eh nicht ausreize, auf flotte Features erstmal zu verzichten (und ggf. im übernächsten PC in einigen Jahren zu berücksichtigen, zu dann wiederum besserem Preis/Leistung nach Moore's Law o.ä.), würde ich auch auf Verzicht auf PCIe 4.0 übertragen können nach Eurem Anraten, wenn ich dadurch spürbar Geld spare. Ich dachte durchaus an Kommunikation CPU<->RAM u.ä. als möglichen Flaschenhals und an lang anhaltende Angepasstheit an Peripherie-Entwicklung (viel USB 3.1), die von PCIe 4.0 profitieren könnten.

200G LAN oder sonstige Spielchen visiere ich aktuell in keinster Weise an. Ich hab hier 1Gbit/s, und da ich NAS und Workstation in einem PC zu vereinen gedenke, ist das kein Thema, auch wenn ich natürlich vom Laptop und ggf. Mini-Rechnern auch auf Laufwerkfreigaben ("NAS") und auf die Betriebssysteme (VMs/Host) zugreifen werde.

 

[albertus]

Da ich jetzt Threadripper 1920X mit PCIe 3.0, aber quad-channel RAM gegen Ryzen9 3900X mit PCIe 4.0, aber dual-channel RAM abwäge, komm ich grad heftig ins Rechnen, ob denn die RAM-Channels oder die PCIe-Übertragung eher der limitierende Faktor sind. Wenn ich von bestenfalls DDR4-2666 ausgehe (wegen ECC und UDIMM), bin ich bei rund 21 GB/sec pro RAM-Channel. Dafür bräuchte ich ja schon ganz schön viele PCIe-Lanes, bevor sich quad-channel gegenüber dual-channel lohnt, aber wie viele werden da effektiv genutzt? Oder hab ich einen Denkfehler?

 

[Phantomias88]

Da ich jetzt Threadripper 1920X mit PCIe 3.0, aber quad-channel RAM gegen Ryzen9 3900X mit PCIe 4.0, aber dual-channel RAM abwäge, komm ich grad heftig ins Rechnen, ob denn die RAM-Channels oder die PCIe-Übertragung eher der limitierende Faktor sind. Wenn ich von bestenfalls DDR4-2666 ausgehe (wegen ECC und UDIMM), bin ich bei rund 21 GB/sec pro RAM-Channel. Dafür bräuchte ich ja schon ganz schön viele PCIe-Lanes, bevor sich quad-channel gegenüber dual-channel lohnt, aber wie viele werden da effektiv genutzt? Oder hab ich einen Denkfehler?

Die ThreadRipper sind ne Art Ausnahmezustand, der seines gleichen sucht!?

Der Sockel TRX40 wird dann nochmal zwei Schippen drauf legen.
72 Lanes alleine für die PCI-Express Slots.

Ich erinnere mich an 1999, als der ThunderBird Verfügbar wurde, das war die beste Zeit meines Lebens.
CPUs knacken die 1GHz Grenze, ähnlich der Super Nintendo Plastik Steckkarte für Spiele Software.

 

[albertus]

Uhm... Fragezeichen über meinem Kopf:

Die ThreadRipper sind ne Art Ausnahmezustand, der seines gleichen sucht!?

Der Sockel TRX40 wird dann nochmal zwei Schippen drauf legen.

Natürlich träume ich manchmal von einem Threadripper 3990X, aber selbst wenn ich den oder was Vergleichbares in zig Jahren kaufen sollte, ist es ja egal, ob ich jetzt was anderes oder einen "kleineren" Threadripper nehme, Sockel so oder so inkompatibel.

TRX40 habe ich bislang als Chipsatz gefunden, der Sockel für die Threadripper 3xxx heißt doch sTRX4, oder?
Ist da schon wieder ein anderer Sockel angekündigt worden (namens TRX40), von dem Du sprichst?

 

[Trambahner]

Den TR 1920 hab ich im Herbst letztes Jahr für 210,- bekommen; Super Preis für 12C24T bis 4 Ghz. mit brauchbarer IPC. Und ECC garantiert.
Der steckt auf einem Asrock Rack X399D8A-2T . Damit ist zwar nichts mehr mit TR3000 und das Board ist nicht billig, aber TR-Boards waren ja eh nicht billig, das X399D8A hat 2*10Gbit NICs Intel X550 onboard, IPMI und genug PCIe-Slots für SSDs, SAS-Hostbusadapter, usw. Im Handbuch werden bis 256GB Ram gelistet (8x32GB Module, aber ob das für den Gen1 TR ideal ist, ist was anderes).
Sprich das Gesamtpaket aus 1920+X399D8A (quasi der Home-Epyc, wessen leicht abgespeckter naher Verwandter der TR ja ist) und bezogen auf den Gesamtpreis der Features günstig.

Kühler = Noctua NH-U14S TR4-SP3 (Dual Fan Setup). Viel OC-Spielraum hat der aber nicht mehr mit dem 1920x

Für Virtualiisierung ist die NUMA-Architektur auch beherrschbar, da ESXI z.B. die vCPUs ja auf bestimmte Numa-Knoten pinnen kann. Man müsste halt ggf. aufpassen, falls man latenzkritische Dinge hat, welche Steckkarte in welchen Sockel geht damit die Daten nicht über die InfinityFabric müssen. Ausserdem sollten alle 4 Ram-Kanäle aus dem selben Grund bestückt sein.

 

[Phantomias88]

Uhm... Fragezeichen über meinem Kopf:



Natürlich träume ich manchmal von einem Threadripper 3990X, aber selbst wenn ich den oder was Vergleichbares in zig Jahren kaufen sollte, ist es ja egal, ob ich jetzt was anderes oder einen "kleineren" Threadripper nehme, Sockel so oder so inkompatibel.

TRX40 habe ich bislang als Chipsatz gefunden, der Sockel für die Threadripper 3xxx heißt doch sTRX4, oder?
Ist da schon wieder ein anderer Sockel angekündigt worden (namens TRX40), von dem Du sprichst?

Du hast Recht, der Sockel ist sTRX4 (Baugleich mit EPYC SP3r3) und der Chipsatz TRX40.
Der X399 Chipsatz ist PCI-E 3.0 only für die erste und zweite Generation der TR 1/2000. Der Sockel ist TR4 das EPYC gegenstück SP3r2.
Quelle: https://de.wikipedia.org/wiki/Sockel_sTRX4 und https://www.amd.com/en/chipsets/str40

Habe ich auch noch was dazugelernt.

 

[Bierjpg]

ZFS und Virtuelle Machinen braucht Tonnen an RAM. Ich meine bei ZFS war die Faustregel 1GB Ram pro TB Storage. Ich nehme mal an du willst dort abgesehen von der VM und dem ZFS noch Browser etc laufen lassen? Wenn du nen Chromium Derivat am laufen hast welches 20gig frisst, dazu eine VM mit 8gb und zfs mit 10gb. Da musst du wissen wie viel du brauchst.

Weiterhin solltest du wenn es dir wirklich auf Sicherheit ankommt was deine Daten angeht auf Raid 6 bzw ZFS RAID-Z2 gehen. Also solltest du mindestens 4 HDDs haben. + 2 Backup disks welche der Grösse des Storages jeweils entsprechen

Ich selbst setze aktuell auf ein EXT4 + einen alten Adaptec 51645 mit 14 7K2000 im Raid 6 der liefert etwa 800mb/s lineares lesen +/-
Evlt ist so eine Lösung besser für dich dann brauchst du dich nicht so viel mit den Voraussetzungen fürs ZFS rumschlagen und hast mehr RAM frei.

Ich würde definitiv 3 SSDs an deiner Stelle einsetzen. 1 OS, 1 SWAP, 1 VM.

Dein Storage kannst du via Samba ins lokale Netz stellen und über VirtualBox (was ich in deinem Fall nehmen würde) kannst du es zusätzlich als Ordner für das Windows einbinden.

Eine GPU brauchst du an sich. Zumindest zum Anzeigen was du grade tust. Alternativ kannst du auch von deinem Notebook aus per SSH auf die Kiste zugreifen und auf das Windows via RDP. Allerdings glaube ich nicht, das dies die Lösung ist welche du suchst.

Da du damit Audio machen willst, denke ich, dass du das System nicht hören solltest. Das schwierigste sind hierbei die HDDs diese solltest du entkoppeln und in ein eigenes Schallgedämpftes Case packen. Den Rest machen überdimensionierte Kühler auf der CPU und eine passive gpu.

 

[albertus]

Von der Beschäftigung mit ZFS von außen war mein Eindruck, die Stories von viel RAM (1 GB pro TB etc.) beruhen vor allem auf Dingen wie Deduplication, was zwar wirklich nice ist, aber aktuell eher nicht empfohlen. Ich würde es darauf ankommen lassen, ansonsten ist es halt "nur" Cache bzw. Metadaten, die sinnvollerweise im flotten Zugriff angenehmer sind, aber kein Muss. Ich plane ja aber gerade mit 64 GB RAM und im ersten Schritt mit maximal 2x16 TB (gemirrort) HDD, und da kann ich ja auch mit Virtualisierung und RAM-Größen experimentieren. ZFS mirror aktuell erstmal lieber als raidz wegen der größeren Flexibilität beim Auf-/Ab-/Umrüsten der Plattenzusammenstellung. 2 gleichzeitig ausfallende Platten (und dann müssen es ja auch genau die gegenseitig gemirrorten sein) halte ich aktuell für hinreichend unwahrscheinlich. Ich glaub, da mach ich meine ersten Gehversuche mit ZFS und schaue dann von dort aus, wie ich weiter aufrüste.

Samba für Windows sehe ich auch so, VirtualBox würde ich erstmal nicht nehmen (vielleicht wenn andere Stricke reißen). Aktuell liebäugel ich tatsächlich etwas mit FreeBSD + bhyve, oder Linux + KVM, oder Xen. Erst wenn die drei alle nix sind, probier ich VirtualBox. Auch hier: Erfahrung sammeln, natürlich gerne mit guten Ratschlägen nicht in die völlig entgegengesetzte Richtung von dem loslaufen, was ich mutmaßlich möchte.

Was SSD angeht, schrecke ich ehrlich gesagt nicht vor Partitionierung zurück. Aber gerne zwei, damit der Intent Log für ZFS redundant ist, und dann lieber so flott wie möglich angebunden als dediziert (statt partitioniert) für verschiedene Einsatzzwecke. Wenns da an der Performance hakt, kann ich mir ja auch nachträglich immer noch was per SATA zusätzlich reinhängen und umdisponieren.

Also so sehr ich Ratschläge im allgemeinen schätze (danke!), sind die gerade genannten doch etwas zu sehr entgegen dem, was ich gern ausprobieren möchte. Aber wenn ich mit dem Beschriebenen komplett auf dem Holzweg bin, möge man bitte weiter auf mich einreden

Beitrag automatisch zusammengeführt: 13.05.2020

Nachtrag: Was die Geräuschlosigkeit angeht, ist was ich über das anvisierte Case gelesen habe durchaus vielversprechend in genau diesen Stoßrichtungen. Wenn ich mich für den TR 1920X entscheide, für den ich ja ohnehin einen Kühler separat kaufen muss, würde ich auch nach großem Lüfterdurchmesser schauen. Aktuell stehe ich da (TR 1920X) bei CPU ca. 230 Euro weniger, Mainboard ca. 90 Euro mehr, Lüfter ca. 75 Euro obendrauf (dafür dann aber ein guter statt den boxed vom Ryezn9 3900X), spare ich aber "nur" noch 65 Euro und hab dafür "nur" PCIe 3.0 statt 4.0, also weniger ultraschnelles USB etc. Ist irgendwie noch 50:50 gerade.

 

[tolga9009]

Ich finde dein Vorhaben zwar spannend, aber ich denke, dass du langfristig besser fährst, in ein zusätzliches NAS zu investieren, statt die eierlegende Wollmichsau zu erschaffen. Denn: du musst viel zu viele Sachen beachten, limitierst dich zu sehr und beim kleinsten Fehler / Problem fliegt dir alles auseinander.

Das erste und größte Problem fängt schonmal damit an, welches Betriebssystem denn überhaupt zum Einsatz kommen soll. FreeBSD + bhyve ist so "naaaajaaa". Linux + KVM wäre super, aber dann hast du halt das Problem mit ZFS: für FreeNAS in einer VM brauchst du wieder einen zusätzlichen Storage-Controller für den Passthrough und verkomplizierst dir das Gesamtsystem nochmal (Stichwort: IOMMU) um eine weitere Komponente. Alternativ lässt du ZFS direkt auf dem Linux via ZoL laufen, aber da gibt's dann abseits von Ubuntu ständig Kopfschmerzen mit DKMS / Kernel-Updates und dir fehlt die GUI. Sicherlich machbar, aber doch etwas aufwendiger als so ein billiges FreeNAS auf Blech.

Bzgl. Musik-Abmischen kenne ich mich unter KVM nicht aus. Der Overhead ist zwar niedrig, aber ich kenne Leute die wegen der Latenz zu einem Mac switchen, da selbst nativ unter Windows die Latenz zu hoch ist bzw. Spikes aufweist. Unter KVM wird das vermutlich sogar noch etwas schlechter laufen. Von der Grafikbeschleunigung der GUI (außer GPU-Passthrough, Looking Glass oder dergleichen) mal abgesehen.

Du bist mit solch einem Frankenstein-System die Niche der Niche und wirst bei Problemen schwierig Leute finden, die dir bei spezifischen Sachen helfen können (z.B. "Warum funktioniert das VST Plugin nicht unter KVM mit Soundkarten-Passthrough?"). Besser finde ich, wenn du es einfach so machst, wie millionenfach bereits im Einsatz: kleines FreeNAS für Shares, muss nicht fancy sein. 8GB ECC RAM reicht. Kein SSD Cache o.Ä., da du sowieso nur 1Gbit Netzwerk hast. Die Shares bindest du dann bei beiden Systemen ein und arbeitest nur noch von dort aus. Solange du die richtige Hardware wählst (darf auch gebraucht sein), bewegst du dich bei 25W - 30W im Idle mit 2 HDDs. Wenn du dir ein NAS mit 4x - 6x SATA kaufst und jetzt 2x 16TB fährst, kannst du mit einem weiteren Mirror das VDEV problemlos erweitern: einfach hinzustecken, im WebGUI hinzufügen und fertig. Und natürlich muss das NAS auch nicht 24/7 laufen: schaltest du dann einfach an / aus, wenn du es brauchst (kann man auch automatisieren).

Anschließend schmeißt du das Windows von deinem Laptop runter und installierst am besten auf deinem (neuen) Desktop direkt Windows. Davon hast du mehr, da du die komplizierten Sachen eh unter Windows machen möchtest. Für alles, was du unter Linux auf dem Desktop machen möchtest (Software-Entwicklung, Testen usw.) nimmst du dann Hyper-V, welches direkt bei Windows 10 Pro mit dabei ist. Das läuft meiner Meinung nach sehr gut (insbesondere für Windows Guests!) und hat ne nette GUI. Dann kannst du dir auch die 2. GPU sparen, da die Latenz / Grafikbeschleunigung des Linux-Gasts keine Rolle für dich spielt (korrekt?) und für bspw. Software-Entwicklung völlig ausreichend ist.

Zusätzlich noch (optional): wenn du Zuhause am Laptop (Linux) und Desktop (Windows) mit nur einer Tastatur / Maus arbeiten willst, nimmst du sowas wie Synergy. Dann verhält sich dein Laptop so, als wäre es als 2. Monitor an deinem PC angeschlossen. Für deine Telemetrie-Bedenken kannst du regelmäßig O&O Shutup o.Ä. laufen lassen. Wenn du willst, kannst du auf deinem Server FreeNAS und pfSense / opnSense nebeneinander virtualisiert laufen lassen und weiteres Blocken dort vornehmen.

So, und wenn du das so gemacht hast, kannst du auch bei deinem neuen Desktop ganz anders planen: vielleicht reicht dir jetzt auch ein 3700X? Evtl. doch lieber B450 / X470? Brauchst du noch ECC (da ZFS eh mit ECC auf deinem NAS läuft)? So hast du dann sauber voneinander getrennte Systeme und wenn dir etwas flöten geht, steht nicht alles auf einmal still.

Wie gesagt, kann jeder machen wie er will. Ist nur ein Vorschlag / Denkanstoß. Die ursprüngliche Idee finde ich nach wie vor interessant, aber ich denke halt sowas wie Musik in VM abmischen, können hier die wenigsten was zu erzählen.

 

[besterino]

Nur mal kurz: das „tonnenweise RAM für ZFS“ ist quark. Jedenfalls wenn man Deduplizierung nicht nutzt (...was man im Zweifel @home auch nicht braucht). Ja, RAM beschleunigt ein ZFS-Storage, da freier RAM grds. als Cache benutzt wird. Funktionieren tuts aber wenn ich das richtig im Kopf habe offiziell je nach OS ab 2 (Solarish) oder 8 GB (FreeNAS).

Dein Vorhaben habe ich aktuell mit quasi der gleichen Hardwarebasis wie der Trambahner im Betrieb: TR 1920X auf X399D8A-2T. ESXi als Hypervisor und 2 VMs: Storage-VM mit Solaris als Gast-OS und Gaming(Folding)-VM mit Win10 als Gast-OS. Graka für die Gaming-VM ist eine TitanXp.

Was Du für einen halbwegs sorgenfreien Betrieb brauchst:

1. PCIe-Karte: HBA (für Storage-VM)
2. PCIe-Karte: Grafikkarte (für Gaming-VM)
3. PCIe-Karte: USB (für Gaming-VM, insb. Maus und Keyboard, ggf. Sound)
4. PCIe-Karte: kleine SSD (m.2 oder Adapter, Speicherplatz min. für Storage-VM).

Gehen tut das grundsätzlich. Aber die Details hängen vom konkreten Einzelfall ab und je nach Hardware kann vieles kompliziert(er) werden als gedacht und mit Ausprobieren (trial&error) verbunden sein oder auch am Ende gar nicht funktionieren.

Ich hatte mehrere Monate die obige Hardware auch als primären Gaming-Rechner im Betrieb und auch mein aktuelles Hauptsystem so aufgesetzt (allerdings dann TR3000 Basis ohne ECC-RAM).

Mein Hauptrechner ist aber inzwischen wieder baremetal Windows. Im Alltag doch einfacher zu handhaben und ich frickel zu viel daran herum.

Sonst probiere es aus: dümmer wirst du dadurch nicht werden. Nur vielleicht ärmer.