[Kaufberatung] VM-Server für ~1k€

[homer667]

Hallo an alle,
ich möchte nun nach Jahren meine Synology ablösen, da ich weder DSM7 noch BTRFS mit meiner ARM-CPU zu erwarten habe.
Dank Kurzarbeit und der damit verbunden Freizeit habe ich mir diverse Builds zusammengestellt.

Folgende Funktionen sind Must-Have:
VM-Server (ESXi kenne ich von der Arbeit, Proxmox wollte ich mir als Alternative mal anschauen)
Storage-VM (TrueNAS 12, ZFS/Zraid1 4x8TB)
Interne-VM (LDAP, MariaDB, NTP, DNS etc)
Externe-VM (Cloudgedöns/NextCloud)
Windows-VM (soll immer aktuell sein und als DISM-Image für die Clients dienen)
6-8 SATA6/SAS-Ports werden auf jedenfall benötigt, ZFS soll immmer um einen neuen VDEV aus 3-4 Platten erweitert werden.
24/7 Betrieb

1-2 SSDs, 64GB 2666 ECC RAM, Seasonic Platin Netzteil stehen auf jeden Fall fest. ~600€ Fix

Build1: Supermicro X11SCH-LN4F + i5 9400F ~420€
6 Kerne, höherer Singlecore-Takt, besser für ZFS? , 4x GB Lan - jede VM kann einfach durchgereicht werden.

Build2: Supermicro A2SDI-H-TF ~570€
8 Kerne Atom aber ohne Boost, stromsparend 10GBit LAN ist schon cool

Build3: Asrock Rack X470D4U + Ryzen 1700 (frisch von AMD aus der RMA im Client läuft ein 3950x) ~ 250€
Board nirgends lieferbar, 1gen Ryzen offiziell nicht unterstützt (soll wohl booten), ECC RAM macht nach verschiedenen Berichten Probleme.
Ansonsten die billigste und wohl auch performanteste Option.

Ich weis einfach nicht, für was ich mich entscheiden soll.
Bin für weitere Vorschläge gerne offen, Danke schonmal im Voraus.

 

[quotengrote]

Der i5 kann imho kein ECC, nur i3 und Xeon

 

[Digi-Quick]

Ich wollte gerade was schreiben, die Wirklichkeit hat mich gerade noch eingeholt

Ab Version 12.0: FreeNAS geht in TrueNAS auf

FreeNAS heißt ab Version 12.0 TrueNAS Core. Anbieter iXsystems verspricht sich vor allem eine schnellere Entwicklung des Systems.

www.heise.de

 

[homer667]

Der i5 kann imho kein ECC, nur i3 und Xeon

Soll ein Mensch die Intel-Produkt-Politik verstehen, hatte gedacht ich kann mit dem I5 etwas Geld sparen.
Dann alternativ hat ein Xeon E-2236.

Ich wollte gerade was schreiben, die Wirklichkeit hat mich gerade noch eingeholt

Als ehemaliger FreeBSD-User bin ich mal gespannt ob sie die Entscheidung nicht bereuen werden.
Linus Torvalds sagt nicht aus Spass "don't use ZFS", wenn Oracle da so klagefreudig ist wie bei Java und Android ...

 

[Digi-Quick]

Als ehemaliger FreeBSD-User bin ich mal gespannt ob sie die Entscheidung nicht bereuen werden.
Linus Torvalds sagt nicht aus Spass "don't use ZFS", wenn Oracle da so klagefreudig ist wie bei Java und Android ...

Das liegt an den inkompatiblen Lizenzmodellen von Linux und Open-ZFS.
ZFS ist ja von Sun unter der CDDL Open Source gestellt worden, bevor Oracle Solaris gekauft hat.
Die CDDL ist aber nach Einschätzung diverser Juristen inkompatibel zur GPL von Linux - trotzdem hatte Ubuntu als erste Distri ZoL als Kernelmodul integriert.

FreeBSD hat da kein Problem, da ZFS unter FreebSD mWn bereits seit Ewigkeiten Lizenziert ist - bereits bevor ZFS Open Source wurde.

Deswegen wird ZoL immer eine Bastelstube bleiben, die jederzeit mit einem Update/Patch ausser Funktion gesetzt werden kann!
Gar nicht so lange her: https://www.heise.de/newsticker/meldung/Linux-Kernel-5-0-ZFS-kaempft-mit-GPL-4274619.html

 

[p4n0]

Ich wuerde nix davon kaufen.
schau dich lieber aufm Gebrauchtmarkt nach was richtigem um. Mit nem Tausender kannst du was sehr ordentliches kaufen!

 

[Firebl]

Das geht sogar neu. Einen Dell T340 solltest du für das Budget oder knapp darüber bekommen. Ich habe den alten T330 seit 2,5 Jahren und bin super zufrieden.

 

[Supaman]

Sehe ich genau so. Gebrauchte Dell T320 / T330 / T340 gibt es für wirklich gute Kurse, dann hast Du was anständiges. Musst nur bei der Ausstattung schauen, insbesondere ob die Hotswap Rahmen dabei sind. Raid Controller / Speicher / CPU gibts alles billig nachzukaufen.

 

[Sir Diablo]

... trotzdem hatte Ubuntu als erste Distri ZoL als Kernelmodul integriert...

Ne, bspw. proxmox nutzt das ja schon ewig. Ubuntu war nur die Erste von den ganz Großen Distris.

 

[scimob]

Also ich würde bei dem Budget auch nicht anfangen zu basteln.
Ich möchte mal noch den Dell T140 ins Rennen werfen.

 

[martingo]

Ne, bspw. proxmox nutzt das ja schon ewig. Ubuntu war nur die Erste von den ganz Großen Distris.

Ewig? Was ist für Dich ewig? Afaik seit PVE5. Proxmox ist aber auch keine Distri, sondern zu 99% Debian basierend.

 

[Sir Diablo]

Natürlich ist proxmox eine Distribution. By the way nutzen die einen angepassten Ubuntu kernel, und dazu ein eigenes, sowie das debian repositiry und ZFS ist seit pve 3.4 mit drin. (Daher, wenn überhaupt, ähnelt es am ehesten einem ubuntu - es ist und bleibt dennoch eine eigene Distri)

 

[homer667]

Ich habe an sich keine technischen Bedenken was ZFS on Linux angeht.
Evtl ist es etwas weniger performant weil bestimmte Kernelcalls nicht genutzt werden können, aber stabil ist es ja trotzdem.
Die Frage ist, wie klagewütig Oracle ist.

Mit BTRFS habe ich mir schon mehrmals die Finger verbrannt - alternativ dann halt LVM-Raid6 mit XFS wie vorher auch.
Die Synology stößt einfach bei 16TB Volumen an ihre Grenzen.

Proxmox ist auch nicht in Stein gemeißelt. Nofalls installiere ich ein blankes Debian/Suse/whatever und bastel mir alles von Hand.

Dell T340 neu hatte ich auch schon überlegt, aber ich sehe nicht ein, warum ich die absurden Optionen mitbezhalen soll.
Mir ist klar das die sich selbst reinwaschen wollen, aber ich bezahle keine 178€ für eine 1TB HDD in der Minimalkonfiguration.
Das gleiche Spiel beim RAM, die CPU-Preise sind ja fast noch nachvollziehbar.

Wie ist es bei gebrauchten Dells mit BIOS-Updates? Ich kenne es von HP das zb BIOS und iLO Updates nur über die Corporate-Seiten mit aktiven Serviceverträgen abrufbar sind.

 

[maxblank]

Hi,
die Updates bei Dell kannst du kostenlos und ohne Supportvertrag laden.

Grüße
Maxblank

 

[martingo]

Natürlich ist proxmox eine Distribution. By the way nutzen die einen angepassten Ubuntu kernel, und dazu ein eigenes, sowie das debian repositiry und ZFS ist seit pve 3.4 mit drin. (Daher, wenn überhaupt, ähnelt es am ehesten einem ubuntu - es ist und bleibt dennoch eine eigene Distri)

Definiere: was ist eine Distribution? Reicht es, den Namen zu ändern? Wie viele Pakete muss man selbst anbieten? Habe ich mich durch einen neueren Kernel der vorherigen Abstammung entzogen? Sollte man wenigstens ein eigenes Repo für alle notwendigen Pakete betreiben?
Ich bin ein Proxmox Fan, aber Deine Argumentation läuft gegen die Wand.
Sieh Dir mal auf einer beliebigen PVE-Installation die Datei /etc/debian_version an.
Lies Dir mal die Release Notes durch:
.https://forum.proxmox.com/threads/proxmox-ve-6-2-released.69646/
Based on....?
Ja, es kommt was dazu, aber dann wären nahezu sämtliche Soft-/Hardwareappliances eigene Distris.

Die Aussage "ein eigenes, sowie das debian repositiry" würde ich auch nochmal auf den Prüfstand stellen. Erstmal wird nach Installation "nur" das gesamte Debian Repository genutzt.
Wenn Du keinen Enterprise Key hinterlegst oder das Repo auf nightly-no-subscription änderst, bleibt das auch so, dass Du auf alle Ewigkeit nur Debian Updates beziehen kannst.

Btw: Ubuntu ist auch ein Derivat (und Nutznießer) von Debian, aber das wusstest Du sicher. Dass man dort etwas schneller ist, neue Features in den stable Branch zu integrieren, ist sicher auch bekannt, wie auch die Tatsache, dass Ubunto trotz massiver Desktop Präsenz bei den Servern nur sehr langsam aufgeholt hat aufgrund der LTS Zyklen.

Viele Grüße
Martin

 

[Digi-Quick]

Eine Distribution kann auch vordergründig für bestimmte Anwendungsfälle Optimiert oder auch "eingeschränkt" sein, es muß nicht zwangsläufig ein eigenständiger Fork sein wie z.B. Debian, Red Hat, Suse etc.
Proxmox ist quasi ein Zwitter.
Proxmox ist sowohl eine mehr oder weniger eigenständige Distri (mit Schwerpunkt Hypervisor) auf Debian Basis, die nur das nötigste für die Funktionalität sls Hypervisor mitbringt als auch eine nachinstallierbare Erweiterung von einer quasi vollständigen Debianinstallation

FreeNAS oder XigmaNAS entsprechen da schon eher eigenständigen Distributionen, zwar beide basieren auf FreeBSD, sind aber teilweise eingeschränkt (bei XigamNAs z.B. durch die einzig supportete embedded Installation, Full Install ist nicht supported und auch nicht automatisch updatebar/upgradebar)

 

[gea]

Das liegt an den inkompatiblen Lizenzmodellen von Linux und Open-ZFS.
ZFS ist ja von Sun unter der CDDL Open Source gestellt worden, bevor Oracle Solaris gekauft hat.
Die CDDL ist aber nach Einschätzung diverser Juristen inkompatibel zur GPL von Linux - trotzdem hatte Ubuntu als erste Distri ZoL als Kernelmodul integriert.

Ich seh das so
CDDL ist eine OpenSource Lizenz. Sie erlaubt aber darauf aufbauend Closed Source Lizenzen (=Oracle Solaris)
GPL ist eine OpenSource Lizenz. Sie erlaubt aber keine darauf aufbauende Closed Source Lizenzen (=Oracle ZFS)
BSD: OpenSource ist Opensource.

Oracle ist durch den Kauf von Sun Lizenzgeber von ZFS.
Ändern könnte nur Oracle die Lizenzbedingungen von ZFS, müsste dazu aber alle an der Entwicklung von ZFS Beteiligte fragen= Illusorisch !

Daher bleibts beim Konflikt CDDL <> GPL

 

[tolga9009]

Ohne zu sehr ins Detail zu gehen: die Lizenzproblematik ist hauptsächlich nur relevant dafür, dass ZFS bzw. ZoL nicht in den Linux-Kernel aufgenommen wird.

ZoL, auch wenn es ein Linux Kernel-Modul darstellt, ist aus OpenZFS entstanden und muss daher nicht unter GPL vertrieben werden. D.h. es ist an sich konform mit CDDL und da kann Oracle nichts dran machen. ZoL wird also nicht einfach von heute auf morgen verschwinden. Was passieren kann: dass Oracle gegen die Art und Weise vorgeht, wie manche Distros es in Kombination mit Linux verbreiten. Aber da bin ich nicht vom Fach. Zumindest gibt bisher keine Klagen und aktuell auch keine Anzeichen, dass irgendwas in der Richtung passiert. Wo kein Kläger, dort kein Richter.

Ansonsten nochmal zum Topic: wird Fernzugriff (IPMI / KVM / Intel AMT) benötigt? Falls nicht, würde ich meine Stimme für Ryzen abgeben. Einpaar Gedanken zu deinem Vorhaben:
1. Falls du FreeNAS in einer VM laufen lassen willst mit Passthrough, brauchst du einen HBA.
2. Falls du Proxmox als Host fährst, empfehle ich LDAP / MariaDB / NTP / DNS etc. in Containern statt in VMs auszuführen. Je mehr VMs du durch Container ersetzen kannst, umso besser. Das spart vorallem RAM, aber auch CPU Overhead. Die Performance von Containern ist wie auf Blech.
3. Für die Kombination LDAP / DNS bzw. Active Directory Alternative gibt es die Software FreeIPA. Am besten als Docker laufen lassen oder in einem CentOS Container. Kommt mit einer WebGUI.
4. Alternativ für LDAP, wenn kein vollwertiger AD Ersatz gewünscht ist: CentOS Container mit 389-ds-base und cockpit-389-ds. Das bietet dir ebenfalls eine WebGUI für rudimentäre LDAP Aufgaben (Nutzer anlegen, löschen, Passwort ändern).
5. Sofern dir Fernwartung egal ist, kann ich das ASUS Prime X470-Pro weiterempfehlen, welches ich selbst im Einsatz habe. Wenn auch ECC Support eher inoffiziell ist, gibt es die entsprechenden BIOS-Einstellungen und zahlreiche Erfolgsberichte mit ECC. Desweiteren unterstützt der zweite PCIe 3.0 x16 Slot (8x elektrisch) PCIe-Bifurkation, sodass insgesamt bis zu 4x NVMe Drives ohne Probleme verbaut werden können (2x auf dem Board, 2x z.B. über ASUS Hyper M.2). IOMMU-Gruppen mit aktuellstem BIOS kann ich posten, falls Interesse besteht (nutze ich aktuell nicht, daher deaktiviert bei mir).

 

[homer667]

Hi,
wie gesagt, die Lizenzproblematik ist mir erst mal egal.
Ich halte ZFS trotzdem für die beste Lösung, vor allem > BTRFS.

0. IPMI/AMT wäre einfach nur nice2have, ist aber keine Kaufgrund.
1. den SATA/SAS-Controller durchreichen geht auch.
2. eine Überlegung wert. Am Anfang wird aber erst mal unser SuSe LDAP virtualisiert.
3-4. AD wird nicht wirklich benötigt. LDAP versorgt zb aber auch die SNOM-IP Telefone mit Telefonbüchern etc. Card und CalDAV versorgen Outlook und Evolution Clients.
5. Ein Asus Prime X370 Pro liegt hier noch rum, der 1700X ist frisch aus der RMA und noch versiegelt.
Das System lief nie wirklich stabil, deswegen wollte ich es nicht als Server einsetzen.
Der Ryzen war aber auch aus dem ersten in .de verkäuflichen Batch und hatte den Seg-Fault Bug unter GCC und jede Menge Probleme mit 3200MHz RAM.
Aber Kudos an AMD, das sie das ding nach 3 Jahren anstandslos und vorallem schnell (< 1 Woche) getauscht haben.
Das wäre schon mit Abstand die billigste Lösung, aber mir stellt sich da eher die Vertrauens- statt Geldfrage.

Ich werde wohl warten bis das Asrock Rack X570 lieferbar ist und dann mit einem R5 3600 (ohne x) verbauen und die TDP auf 45W begrenzen.
Eine Optane H10 kommt in den M2, dann kann der XPoint als Cache herhalten und der SSD-Part als VM-Laufwerk.

 

[Trambahner]

H10? Sicher dass Du die beiden Controller, Xpoint und Flash, überhaupt getrennt ansprechen kannst? Damit müsstest Du den x4 Slot in zwei x2 aufteilen können.
Soweit ich das verstanden hab, ist der Xpoint-Teil nur als Cache für die Flash-SSD (was quasi eine 660p ist), um QLC zu kaschieren und braucht wohl RST-Treibersupport.
Unter Unixoiden seh ich da düster, das dies Deinen Vorstellungen nach funktioniert. Man möge mich da aber natürlich eines besseren belehren.

 

[tolga9009]

1. Onboard Controller durchreichen ist leider keine Selbstverständlichkeit, da die IOMMU-Gruppen hier häufig einem einen Strich durch die Rechnung machen. Aber klar, wenn es klappt, brauchst du keinen extra HBA.
5. Wenn du deine Tests nicht mit aktuellsten AGESA Summit-Pi 1.0.0.6 oder AGESA Combo-Pi 1.0.0.4b gemacht hast, empfehle ich, dem ganzen nochmal eine Chance zu geben. Das entspricht bei deinem Mainboard BIOS 4207 bzw. 5220 (?). Da AGESA 1.0.0.4b nicht explizit genannt wird in den Changelogs, rate ich zunächst erstmal zu BIOS 4207.

Ich hatte ähnliche Erfahrungen mit dem ASUS A320M-K, wie auch mit dem Prime X470-Pro. Fast täglich sporadische Abstürze und Freezes. Mit den oben genannten AGESA Versionen jeweils über 6 Monate absolut keine Stabilitätsprobleme - sowohl unter Linux, als auch Windows. Würde dem ganzen nochmal eine Chance geben. Wenn du auch bereits dabei bist, schalte im BIOS unter AMD CBS unter "Power Supply Idle Control" von "Low Current Idle" auf "Typical Current Idle". Das sorgt dafür, dass unter Idle die CPU mit 0.8V statt 0.4V versorgt wird (was bei einigen CPU / Mainboard / RAM / Netzteil Kombinationen zu Problemen führt).

 

[homer667]

H10? Sicher dass Du die beiden Controller, Xpoint und Flash, überhaupt getrennt ansprechen kannst? Damit müsstest Du den x4 Slot in zwei x2 aufteilen können.

https://www.opvizor.com/ubuntu-how-to-use-intel-optane-memory-for-ssd-caching
Genau so ist es. Der Xpoint-Teil wird sogar dafür gelobt sehr als ZIL oder L2ARC geeignet zu sein.

Beim X370 Prime war es am Schluss 5220 Agesa 1.0.0.3ABBA. Ich hab jedes Bios was seit März 2017 rauskam (an die 20!) geflashed und noch auf Platte. Das Board lief aber nie stabil, vom Coldboot gar nicht erst zu reden. Der Ryzen war halt definitiv first Batch mit den entsprechenden Bugs. Das ist wohl das Schicksal eines early Adopters.

 

[rowein]

Bei den Ryzen der ersten Generation war 3200 MHz-Ramtakt aber schon gutes OC. Wäre es da nicht sinnvoller gewesen den RAM auf dem Takt zu belassen, wie er von den Ryzen offiziell unterstützt wird? Bei Zen1 war das 2666 MHz. Gerade, wenn so eine Kiste stable sein soll.
Könnte mir vorstellen, dass das ziemliche Probleme bereitet hat.

 

[Fliwatut]

Das wäre schon mit Abstand die billigste Lösung, aber mir stellt sich da eher die Vertrauens- statt Geldfrage.

Was spricht denn dagegen, das mit der neuen CPU auszuprobieren und extensiv zu testen, ob es stabil läuft oder nicht? RAM OC würde ich aber auch nicht machen, nicht beim Server und mit ECC RAM, das ist imho auch nicht nötig.