Server Kaufberatung

[TBirdy]

Hallo,

Mainboard: Supermicro X11SSL-CF
CPU: Xeon E3-1240 v6 oder Xeon E3-1240 v5 oder Intel Xeon E3-1260L v5
RAM: 32GB EEC
Gehäuse: Inter-Tech 4U-4416


Nutzung:
a) Proxmox mit FreeNAS VM als Filer (RaidZ2) mit Disk Passthrough
b) vielen kleinen Linux Containern, 2 Windows VMS, 2 FreeBSD VMs, 3 Docker VMs für Software Dev und Services

Ziel:
Einfach und schnell CTs/VMs erstellen und auch wieder wegwerfen können.
Integrierter Filer.

Frage:
bei den CPUs lohnt sich die L Version?

 

[teqqy]

Wenn du weniger CPU Maximalleistung bei höherem Preis möchtest, lohnt sie sich. Sparsamer als die Nicht-L Variante ist er nicht. In einem 4 HE Gehäuse hast du definitiv auch keine Probleme mit der Wärme.

Spannender als CPU ist hierbei der Storage.

 

[sweetchuck]

CPU: Xeon E3-1240 v6 oder Xeon E3-1240 v5 oder Intel Xeon E3-1260L v5

Wenn du es nicht besonders eilig hast, kannst du auch auf die Kaby Lake-Xeons warten, die sollten in den nächsten Wochen verfügbar sein (aber auf Kompatibilität zum Mainboard achten).

 

[mauorrizze]

Hast du dir schon mal die Xeon-D angeschaut?
Die können ziemlich viele Kerne bieten die ideal zum virtualisieren sind, dazu echten registered ECC RAM (mehr günstigen RAM für FreeNAS) und laut Tests auf ServeTheHome brauchen die von Supermicro relativ wenig Strom für ein Server-Board.
Leider gehen die Mehrkerner (bis zu 16!) ziemlich schnell ins Geld und nur die Dual- und Quad-Cores sind halbwegs bezahlbar, dazu muss man noch hoffen dass die gewünschte Kombination mit oder ohne 10GbE mit SFP+, SAS-Controller oder ausreichend PCIe-Ports vorhanden ist.

Wenn du FreeNAS die Festplatten durchreichst, dann versuch bitte den ganzen HBA/SAS-Controller durchzureichen (darauf achten, dass die CPU VT-d kann, aber sollte bei Xeons kein Problem sein), denn einzelne Platten das kostet massig performance.

 

[TBirdy]

Hast du dir schon mal die Xeon-D angeschaut?

Ja, die sind recht langsam (GHz) - geht garnicht. Das fällt u.a. beim Compilen oder auch beim Install/Decompress heftig auf. Geht garnicht. Das lohnt sich erst ab 12 Kerner mit 24 Threads => sind zu teuer.
Siehe mein altes System zum Verkauf (Avaton...): http://www.hardwareluxx.de/communit...l-design-node-304-a-1149054.html#post25228690

Wenn du FreeNAS die Festplatten durchreichst, dann versuch bitte den ganzen HBA/SAS-Controller durchzureichen (darauf achten, dass die CPU VT-d kann, aber sollte bei Xeons kein Problem sein), denn einzelne Platten das kostet massig performance.

Könntest du genauer werden beim Thema einzelne Platten durchreichen? Hast du da Zahlen? Link?

 

[Trambahner]

Es kommt hier halt drauf an, was in wieviel Linux-Containern hier laufen soll.
Die Xeon D sind IMO sehr interessant, wenn viele Kerne z.B. für viele parallel laufende VMs möglichst energieeffizient laufen sollen (D-1541 oder D-1567) und mehr als 64GB Ram notwendig wird.

Fürs typische Homelab denke ich, ist ein E3 mit hohem Takt und Singlethread-Leistung auf einem Supermicro X11 interessanter, solange man mit den 64GB hinkommt. Insbesondere das X11SSH-CTF, sofern man auch 10Gbit+LSI mit drauf haben will und mit den beiden PCIe-Slots auskommt (dafür kann man eine M.2 PCIe-SSD draufpacken).

Für mehr Power schaut dann das Asrock Rack EPC612D4U-2T8R als erschwingliches All-in-one Board für die E5-Xeons nicht schlecht aus.

 

[Digi-Quick]

a) Proxmox mit FreeNAS VM als Filer (RaidZ2) mit Disk Passthrough

Warum?
Proxmox unterstützt doch von Haus aus ZFS!

Ich finde leider keine verlässliche Aussage, ob und wie Napp-it direkt unter Proxmox zur Verwaltung von ZFS eingesetzt werden könnte.
Theoretisch JA, da Proxmaox auf Debian basiert und Napp-It zumindest die Grundfunktionalität unter Linux bereitstellt, ABER:
ZITAT (http://www.hardwareluxx.de/community/f101/zfs-stammtisch-570052-194.html#post22312480):
"Hallo in die Runde. Hat schon einmal jemand napp-it unter ProxMox nutzen können?
Ich habe das jetzt mehrfach versucht, sobald man unter ProxMox (dem Host selber, nicht in einem Container oder einer KVM) napp-it installiert, funktioniert die Web-GUI von ProxMox nicht mehr.
napp-it ansonsten funktioniert, ich kann Pools erstellen/löschen, Datasets anlegen/löschen, benchmarks durchführen, etc..
Ich verwende die neueste Version von ProxMox (3.2)."

 

[mauorrizze]

Könntest du genauer werden beim Thema einzelne Platten durchreichen? Hast du da Zahlen? Link?

Leider nein, nur meine Meinung, dass beim Controller durchreichen der Performanceverlust nahe 0 liegt, denn VT-d kümmert sich um die Adressübersetzung und mehr Abstrahierung hat man kaum. Beim Disk durchreichen hast du viel mehr beteiligte Software, angefangen beim doppelten Treiber (physikalisch und virtio) und z.B. Nachteile wie fehende SMART-Daten (muss man im Host nachgucken) oder das lustige Problem, wenn eine Platte kaputt ist, diese zu identifizieren. Welche Platte war noch mal qemu123...

Also falls dir die FreeNAS-GUI am Herzen liegt, kann ich nahezu uneingeschränkt empfehlen das 'ne Woche mal gut mit dem passthrough des Controllers zu testen, wenn alles glatt läuft halte ich das für stabil genug. Wenn dir die GUI egal ist vielleicht gleich alles unter Proxmox betreiben, dann hast du es auch etwas leichter den Pool für VMs zu verwenden.

 

[TBirdy]

Warum?
Proxmox unterstützt doch von Haus aus ZFS!

ZFS on Linux ist nicht ausgereift.
Siehe https://github.com/zfsonlinux/zfs/issues
Nur als Beispiel: https://github.com/zfsonlinux/zfs/issues/5535


Die FreeBSD Implementierung ist wesentlich besser.

- - - Updated - - -

Leider nein, nur meine Meinung, dass beim Controller durchreichen der Performanceverlust nahe 0 liegt, denn VT-d kümmert sich um die Adressübersetzung und mehr Abstrahierung hat man kaum. Beim Disk durchreichen hast du viel mehr beteiligte Software, angefangen beim doppelten Treiber (physikalisch und virtio) und z.B. Nachteile wie fehende SMART-Daten (muss man im Host nachgucken) oder das lustige Problem, wenn eine Platte kaputt ist, diese zu identifizieren. Welche Platte war noch mal qemu123...

Also falls dir die FreeNAS-GUI am Herzen liegt, kann ich nahezu uneingeschränkt empfehlen das 'ne Woche mal gut mit dem passthrough des Controllers zu testen, wenn alles glatt läuft halte ich das für stabil genug. Wenn dir die GUI egal ist vielleicht gleich alles unter Proxmox betreiben, dann hast du es auch etwas leichter den Pool für VMs zu verwenden.

Das habe ich schonmal probiert, FreeNAS -> Proxmox (FreeNAS VM) dann über netcat die Snapshots gesendet. Datenübertragung bei ca. 90MB/s +-5MB über 4 Stunden.
Ansonsten bei bare metal Install ca. 110MB/s konstant.

Das ist natürlich nicht repräsentativ für verschiedene Szenarien.

 

[mauorrizze]

ZFS on Linux ist nicht ausgereift.
Siehe https://github.com/zfsonlinux/zfs/issues
Nur als Beispiel: https://github.com/zfsonlinux/zfs/issues/5535

Die FreeBSD Implementierung ist wesentlich besser.

... die gleiche!

Edit:
https://www.youtube.com/watch?v=W0hrlsIVst0 Da erzählt ein FreeNAS-Entwickler sogar, dass die ZoL-Leute in letzter Zeit am meisten zum gemeinsamen OpenZFS-Code beigetragen haben und auf Konferenzen viele Talks und Neuerungen beisteuern.

Aber noch ein anderer Vorschlag: Habe mir gerade mal FreeNAS 10 nightly angesehen.

vielen kleinen Linux Containern, 2 Windows VMS, 2 FreeBSD VMs, 3 Docker VMs für Software Dev und Services

Das hast du da alles mit schicker GUI, denn die jails wurden durch Docker ersetzt und BHYVE hat ganz frisch VGA-Ausgabe für Windows. Ist natürlich noch im Beta-Stadium und ich weiß nicht wie lange, aber mir hat das sehr gut gefallen.