[Kaufberatung] Homeserver für Home- & Lab-Zwecke

[Kosta]

Hallo,

Ich hoffe ihr könnte mir ein wenig helfen den richtigen Weg zu finden.
Ich versuche mir gerade eine sinnvolle Konfiguration für meinen Homeserver zusammenzustellen.

Was bereits vorhanden ist:
- Synology 8-HDD NAS, mit ca. 12TB Platz (WD RED), in SHR2 Konfiguration
- USV (muss noch nachsehen ob genug Powah...)

Derzeit soll ein Server ein paar Normal-Betrieb-Funktionen übernehmen und dann auch paar Extras, nun:

Fangen wir damit, was ich damit machen möchte:
- Virtualisierung auf Basis von ESXi (bevorzugt) oder HyperV (wenn ESXi Probleme machen sollte)
- es sollte eine SRV2012R2 Umgebung rund um ADDS/DNS/DHCP werden
- jegliche weiteren Features des 2012R2/2016 werden getestet und bei Bedarf verwendet (GPOs, WDS, WSUS, IIS, RDS...)
- Test-(Lern-)Umgebung für Sachen wie Proxy, VPN, wahrscheinlich auch Linux als DNS o.ä...
- Exchange 2010/2013/2016 Test-Umgebung (jedoch natürlich wird drauf kein Extreme-Verkehr stattfinden, wenn dann überhaupt mit meine Haupt-Emailadresse verbunden)
- SQL- (Applikations-) Server für was auch immer, fällt mir als erstes Remote Desktop Manager ein...
- X.509 Server
- Koppeln und testen mit einer Sophos UTM Firewall
- im Endeffekt sollten einige VMs drauf Platz finden

Wichtig ist jedoch:
- nun ausreichend Leistung (sowohl CPU und Storage) damit einem nicht richtig fad wird, wenn man die Sachen installiert (das System soll CPU-technisch nicht zur Brüche gehen)
- möglichst wenig Stromverbrauch (ideal unter 50w in Idle)
- keine "unnötigen" Ausgaben (wie z.B. 2. Netzteil, oder redundante Platten)

Das System soll grundsätzlich so aufgebaut werden dass es ein nice-to-have System ist, aber kein muss, also damit ich, sollte Server krachen gehen, trotzdem weiterhin mindestens ins Internet komme und auf meine Daten Zugriff habe. Sollte also auch wenn DC offline geht möglich sein, da die Daten auf der NAS (oder lokal) sein werden

System:
Antec Case 600M
SEASONIC SSP-350GT 80+ Gold 350W Netzteil ATX 2.3 mit aktiv PFC
Samsung MZ-V6P512BW SSD 960 Pro NVMe M.2 512 GB
Kingston KVR21R15D8K4/32 Arbeitsspeicher 32GB (DDR4 ECC Reg CL15 DIMM Kit, 288-pin)
Intel Xeon E3-1230 V5
Server MB Super Micro MBD-X11SSH-LN4F
Siehe die aktuelle Konfiguration unten.

Die Idee dahinter:
Zuerst habe ich überlegt auf ein SoC Board, etwa wie C2758 (oder C2750) zurückzugreifen. Aber lese immer wieder dass die Atom CPU relativ schwach sind - wie weit stimmt das, wenn das obige überlege? Natürlich, die Atom hat echte 8 Kerne, aber wieviel Rolle spielt die Cache bei der Sache? Und die Taktfreq. ist auch wesentlich niedriger, kann mir aber nicht vorstellen dass ausschlaggebbend, wenn ich nichts habe, was die Leistung kontinuierlich zieht (hin und wieder könnte das System zum transkodieren verwendet werden, aber die Atom sollte das in 1080p das schon schaffen glaube ich...), deswegen:
E3-1230v5, warum die Überlegung: v3 lt. einem Test im Netz zieht in Idle ca. 36W. Ob ich dann 36W oder 15W in Idle habe, sind das ja ca. 33€ pro Jahr Unterschied (gerechnet mit €0,19 in Österreich). OK, frisst mich nicht... jedoch möchte ich keine 150W Idle, wie zB. ein HP G6, den ich mal getestet habe.

VT-d: soll ich wohl einsetzen können (eben noch ein plus für E3): ESXi wird von einem USB-Stick laufen, die Storage per VT-d direkt in ESXi verbunden, wenn ich das richtig verstanden habe.

Storage: habe einmal gesehen wie schön ein Microserver mit so einer M.2 gelaufen ist, besonders die VMs. Da ich für die Inst/Uninst/Management/Testing die meisten IOs produzieren werde, sehe ich die Storage als fast die wichtigste Komponente. Stimmt's? Wenn's hier um Ausfall oder Backup geht: wird alles auf die NAS täglich brav gesichert. Die NAS hat auch 2-Platten-Ausfall-Sicherung, und die wichtigsten Daten werden dann noch auf eine (oder bald 2) externe HDD gesynct.

PSU: tja, ganz und gar nicht sicher ob die richtige Wahl. Gehäuse und PSU scheinen recht problematische Wahl zu sein...


Am Ende: tut mir leid falls ich irgendwo sehr grobe Fehler habe, das liegt definitiv an der Unwissenheit, und ich lasse mich gerne dem besseren belehren!

Bitte um Tipps, Meinung(en), no-go(s)?...!

Besten Dank!
Kosta


EDIT:
Die Konfiguration hat sich im Laufe des Threads geändert. Hier ist mal die aktuelle:
Chieftec UE-02B 250W Tower-Gehäuse schwarz (UE-02B)
Supermicro X11SSH-F Mainboard retail (MBD-X11SSH-F-O)
Intel Xeon E3-1230 v5 Prozessor 4x 3.40GHz boxed (BX80662E31230V5)
Intel SSD 750 Series 400GB, PCIe 3.0 x4 (SSDPEDMW400G401)
Kingston ValueRAM DIMM Kit 32GB, DDR4-2133, CL15-15-15, ECC (KVR21E15D8K2/32)
Noctua NH-L9i CPU-Kühler, 2HE, 92mm (NH-L9I)
und dann noch Lüfter und so Zeugs

 

[testm]

Paar Sachen die gleich auffallen:
X11SSH-LN4F > unterstützt keinen Registred RAM
Beim hochziehen des Setups müsstest du dir eine sinnvolle Rheinfolge überlegen
Als Alternative für UTM werfe ich pfSense in den Raum.

Das was du vor hast braucht nicht allzuviel CPU-Leistung dafür aber viel RAM (bis auf Transcodierung).
Trotzdem würde ich mindestens zu einem kleinen Xeon greifen, denn das Vorhaben könnte auch ausarten.

VT-d hat mit durchreichen nicht viel zutun.

 

[Kosta]

Danke. Ja, wie das so immer ist, kann natürlich sein dass sich immer mehr und mehr ergibt.
Nun:
RAM-Kit ist falsch, habe auf non-reg geändert: Kingston ValueRAM DIMM Kit 32GB, DDR4-2133, CL15-15-15, ECC (KVR21E15D8K2/32)
Was meinst du genau mit der Rheinfolge?
pfSense hatte ich mir paar mal angeschaut, aber bei Sophos bin ich in der aktuellen Firma - deswegen. Aber man kann ja immer ändern, wenn ich mir dafür einen i3+Asrock aufbaue.
Xeon dachte ich mir auch - tendiere entweder zu 1230v5 oder 1260Lv5 - hier dann genau die Frage: wird sich der Idle-Verbrauch zwischen die CPUs wesentlich unterscheiden? Bzw. ist das €90 Aufpreis wert?

 

[sweetchuck]

Der Idle-Verbrauch bei den CPUs liegt mittlerweile überall bei unter 1 Watt - korrekte Unterstützung der C-States seitens Mainboard, Peripherie und Betriebssystem vorausgesetzt.

 

[testm]

Mit der Reihenfolge (sollte nix so spät mehr schreiben xD ) meine ich, dass deine einzelnen Vorhaben Abhängigkeiten aufweisen.
Für WSUS brauchst du AD und GPO's bereits usw...
Prozessoeren sind im Idle nicht die größten Verbraucher. Einen 90€ Aufpreis muss es auch nicht bedeuten, denn für die Systemintegratoren ist der Aufpreis für Xeon sehr gering.
Weichst du also von deinem Vorhaben ab und nimmst ein Fertigsystem und rüstest dieses nach deinem Gusto auf, so kannst du auch mit Xeon ziemlich günstig fahren.
Zumal die Board da Kostenoptimiert sind und daher idR nur das Nötigste bieten ...

 

[Kosta]

Hehe... so hätte ich es eh verstanden allerdings, jedoch da habe ich bereits genug Erfahrung. Ich habe bisher in einem IT Unternehmen gearbeitet, und Kunden mit bis zu 80 VMs zum gewissen Punkt betreut. Jedoch fehlt mir viel an Wissen, und finde das ein Home-Lab hier mich wesentlich weiter bringen wird, besonders mit Schulungs-Videos und Büchern. Letztendlich wäre mein Ziel ein MCSA für SRV2012R2 (oder 2016) zu schaffen.

Ich habe mir bereits die Systemintegratoren angeschaut, und hier bietet ja keiner noch die v5 von Xeons. Und wenn ich schon baue, dann mit Skylake. Und dazu möchte ich 4 LANs für die Flexbilität (ok ja, ich könnte zusätzliche NIC kaufen, aber das ist dann teurer wie mein System). Persönlich sehe ich keine Vorteile eines Fertigsystems, nicht für ein Lab-System. Beim Kunden ist das natürlich anders...
Die Grundvoraussetzung für das Mainboard war 4x LAN und microATX (ich habe nicht sehr viel Platz dort wo der Server hinkommt, Tower und Rack sind eher unpraktisch. Da gibt es grundsätzlich nur das eine Mainboard.

 

[testm]

Dell T30, T130 oder HPE ML 10 gen.9 sind Beispiel für "Komplettsysteme" mit Xeon E3 auf Basis von Skylake.
Ich versteh was du meinst, aber dieser Drang nach Basteln kommt idR deutlich teurer als fertiges.

 

[Kosta]

Hmm, komisch dass mir Geizhals das nicht angezeigt hat. Danke. Mal nachsehen...

 

[gea]

Die Grundvoraussetzung für das Mainboard war 4x LAN und microATX (ich habe nicht sehr viel Platz dort wo der Server hinkommt, Tower und Rack sind eher unpraktisch. Da gibt es grundsätzlich nur das eine Mainboard.

Warum 4 x 1Gb?
Wenn man mehr als ein physikalisches Netz braucht nimmt man einen Vlan fähigen Switch (ab ca 80 Euro) und führt die Netze dann als tagged Vlan zum ESXi. Dort nutzt man den virtuellen Switch der die Vlans dann auflegt.

Die Betriebssysteme z.B. Windows erhalten dann soviele vnics wie man Netze braucht. Die vnics verbindet man dann mit dem gewünschten vlan.

Viel interessanter wäre daher eine Lösung mit einem zusätzlichen SAS HBA um eine Storage VM vernünftig zu versorgen und 10G z.B.

- https://www.supermicro.com/products/motherboard/Xeon/C236_C232/X11SSH-CTF.cfm + G4400 CPU (reicht meist) oder Xeon
- https://www.supermicro.com/products/motherboard/Xeon/D/X10SDV-4C-7TP4F.cfm, inkl 4 Core Xeon, 16 POort HBA, 35W

dazu einen Mirror aus SSDs für VMs (z.B. 480GB) und einen Mirror aus Platten für Backup und Filer (z.B. 2 x 4TB) sowie mindestens 16 GB, besser 32GB RAM. Zum ESXi Booten und für eine Basis Storage VM dazu eine kleine Sata SSD ab 50GB. Die eigentlichen VMs z.B. Windows liegen dann auf ZFS der über NFS angebunden wird.

Aufbau z.B. wie in meinem HowTo mit einer OpenSource Solaris ZFS VM als Basis für einen NFS Datastore beschrieben
https://www.napp-it.org/doc/downloads/napp-in-one.pdf

 

[Kosta]

Warum 4 x 1Gb?
Wenn man mehr als ein physikalisches Netz braucht nimmt man einen Vlan fähigen Switch (ab ca 80 Euro) und führt die Netze dann als tagged Vlan zum ESXi. Dort nutzt man den virtuellen Switch der die Vlans dann auflegt.

Die Betriebssysteme z.B. Windows erhalten dann soviele vnics wie man Netze braucht. Die vnics verbindet man dann mit dem gewünschten vlan.

Viel interessanter wäre daher eine Lösung mit einem zusätzlichen SAS HBA um eine Storage VM vernünftig zu versorgen und 10G z.B.

- https://www.supermicro.com/products/motherboard/Xeon/C236_C232/X11SSH-CTF.cfm + G4400 CPU (reicht meist) oder Xeon
- https://www.supermicro.com/products/motherboard/Xeon/D/X10SDV-4C-7TP4F.cfm, inkl 4 Core Xeon, 16 POort HBA, 35W

dazu einen Mirror aus SSDs für VMs (z.B. 480GB) und einen Mirror aus Platten für Backup und Filer (z.B. 2 x 4TB) sowie mindestens 16 GB, besser 32GB RAM. Zum ESXi Booten und für eine Basis Storage VM dazu eine kleine Sata SSD ab 50GB. Die eigentlichen VMs z.B. Windows liegen dann auf ZFS der über NFS angebunden wird.

Aufbau z.B. wie in meinem HowTo mit einer OpenSource Solaris ZFS VM als Basis für einen NFS Datastore beschrieben
https://www.napp-it.org/doc/downloads/napp-in-one.pdf

Wenn ich das richtig verstehe, diese Lösung macht nur dann Sinn wenn ich auch die bestehende Infrastruktur ändere (eg. 10Gbit Switch), oder?

Warum 4x LAN:
1x zum Switch (VLANs wohl auch), 2x zum NAS (sofern das so funktioniert wie ich es mir vorstelle!). Ich würde gerne das so machen, dass die Daten zwischen Server und NAS direkt fließen und Rest über Switch. Ob das geht?

Ich brauche auch keinen Filer, da ist die NAS, auch für die Backups.

Das zweite Board kostet ja €200 mehr, hat aber einzig als Vorteil die SAS-Schnittstellen und 10GB LANs -> beides wovon ich zur Zeit wenig (gar kein) Gebrauch machen würde.

Die Vorschläge sind ja cool, aber schießt leider komplett über mein Budget hinaus, wenn ich das so schnell durchrechne.

Es ist mir bewusst dass man immer sagt wenn schon, dann gscheit. Nur was ist "gscheit"? Wie weit? Es spielen bei mir verschiedene Kosten eine große Rolle, unter anderem auch die laufenden Stromkosten, die bei SAS-Platten, Storage und und und zu hoch steigen. Ich muss es so einfach wie möglich halten, und soweit haben, dass ich in den nächsten Jahren damit einiges lernen kann. Sonst wird das ein unendlich tiefes Geld-Loch...

- - - Updated - - -

Dell T30, T130 oder HPE ML 10 gen.9 sind Beispiel für "Komplettsysteme" mit Xeon E3 auf Basis von Skylake.
Ich versteh was du meinst, aber dieser Drang nach Basteln kommt idR deutlich teurer als fertiges.

Habe mir mit ML10 durchgerechnet. Vom Preis her kommt es aufs ziemlich gleiche. Jedoch die Konfiguration oben: bessere CPU, lese nichts von einer M.2-tauglichkeit, somit wird noch ein Adapter für PCIe benötigt (kostet ja auch seine €25). Positiv: man bekommt eine Platte (brauche ich ja nicht unbedingt). Wie es mit Stromverbrauch aussieht, keine Ahnung wie das mit G9 ist, aber wie gesagt bei G6 war das sehr mies, wenn man das so sagen darf. Und viel zu laut war das Ding auch. Ich möchte eher was ein bisschen leiseres bauen, auch wenn das Ding im Keller hinter zwei weitere Türen steht (mein Arbeitsraum ist auch im Keller).
Bei Dell ist es auch ziemlich ähnlich, sogar teurer.

 

[testm]

Ich weiß nicht genau was du da gerechnet hast, aber auf preislich gleich komme ich beim besten Willen nicht.
Addiert man Gehäuse, Netzteil, MB und CPU so kommt man aktuellen Preisen von geizhals nach zu 639,25 + Versandkosten.
Wählt man den ML10 Gen 9 als Basis so sind es 385,80€ + Versandkosten.
Mal abgesehen von Lautstärke und m2.fähigkeit sind beide Systeme auf dem Papier ähnlich. Die paar MHz mehr bei gleiche Architektur machen den Kohl auch nicht mehr fett. IPMI 2.0 ist natürlich ein nettes Spielzeug ist aber wohl (noch) nicht relevant.
Was ML10 verbraucht oder wie laut dieser ist weiß ich nicht. Aber dies hat wenig mit dem Argument Preis zutun.

Bei dem Dell T30 kann man zuzeit garnichts durchrechnen, den dieser ist defacto nicht verfügbar. Von seinem Vorgänger sind sowohl Verbrauchswerte sowie Lautstärke bekannt.
Zudem soll T30 m2-fähig sein... was sich allerdings noch zeigen muss.

Was T130 anbelangt, so spielt dieser eigentlich in einer anderen Liga, als die zuvor benannten, was allerdings bis vor Kurzem preislich in Grenzen hielt.

Es ist letztendlch deine Entscheidung, welchen Weg du gehen willst, allerdings sind dir auch die Verbrauchswerte deines Custombuilds als auch die Lautstärke bislang unbekannt.

 

[Kosta]

Ich weiß nicht genau was du da gerechnet hast, aber auf preislich gleich komme ich beim besten Willen nicht.
Addiert man Gehäuse, Netzteil, MB und CPU so kommt man aktuellen Preisen von geizhals nach zu 639,25 + Versandkosten.
Wählt man den ML10 Gen 9 als Basis so sind es 385,80€ + Versandkosten.
Mal abgesehen von Lautstärke und m2.fähigkeit sind beide Systeme auf dem Papier ähnlich. Die paar MHz mehr bei gleiche Architektur machen den Kohl auch nicht mehr fett. IPMI 2.0 ist natürlich ein nettes Spielzeug ist aber wohl (noch) nicht relevant.
Was ML10 verbraucht oder wie laut dieser ist weiß ich nicht. Aber dies hat wenig mit dem Argument Preis zutun.

Bei dem Dell T30 kann man zuzeit garnichts durchrechnen, den dieser ist defacto nicht verfügbar. Von seinem Vorgänger sind sowohl Verbrauchswerte sowie Lautstärke bekannt.
Zudem soll T30 m2-fähig sein... was sich allerdings noch zeigen muss.

Was T130 anbelangt, so spielt dieser eigentlich in einer anderen Liga, als die zuvor benannten, was allerdings bis vor Kurzem preislich in Grenzen hielt.

Es ist letztendlch deine Entscheidung, welchen Weg du gehen willst, allerdings sind dir auch die Verbrauchswerte deines Custombuilds als auch die Lautstärke bislang unbekannt.

Ich rechne das ganze System, also bei HP:
ML10 €417
RAM €227
SSD €250
NIC €240

Ja, ich weiß was von die Verbrauchswerte angeht: kann nur das mal lesen und mich danach richten:
Test: Intel Xeon E3-1230 v5 (Skylake) - Hardwareluxx
(ist natürlich ein anderes Board, aber massiv andere Werte würde ich hier nicht erwarten, also wenn es 10w mehr sind, was solls...)

Die Grundfrage des ganzen war ob ein Xeon 1230v5 für das obere Vorhaben ausreicht: diese Frage wurde soweit ich sehen kann beantwortet, das passt ja.
RAM: mehr als 32GB wird's derzeit nicht (finanziell), ich weiß nicht ob ich 2x16 einbauen kann, sehe hier keine Angebote, immer 4x...

Frage von oben allerdings ist offen, ob es sinnvoll ist 4x LAN für das was ich machen will.

 

[testm]

Ich weiß zwar nicht welchen NIC du für 240€ erwerben willst aber seis drum.
Das bei RAM die größte Stückelung sinnvoll ist, sollte einleuchten.
Was LAN anbelangt, so musst du es selbst am Besten abschätzen können was du planst und ob 4x Interfaces sinnvoll sind, denn dies hängt von Lastszenarien ab.
Wenn du tatsächlich die SSd für die VM's verwenden willst d.h. kein iSCSI, dann gibt es - aus meiner Sicht - keinen triftigen Grund für 4x Interfaces.

 

[Trambahner]

WSUS läuft ohne AD. Kann man einfach per Registry-Eintrag setzen, dass sich Win-Kisten die Updates vom eigenen WSUS statt direkt von MS holen.

 

[testm]

Das es ohne AD und SQL-Server läuft prinzipiell läuft hat keine bezweifelt. Nur ist das setzen von dem Registry-eintrag auf jeder Maschine nicht sonderlich prikelnd und zudem nicht praktikabel.
Wenn man Erfahrungen nah an der Realität eines Unternehmens sammeln will, so muss man auch ein realistisches Szenario nachstellen.

 

[gea]

Wenn ich das richtig verstehe, diese Lösung macht nur dann Sinn wenn ich auch die bestehende Infrastruktur ändere (eg. 10Gbit Switch), oder?

Das X11 hat 10Gbase-T. Das kann man auch mit 1G Ethernet betreiben
Das Xeon-D Board (CPU onboard) hat 2 x 10G SFP+ und 2 x 1G

Warum 4x LAN:
1x zum Switch (VLANs wohl auch), 2x zum NAS (sofern das so funktioniert wie ich es mir vorstelle!). Ich würde gerne das so machen, dass die Daten zwischen Server und NAS direkt fließen und Rest über Switch. Ob das geht?

Kann man machen, ich sehe aber keine wirklichen Vorteile (ausser wenn alle Nics voll augelastet werden).
Wenn man dann aber wirklich Performance braucht, geht kein Weg an 10G vorbei. Für einzelne Verbindungen kann man auch 10G direkt verbinden, ohne Switch. 10G wird ja langsam billig. Ansonsten reicht 1-2 x 1G und 4x1G hat Null Vorteile.

Ich brauche auch keinen Filer, da ist die NAS, auch für die Backups.

Naja, ohne eine Grundsatzdiskussion anfangen zu wollen.
Ein ZFS Filer ist schon noch mal eine andere Güteklasse als eine Synology mit ext4 und SHR
Wenn man allerdings das NAS unter ESXi virtualisieren möchte, egal um einen Backup/Filer oder ein High Performance SSD datastore für ESXi zu haben, geht nichts an einem Extra SAS Controller und Storage Pass-through vorbei.

Das zweite Board kostet ja €200 mehr, hat aber einzig als Vorteil die SAS-Schnittstellen und 10GB LANs -> beides wovon ich zur Zeit wenig (gar kein) Gebrauch machen würde.

Das Xeon-D Board hat den Xeon 4Core dabei, dazu 2 x 10G, 2 x 1G und einen Highend 16 Port SAS Controller von LSI, dazu max 128G RAM. Das Board gibts alternativ als 2Core (günstiger, ultra low power) oder mit noch mehr Cores.

Die Vorschläge sind ja cool, aber schießt leider komplett über mein Budget hinaus, wenn ich das so schnell durchrechne.

Beide Boards gibts auch ohne SAS Controller für den Storagebetrieb und nur mit 1G.
Nachrüsten ist aber viel teurer.

 

[VirtuGuy]

bei deinem 8Bay NAS müsste eigentlich schon eine passende Intel CPU mit Virtualisierung verbaut sein? Läuft es 24/7? Wenn ja, dann nutze diese für dein AD und Basisdienste welche du 24/7 bereitstellen willst. Damit musst du dir bezüglich des Stromverbrauches deiner "Lab" Umgebung weniger Gedanken machen. Sofern du dein NAS als "Storage" per NFS/iSCSI/CIFS im LAB nutzen willst, hast du damit eine gewaltige Bremse.

Wenn du eine aktuelle MS/VMware Zertifizierung anstrebst, gibt es hier einige Szenarien wo 2-3 Maschinen es dir deutlich einfacher machen. Für dein Lab würde ich 2 Maschinen nehmen und diese mit 10Gbit direkt verbinden. Anbei mal eine Konfiguration welche ich als LAB für weniger als 1k Euro für/mit unseren Lehrlingen zusammengestellt habe. Damit lassen sich auch aktuelle Storage Szenarien durchspielen, welche in einer VM Umgebung eher zäh laufen. Natürlich auch diverse Microsoft Umgebungen (Exchange, SQL, SCVMM, SCOM,...).

140 Euro - 2x Fujitsu MX130 Server mit 8 Core AMD (gebraucht auf Ebay)
300 Euro - 2x 32gb Ram ohne ECC
140 Euro - 2x 240gb SATA SSD
100 Euro - 2x 1Tb SATA HDD
90 Euro - 2x 10Gbit Mellanox X2 Netzwerkkarte + Kabel (gebraucht auf Ebay)
50 Euro - 2x Dualport 1Gbit Netzwerkkarte
80 Euro - 16 Port Switch (SM für simple Vlans)

 

[Kosta]

Ich weiß zwar nicht welchen NIC du für 240€ erwerben willst aber seis drum.
Das bei RAM die größte Stückelung sinnvoll ist, sollte einleuchten.
Was LAN anbelangt, so musst du es selbst am Besten abschätzen können was du planst und ob 4x Interfaces sinnvoll sind, denn dies hängt von Lastszenarien ab.
Wenn du tatsächlich die SSd für die VM's verwenden willst d.h. kein iSCSI, dann gibt es - aus meiner Sicht - keinen triftigen Grund für 4x Interfaces.

Naja, von Intel wohl (Intel I350-T4 retail Preisvergleich | Geizhals Österreich), jedoch habe ich gerade nachgelesen was i210 vs i350 bedeutet, und da fällt schon mein Plan ins Wasser, da ich zu NAS 2GBit realisieren wollte, was mit i210 nicht gehen wird, da angeblich die Aggregation für doppelte Bandbreite nicht funktioniert. Nun soviel dazu.

- - - Updated - - -

Kann man machen, ich sehe aber keine wirklichen Vorteile (ausser wenn alle Nics voll augelastet werden).

Die 1GBit Auslastung kommt immer wieder zwischen meinem Rechner und NAS zustande, die dauert aber dann auch länger. Da die NAS 4x 1GBit hat, hätte ich an ein 16p Switch gedacht und die NAS mit allen 4 verbinden, bzw. zu spalten, sodass wenn die Last zwischen Rechner und NAS mit 1GBit läuft, sind zwischen Server und NAS noch immer genug Bandbreite frei, damit ich arbeiten kann.

Wenn man dann aber wirklich Performance braucht, geht kein Weg an 10G vorbei. Für einzelne Verbindungen kann man auch 10G direkt verbinden, ohne Switch. 10G wird ja langsam billig. Ansonsten reicht 1-2 x 1G und 4x1G hat Null Vorteile.

Ich überlege mir eh schon und lese langsam nach, wie ich das implementieren könnte, aber alleine die Switches mit SFP+ sind schon bereits 3-4x so teuer wie die mit GBit bzw. SFP.

Ein ZFS Filer ist schon noch mal eine andere Güteklasse als eine Synology mit ext4 und SHR

Hab damals als ich mich für Syno entschieden habe, einiges über ZFS gelesen. Jetzt weiß ich darüber nicht mehr viel, aber damals war Syno, größtenteils wegen fehlenden Wissen und Erfahrung, gekauft (AiO "einfach"...). Funktioniert auch so und funktioniert gut.
Am liebsten würde ich eh einen ordentlichen Filer haben, und zwar mit Server bzw. als Storage integriert, und dann Backup auf NAS. Wäre eh das sinnvollste. Bedeutet aber dann noch 7-8 Platten dazu, usw. Ist ein Budget den ich mir derzeit nicht annähernd leisten kann. Aber wie du sagst, vielleicht kann ich ja dafür vorbereiten...

Wenn man allerdings das NAS unter ESXi virtualisieren möchte, egal um einen Backup/Filer oder ein High Performance SSD datastore für ESXi zu haben, geht nichts an einem Extra SAS Controller und Storage Pass-through vorbei.

Das verstehe ich jetzt nicht. Was bedeutet NAS unter ESXi virtualisieren?

Das Xeon-D Board hat den Xeon 4Core dabei, dazu 2 x 10G, 2 x 1G und einen Highend 16 Port SAS Controller von LSI, dazu max 128G RAM. Das Board gibts alternativ als 2Core (günstiger, ultra low power) oder mit noch mehr Cores.

D-1518 war auch eine CPU (bzw. SoC System) was ich mir überlegt habe. Reicht die CPU-Leistung trotz niedriger Frequenz?
Mit dem SAS usw. habe ich wenig Erfahrung. Was fange ich mit dem Controller an?

Beide Boards gibts auch ohne SAS Controller für den Storagebetrieb und nur mit 1G.

SAS 9201 gibt es für ca. €500. Würde ich jetzt persönlich als unkritisch einstufen soll ich mir mal überlegen ein ganzes SAS-Storage zu bauen, oder? Das Verzicht darauf jetzt spart mir etwa die Hälfte, und wenn ich dann genug €€ um 8 SAS-Platten zu kaufen, werden die €250 (€500) nicht wirklich ins Gewicht fallen. Sehe ich da was falsch?

- - - Updated - - -

bei deinem 8Bay NAS müsste eigentlich schon eine passende Intel CPU mit Virtualisierung verbaut sein?

Nein. Atom D2700.

Sofern du dein NAS als "Storage" per NFS/iSCSI/CIFS im LAB nutzen willst, hast du damit eine gewaltige Bremse.

Es sollte als ein "non-interaktives" Storage dienen. Also Installations-Dateien, Videos, Bilder, Backups, Dokumente, usw. alles was so nicht im Hauptbetrieb notwendig wird.

Damit lassen sich auch aktuelle Storage Szenarien durchspielen, welche in einer VM Umgebung eher zäh laufen.

Muss ehrlich gestehen so groß habe ich gar nicht gedacht.
Kann man die Enterprise Umgebungen, also zB. 3 Servers, 2-3 Storages usw. simulieren??

140 Euro - 2x Fujitsu MX130 Server mit 8 Core AMD (gebraucht auf Ebay)
300 Euro - 2x 32gb Ram ohne ECC
140 Euro - 2x 240gb SATA SSD
100 Euro - 2x 1Tb SATA HDD
90 Euro - 2x 10Gbit Mellanox X2 Netzwerkkarte + Kabel (gebraucht auf Ebay)
50 Euro - 2x Dualport 1Gbit Netzwerkkarte
80 Euro - 16 Port Switch (SM für simple Vlans)

Kannst du mir bitte in kurzen Linien erklären was du dir dabei gedacht hast, bzw. der Sinn dahinter?

 

[gea]

Zu Kanalbündelung (mehrere 1Gb NAS -> Switch):

bringt eigentlich nur im Multiuser Betrieb was. 1 Benutzer/Prozess nutzt (normalerweise) nur eine Leitung.
10G ist da was anderes und wenn man nur 2/3 Rechner hat kann man die auch ohne Switch direkt verbinden.

ESXi läuft als Type-1 Virtualisierer direkt auf Hardware, ist eigentlich eher sowas wie eine Bios Erweiterung/Firmware (im Gegensatz anderen Optionen bei denen immer ein Full-Feature-OS läuft). Der Hauptvorteil ist neben der umfassenden OS Gastunterstützung die extrem schnelle Wiederherstellung von ESXI und VMs. Die Storageoptionen von ESXi sind aber Mau besonders in der Free Version.

Man kann nun für viel Geld vsan von Vmware kaufen, ein externes SAN über iSCSI/FC/NFS anbinden oder eine Storage Appliance virtualisieren. Das ginge mit jedem StorageOS, z.B. auf Linuxbasis wie OMV oder Xpenology, auf BSD Basis wie FreeNAS oder Nas4Free oder auf Solaris Basis wie Oracle Solaris, OmniOS oder NexentaStor. Von aussen betrachtet verhält sich sowas genau wie ein Hardware NAS. Mit der richtigen Konzeption ist es sogar genauso schnell und sicher. Richtige Konzeption bedeutet hier dass man nur das NAS OS virtualisieren darf, nicht aber Controller und Platten und genau dazu braucht man den extra SAS Controller im pass-through mode (Wobei man an SAS Controllern auch Sata Platten anschliessen kann).

Eine virtualisiertes NAS bring auch beste Performance NAS->ESXi da das alles im ESXi in Software abläuft.
siehe dazu mein HowTo http://napp-it.org/doc/downloads/napp-in-one.pdf (passthrough/vt-d einrichten)

zu den kleineren Xeon-D
Die sind für die wenigen Watt (35W für das System mit 4Core) sehr leistungsstark und meist ist die Overall Performance eher RAM oder Disk iops limitiert. Nachteil ist allenfalls dass man die CPU nicht tauschen kann sollte man mehr Leistung brauchen.

 

[Kosta]

Naja, Server und mein Client ist schon Multiuser wenn man das so sehen will.
Aber ich glaube langsam dass sich das mit 4 NICs fast erübrigt hat.
Mein Switch ist ein Cisco SG-200-08 8-port GBit.
Ich lese mich jetzt in das Thema LAG ein, ist doch nicht so einfach wie ursprünglich gedacht. Wie ich die Infos von Intel lese, gibt es verschiedene Varianten, bis zu Dynamic 802.3ad. Einige sind nur Tx oder Rx. Und da verstehe ich dann was du meinst mit Multiuser und warum 10GBit mehr Sinn machen würde.

Zu dem Thema NAS Virtualisierung:
Alles klar. Macht Sinn und ist verständlich eine gute Kombination wenn man damit ein Storage für VMs, Daten usw. baut. Dafür müsste ich auch ein größeres Gehäuse nehmen, wo ich dann x-Platten packen kann. Dann noch die Platten. Trotzdem wird der Server performanter mit einer Samsung 960 Evo/Pro M.2 für die VMs als mit sagen wir 8 SAS Platten, auch wenn die 15k sind. Warum soll ich dann eine Storage Lösung mit 8 SAS Platten anstreben? Ich kann sogsr eine xTB SATA Platte zusätzlich einbauen und direkt drauf sichern. Würde mir die Backups über Netzwerk sparen.

Ob jetzt ein D-1518 oder E3-1230v5 ist nur Bedarfsfrage, die Tatsache ist dass ich im Budget für ca. €500-600 für Mainboard und CPU Combo wählen kann zwischen Mainboard ohne 10Gbit und E3-1230v5 mit evt. Upgrademöglichkeit oder integrated D-1518 mit 10GBit-Base. Aber für 10GBit brauche ich dann wiederrum einen neuen Switch... gibt's da eine Empfehlung die keine €500 kostet?

 

[VirtuGuy]

Nein. Atom D2700.

=> intel

Muss ehrlich gestehen so groß habe ich gar nicht gedacht.
Kann man die Enterprise Umgebungen, also zB. 3 Servers, 2-3 Storages usw. simulieren??

Jein. du kannst derartiges natürlich auch in einer einzelnen Maschine emulieren. Aber gerade SDS ist mit echten Blech deutlich verständlicher.

Kannst du mir bitte in kurzen Linien erklären was du dir dabei gedacht hast, bzw. der Sinn dahinter?

Den Sinn für deine LAB Umgebung kann ich dir nicht erklären. Mein Beispiel beinhaltet 2 Server mit jeweils 32gb ram, ein paar Festplatten und einer direkten 10Gbit Verbindung (kein Switch erforderlich). Damit kannst du ohne Bremse auch diverse Storage Szenarien durchspielen.

 

[gea]

Zu dem Thema NAS Virtualisierung:
Alles klar. Macht Sinn und ist verständlich eine gute Kombination wenn man damit ein Storage für VMs, Daten usw. baut. Dafür müsste ich auch ein größeres Gehäuse nehmen, wo ich dann x-Platten packen kann. Dann noch die Platten. Trotzdem wird der Server performanter mit einer Samsung 960 Evo/Pro M.2 für die VMs als mit sagen wir 8 SAS Platten, auch wenn die 15k sind. Warum soll ich dann eine Storage Lösung mit 8 SAS Platten anstreben? Ich kann sogsr eine xTB SATA Platte zusätzlich einbauen und direkt drauf sichern. Würde mir die Backups über Netzwerk sparen.

Ein SAS Controller ist auch die erste Wahl für Sata SSDs.
SAS/Sata ist zwar nicht so schnell wie eine NVMe dennoch nutzt man meist Sata SSDs da man diese
- im laufenden Betrieb tauschen kann
- Performance mit der Anzahl der SSD skaliert. Eine sehr gute NVMe=2-3 x Sata, so als Daumenregel

Man sollte bei SSD als VM Storage auch beachten, dass die idealerweise Powerloss Protection haben sollten damit bei einem Crash keine Daten (letzte Schreibaktion oder durch Garbage Collection/ Trim verursacht) verloren gehen. Das ist erst bei SSDs wie z.B. PM/SM 863 von Samsung oder P750 von Intel der Fall. Desktop SSD oder NVMe haben das nicht.

 

[Kosta]

Ein SAS Controller ist auch die erste Wahl für Sata SSDs.
SAS/Sata ist zwar nicht so schnell wie eine NVMe dennoch nutzt man meist Sata SSDs da man diese
- im laufenden Betrieb tauschen kann
- Performance mit der Anzahl der SSD skaliert. Eine sehr gute NVMe=2-3 x Sata, so als Daumenregel

Bei welchem RAID ist es so, sowohl Read und Write?

Man sollte bei SSD als VM Storage auch beachten, dass die idealerweise Powerloss Protection haben sollten damit bei einem Crash keine Daten (letzte Schreibaktion oder durch Garbage Collection/ Trim verursacht) verloren gehen. Das ist erst bei SSDs wie z.B. PM/SM 863 von Samsung oder P750 von Intel der Fall. Desktop SSD oder NVMe haben das nicht.

Danke, habe ich nicht gewusst.
Sehe ich wiederrum für meine Zwecke nicht als kritisch. Tägliche VM Backups würden mir ermöglichen die Daten relativ gut wiederherzustellen, und wenn die Daten von einem Tag weg sind, ist mir das offen gesagt ziemlich egal. Die wichtigsten Daten sind auf der NAS sowie externen HDD(s). Überlege mir eine 8TB ext. HDD zu kaufen, um fast alles von NAS extern zu sichern.
Sofern ich alle Server rücksichere, dürfte zu keinen Problemen kommen, auch nicht mit dem AD (DC).
Den Szenario sehe ich einfach so:
- verabschiedet sich die SSD, neue anschaffen, und die VMDKs aus der Sicherung (NAS) wieder draufkopieren - fertig
- verabschiedet sich jeglicher anderen Teil des Servers - einfach nur tauschen
Stehzeit in allen Fällen nicht mehr als 3 Tage. Akzeptabel.

Ich finde die Vorschläge für eine ziemliche gefestigte Konfiguration super, jedoch versuche ich sowohl die laufenden wie auch die Anschaffungskosten zu sinken. Die Alternative ist nichts anzuschaffen, was natürlich kontraproduktiv ist.
Ich möchte ehrlich gesagt auch nicht alte gebrauchte Server. Wenn schon, dann selber bauen und die aktuelle Hardware.

Das einzig sinnvolle (für meine Zwecke) wäre eventuell gleich auf 10GBit nicht zu verzichten, da ich das in der näheren Zukunft eventuell ausbauen könnte, da sich mein Hausnetzwerk auf CAT.6 basiert (selber verlegt). Immerhin kostet eine 10GBit NIC auch nicht die Welt, also wäre auch per PCIe aufrüstbar, besonders wenn die 10GBit Hardware billiger wird.

 

[gea]

zu Raid Leveln

Raid-1
sequentielle Lese-Performance und iops: 2 x Einzelplatte
sequentielle Schreib-Performance und iops: 1 x Einzelplatte

Raid-1n
sequentielle Lese-Performance und iops: 2 x Einzelplatte x Anzahl Mirror
sequentielle Schreib-Performance und iops: 1 x Einzelplatte x Anzahl Mirror

Raid-5/6/Z1/Z2
sequentielle Lese/Schreib-Performanc: n x Anzahl Datenplatten
iops: 1 x Einzelplatte

Raid-50/60/multiple vdevs Z1/Z2/Z3
Lese/Schreib-Performanc: n x Anzahl Datenplatten
iops: 1 x Einzelplatte x Anzahl Arrays/vdevs


zum Backup
Das Hauptproblem ist nicht der Totalausfall sondern korrupte Daten
Das merkt man oft viel zu spät (Backup auch betroffen) oder man kann dann die Backupversionen nach der noch funktionierenden durchsuchen.

Daher:
Normales Backup ist immer Disasterbackup und ersetzt in keinem Fall möglichst sicheres Storage mit Versionierung.
Da VM Storage zwar schnell aber meist nicht sonderlich gross sein muss, sind Server SSD auch nicht soo teuer.

 

[testm]

@Kosta: Zu dem Thema 10G Switch kannst du das entsprechende Thema in diesem Forum befragen.
Da ist alles schon gesagt samt Switches, die für dich in Frage kommen.

 

[VirtuGuy]

Man sollte bei SSD als VM Storage auch beachten, dass die idealerweise Powerloss Protection haben sollten damit bei einem Crash keine Daten (letzte Schreibaktion oder durch Garbage Collection/ Trim verursacht) verloren gehen. Das ist erst bei SSDs wie z.B. PM/SM 863 von Samsung oder P750 von Intel der Fall. Desktop SSD oder NVMe haben das nicht.

Von Micron oder LiteON gibt es NVMe mit PLP/PLI. Man sollte dabei aber auch dafür geeignete HW achten, ansonsten kann man z.B. keinen Capacitor Status auslesen.

 

[besterino]

Krass, echt LiteON?

 

[VirtuGuy]

Krass, echt LiteON?

ich kenne die eigentlich nur von Dell Server/Workstations. Da sind die verbauten SSD´s oftmals von LiteOn.

 

[testm]

Dell baut praktisch bei allen Produkten SSD's von LiteOn ein was Server, Workstations und Notebooks beinhaltet.
Auch Lenovo hat LiteOn - zumindest in den Notebooks - im Bestand.
Alles was ich bisher von Liteon gesehen habe ist allerdings mit m.2-Schnittstelle.

 

[Ollmann]

Ich rechne das ganze System, also bei HP:
ML10 €417
RAM €227
SSD €250
NIC €240

Frage von oben allerdings ist offen, ob es sinnvoll ist 4x LAN für das was ich machen will.

Also, eine 4-Port-NIC bekommst du neu für 65€! Der Chipsatz ist von Intel und explizit für den Server gedacht.