neuer server - welches Konzept

[docsnydor]

Hallo zusammen,

ich bräuchte mal einen Rat:

Zur Zeit habe ich 2 Dell R320 welche mit Hyper-V2019 meinen "home-server" Bedarf decken.
Eigentlich läuft soweit alles gut, dennoch habe ich Lust auf Veränderung und starte neu.

Ich habe einen Dell Poweredge R720 mit 8x3,5" Slots (gibts zur Zeit sehr günstig in der Bucht). RAM und CPU(s) ausreichend vorhanden.

Benötigt werden:
2x Windows VMs
1x PFSense
5x Ubuntu Server VMs

Ausserdem ein NAS für Filme (ca. 10 TB) und private Daten (ca. 1,5 TB Bilder, Dokumente, etc).

Ich habe keine Lust auf Docker, zumal genug Power für "richtige" VMs vorhanden ist.
Gigabit -Anbindung reicht.

Ich habe folgenden Plan, ist aber noch nicht in Stein gemeißelt:

• 1x Consumer-SSD mit ESXi 6.7 und FreeNAS VM als Storage VM an SATA (würde da auch 1/2 USB-Sticks reichen?)
• HBA Passtrough an die FreeNAS - VM
• 1x HDD für die Filme (12TB aus Western Digital Mybook ausgebaut)
• 3x SAS- 3TB im RAIDZ1 für die wichtigen Daten (eigengtlich würden 2 im Mirror locker reichen, aber dann kann ich ja später nicht so einfach erweitern, richtig?)
• 2x Consumer-SSD im Mirror für die VM - "HDDs"

Ist das so noch "State-of die art" ?
Statt Freenas besser Napp-IT ? Ich muss ehrlich sagen, dass ich diesen Kuddelmuddel mit den verschiedenen GUIs bei Freenas ziemlich blöd finde. Gerade jetzt wieder bei 11.3 gemerkt.

Kann die HDD, wo die Filme drauf sind, irgendwie Spindown?

Einen richtigen HBA habe ich leider nicht, ich würde wohl den Perc H310 Mini Mono nehmen, welcher zumindest JBOD kann.

Danke und Viele Grüße
Doc

 

[gea]

Prinzipiell ist das mein All-In-One Konzept wie ich es seit 10 Jahren propagiere. Halte ich nach wie vor als State of the Art Lösung vor allem wenn man nicht nur mit Linux + Docker unterwegs ist sondern weitere Betriebssysteme wie Windows oder Unix möchte.

FreeNAS oder napp-it?
Das ist nicht die Frage sondern Free-BSD oder OmniOS oder Solaris. Das sind die OS Optionen. Napp-it ist ein Management Tool für Solarisbasierte Unixe. FreeNAS ist eine Management Tool für eine mitgelieferte Free-BSD Version. Unter ESXi halte ich FreeNAS für weniger geeignet. Xigmanas wäre da resourcenschonender wenn man Free-BSD möchte. Der Hauptunterschied ist dass napp-it die Wahl des OS offenläßt während die anderen nur mit der mitgelieferten Free-BSD Version arbeiten. Man hat damit nicht mehr die Option, Sicherheitsupdates oder neue Versionen unmittelbar zu nutzen. Das sehe ich als Hauptvorteil wenn man OS Wahl und GUI trennt (neben der freien Wahl aus verschiedenen Systemen überhaupt, bei napp-it aus OpenIndiana, OmniOS und Oracle Solaris mit Original ZFS).

OmniOS wäre die absolut resourcenschonendste Option. Dazu gibts da den kernelbasierten SMB Server (Sehr schnell, einfach, bessere Unterstützung von Window sntgs ACL) und neuerdings S3 Services (Amazon S3 kompatibel) z.B. für Cloud/Backupdienste im Internet. Auch hat OmniOS neueste ZFS Features wie Verschlüssellung oder special vdevs die Free-BSD (noch) fehlen.

Vom Konzept
kleine SSD als Bootlaufwerk für ESXi
und datastore für Storage VM nehmen (100GB)

ein Mirror aus 2 SSD für VM
sollten powerloss protection haben, https://www.thomas-krenn.com/de/wiki/SSD_Power_Loss_Protection)

ein Mirror aus 2 Platten für Filer und Backup
Mirror ist einfach bei Bedarf erweiterbar (Raid-10)

Ein HBA für Pass-through
Irgendetwas mit LSI Chisatz und IR oder IT Firmware
Dell H310 wird wohl mit Raid-5 Firmware geliefert. Die ist untauglich und nur nach eventuell möglichem Umflashen auf IT oder IR eine Option, https://forums.servethehome.com/ind...and-hba-complete-listing-plus-oem-models.599/

 

[docsnydor]

Hallo gea,

ich hatte gehofft, dass du antwortest, danke dafür.
Mit Solaris habe ich genausowenig am Hut, als wie mit FreeBSD. Von daher kann ich den Unterbau nicht werten. Die Gui vom Napp-it ich finde ich sehr gut. Weniger ist mehr. Free-Nas ist mir eigentlich viel zu überladen. Dennoch schätze ich daran, dass da alles immer gut und stabil funktioniert hat. Leichte Probleme hatte ich letztens nur, als ich meinen verschlüsselten zpool mounten wollte und das in der einen GUI nicht ging, in der anderen aber schon. Sowas ist blöd und stellt GUIs somit komplett in Frage.

Ich werde den Weg OmniOS mit Napp-it mal ausprobieren. Ich nuetze gerne das Feature, die Snapshots von einer Freenas auf eine andere Freenas zu replizieren. Das wäre bei Napp-It kostenpflichtig, richtig?

Thema SSD: Ich würde gerne die MX500 Serie von Crucial einsetzen (die habe ich zu Hause rumliegen -> kann leider im Momnet kein Geld für neue SSDs locker machen). Die haben zumindest ein Pseudo Powerloss protection, ausserdem hängt der Server an einer USV.

Ich habe noch einen LSI SAS 9300-4i rumliegen, welcher auf IT-Mode umgeflasht wurde. Problem ist da das "4i" Ich verstehe im Momnet nicht, genau, was das bedeutet. Kann ich da mittels der Dell Backplane trotzdem mehr als 4 Laufwerke daran betreiben oder brauche ich einen extra Expander?
Der Perc H310 lässt sich wohl auch auf IT-Mode umflashen, der H310 Mini Mode brickt dann aber wohl :/

 

[gea]

Festplattenverschlüssellung die dazu noch zwischen Free-BSD, Linux und OmniOS/OI inkompatibel ist, ist ein Auslaufmodell seit es unter Open-ZFS eine einheitliche ZFS Verschlüssellung gibt (Free-BSD irgendwann in 2020).

Napp-it Free kann incrementelle Replikation lokal. Für Remote gibts freie Scripte. Ein einmaliger Transfer via zfs send ist ziemlich trivial über mbuffer, netcat oder SSH.

4i bei einem HBA bedeutet dass er 4 interne Plattenports hat. 4i/4e dass er 8 Ports hat wobei 4 extern sind. Man kann also an 4i intern vier Platten direkt anschließen. Will man mehr anschließen brauchts einen Expander.

Um zwei Pools (je ein Mirror) anzuschließen, reicht das. Die Boot-SSD ist Sata.

Die MX500 ist nicht perfekt. Unter Dauerlast wird die ziemlich einbrechen. Ist aber immer noch schneller als eine mechanische Platte. Die PLP würde ich eher als Gimmick sehen. At home und mit einer USV aber sicher ganz ok.

 

[docsnydor]

Danke.
Vielleicht lass ich das auch mit den SSDs? Im Moment habe ich meine VMs unter Hyper-V auch auf drehenden SAS- Platten. Wenn die VMs einmal hoch gefahren sind, machen die nicht mehr viel auf ihren Platten. Stromsparen wäre noch ein Argument...

Freenas schiebt die Snapshots auch über SSH rüber. Theoretisch ist das ja nichts anders als ein Cron-Job über zfs send via ssh, oder?

Ich bin eigentlich ein Freund von Kommandozeile und ganz ohne Gui. Ich hatte vor 2-3 Jahren schonmal mit ZFS unter Ubuntu herum experiment, allerdings hatte ich damals nicht alles hin bekommen, was ich gerne gehabt hätte und habe dann einfach Freenas genommen. Mit Solaris habe ich überhaupt keine Erfahrung.

Ich hatte gehofft, dass die Backplane der Expander ist. Das Ding hat 2 Anschlüsse, aber alle 8 Drives können schon mit einem Kabel angesteuert werden (zumindest kenne ich das so aus anderen Poweredge Servern). Theoretisch könnte ich auch 2 Controller anschließen und die Backplane im "Split"-Mode betreiben. Geht nicht offiziell, aber bei YT habe ich ein Video entdeckt, wo das einer erfolgreich getestet hat. Muss ich mal bisschen rumspielen damit.
Ist ja eh alles nur mehr oder weniger Spielerei, weswegen ich auch jetzt nicht Unsummen an Kohle versenken will.

 

[gea]

Solaris und Free-BSD sind beides Unix. Solaris hat soger bei BSD seine Wurzeln. Solaris und seine freien Forks sind interessant weil da (noch bei Sun) die Innovationen entwickelt wurden die heute Stand der Technik sind, also neben ZFS z.B. NFS, Dtrace, Container (Solaris zones war schon vor 10 Jahren eher weiter als Docker heute), dazu der geniale ZFS/kernelbasierte SMB Server als Alternative zu SAMBA. Dazu Service Management smf, Comstar (FC/iSCSI) und Crossbow (virtuelle Netzwerke) in absoluter High End Ausführung.

FreeNAS und Kommandozeile sollte man eher lassen. napp-it arbeitet dagegen ausschließlich mit CLI Befehlen und liest jeweils die aktuelle Konfiguration. Da ist es kein Problem mit beidem nebeneinander zu arbeiten.

Platten schlafen legen kann man machen. Man muss halt alles deaktivieren was auf die Platten zugreift. Für VM Storage also praktisch nicht möglich. Ansonsten dauert das Aufwachen halt seine Zeit. Unangenehm ist es dass man alle Fehler Management Optionen (Solaris Fault Manger fmd) deaktivieren muss.

Erstmalige Replikation ist trivial. Inkrementelle erfordert Aufwand weil man da Snaps erstellen und syncron halten muss und eventuell eine Snap History auf dem Zielsystem möchte.

Wenn man die 8 Platten der Backplane mit einem miniSAS Kabel (4 Ports) ansprechen kann, dann ist da ein Expander integriert. Der "Split" mode bedeutet dann SAS Multipath also ein zweiter Zugang zu SAS Platten (für Redundanz, Clustering, doppelte Performance)

 

[docsnydor]

Ich schaue mir das Napp-IT mal in Ruhe an und probiere bisschen rum. Es klingt erstmal alles sehr gut und wenn es mir gefällt melde ich mich nochmal bei dir wegen einer Pro-Version. Danke nochmals für die Beratung...

 

[docsnydor]

So, ich habe gestern fast den ganzen Abend damit verbraucht, erstmal die Firmware auf den neusten Stand zu bekommen (ging leider über den LCC mehr schlecht als recht, da zwar der Katalog, nicht aber die Updates ansich herunter geladen werden konnten).
Ich werde es jetzt trotzdem erstmal mit H310 Mini Mono versuchen, weil da ja immerhin JBOD kann und ich bei Hyper-V mit virtuellem Freenas keine Probleme hatte. Die Platten ließen sich problemlos durchreichen. Ich habe auch jeweils die Temperaturen der Platten gesehen, somit müsste ja auch SMART funktionieren. Ich würde gerne den Server original lassen, da passen die SAS Kabel genau von der Länge, iDRAC meckert nicht.

Kann ich im ESXi auch einzelne Platten durchreichen, anstatt den ganzen Controller?
Das hätte nämlich den Charme, dass ich die SSD (s) für ESXi und die Storage VM auch mit an die Backplane anstecken könnte und mir das Gebastel mit dem CD-ROM dem SATA-Controller allgemein spare. Original eben ;-)

Ich habe 4x 3 TB SAS-Platten (gut gebraucht, haben schon paar Jahre Dauerlauf auf dem Buckel, aber unauffällig) zur Verfügung und brauche im Moment 1,5 TB Datenplatz, Tendenz steigend. DIe Daten darauf sind wichtig, werden aber nicht wirklich viel abgerufen.
a) Raidz2 mit allen vier PLatten
b) "RAID 10" mit allen vier PLatten
c) 3-Mirror und eine in den Schrank als Cold Spare
d) normaler Mirror und 2 in den Schrank als Cold Spare
Ich vermute, so eine Platte wird schon ihre 8-10 Watt im Dauer-Idle-Betrieb ziehen, oder?


Ansonsten bin ich im Moment schwer begeistert vom Dell R720. Ich habe den Server erst gestern abend bekommen. Ich habe ihn erstmal mit 1 Ivy-Xeon 6C/12T CPU (E5-2630L) und 4 Ram-Riegeln bestückt. Beide Netzteile (80+ Platinum mit je 750 Watt) angesteckt und hatte dann nach dem Booten eines Ubuntu von USB schmale 54 Watt auf der Uhr stehen. Da kann man nicht meckern. Toll ist auch, wie leise das Gerät ist. Kein Vergleich zum Vorgänger R710. Ich muss allerdings dazu sagen, das meine beiden R320 auch schon super leise sind und das für 1 HE Server. Der R720 hat halt dazu noch Platz ohne Ende.

 

[bluesunset]

Normaler Mirror aus zwei HDDs und zwei HDDs im Wechsel mit Vollbackup und den differenzen.

 

[docsnydor]

Ich mache hier mal weiter, vielleicht interessierts ja jemanden.
ESXi 6.7 lies sich problemlos auf der SSD im ehemaligen CD-ROM Schacht installieren. Danach habe ich Freenas "auf die Schnelle" mal ausprobiert und das bootet nichtmal mit durchgereichtem SAS-Controller.
"mfi0 timeout"
Ich habe so zusammen-gegoogelt, dass das Problem wohl beim H310 liegt. Freenas (oder gar FreeBSD?) findet RAID-Controller wohl blöd und noch blöder, wenn keine Raids konfiguriert sind.

Nächster Versuch: gea's VM-Template mit OmniOS und Napp-It.
Funzt auf Anhieb. Habe erstmal nur 2 SSDs in der Backplane stecken, welcher aber als Einzelplatten erkannt werden. zpool wurde problemlos erstellt. Ich werde mich jetzt bisschen mit der GUI beschäftigen und noch bisschen rumspielen. Mit Solaris tue ich mir halt relativ schwer, ist eben doch vieles anders, wenn man nur Linux kennt.

 

[the_pi_man]

@docsnydor
Das ist eine gute Entscheidung OMNIOS ist stabil und @gea eine super Ansprechstelle.

 

[Dezai]

Finde ich mega interessant.
Ich bin aktuell selber am Überlegen meinen Eigenbauserver gegen einen R720 / R720xd zu tauschen.

Kannst du etwas bzgl. der Lautstärke des R720 sagen?
Ist bei dir vielleicht nicht relevant - ich bin aber aktuell noch in meiner Hamburger Wohnung und da steht der Server im Büro.
Deshalb aktuell auch noch Eigenbau.

Nur das Thema Lautstärke lässt mich da noch etwas Grübeln mir nen R720 anzuschaffen.

Gegen Ende des Jahres gehts wieder nach Hessen - da ist Thema Lautstärke im Keller dann kein Thema mehr.

Würde mich da über deine Erfahrungsberichte freuen was Lautstärke angeht.

 

[docsnydor]

Lautstärke ist halt subjektiv. Ich habe (auch beruflich) sehr viel mit den Poweredge' aller Jahrgänge zu tun und kann nur sagen, dass die Server ab der 12. Generation, also ab Poweredge Rx20 wirklich richtig leise sind. Es spielt auch nicht so die Rolle, ob 1 HE (besitze selbst R320 und R620) oder 2 HE (mein neuer R720).
Ich hatte vorher einen HP Microserver ML10, der war deutlich lauter.

Problem ist dann halt, wenn die Server Last bekommen, dann werden die lauter, zumindest meine R320. Beim R720 habe ich noch keine privaten Erfahrungen, im RZ hört man (ich) einen einzelnen Server nicht raus.

Die R720xd werden ziemlich teuer gehandelt, hatte auch erst damit geliebäugelt.

Ich kann dir nur den Tip geben, gleich auf IVY-Bridge zu gehen (Xeon E5-26xx v2), das macht ziemlich was am Stromverbrauch/Lautstärke aus, obwohl es auf dem Papier nicht so scheint.

Du musst dir halt auch der Nachteile bezüglich "richtiger" Serverhardware bewusst sein. Dell toleriert aber noch relativ viel Fremdhardware. Einzig der verbaute Raid "Mono" ist mit vorsicht zu genießen. Der lässt sich zwar flashen, wird aber danach vom Server nicht mehr angenommen. Da spezieller Sockel, ist das dann ein klassischer Brick :/
Wenn du noch Fragen hast, her damit. ;-)

 

[Dezai]

Die Erfahrungen sind Gold wert für mich

Ich betreibe aktuell Consumerhardware - R7 1700 - 32GB Ram - GTX970, das alles mit nem Unraid als OS GPU durchgereicht an ne Windows VM.

Ich habe mir mit einer SATA Erweiterungskarte mit Marvell Chip letzte Woche mein BTRFS Dateisystem zerschossen - kein Beinbruch dank Backup - warte aber seit letzter Woche auf meinen Dell H300 der schon mit IT Mode geflashed ankommt.

Ich sammel heute Abend mal wenn wieder alles läuft meine Fragen zum R720/R720xd und sende Sie dir zu
In dem Thread oder wäre dir ne PN lieber?

Ich will im Serverbereich einfach weg von der Consumer Hardware, seit dem ich jetzt mal richtig Probleme damit hatte.

 

[docsnydor]

Meinetwegen ruhig hier Thread.

Zum Topic noch: Ich muss mir leider eingestehen, dass meine Solaris/ZFS Skills leider nicht ausreichen, um die Storage VM so zu betreiben, wie ich es gerne hätte. Habe gestern den ganzen Abend gebastelt und gegooglet:

Ich hatte einen Mirror-Pool aus 2 SSDs erstellt und danach ein ZFS darauf angelegt. Danach wollte ich dieses als NFS frei geben, aber nur an eine bestimmte Adresse und daran bin ich gescheitert. Im Napp-It finde ich die Stelle nicht, wo man das einträgt (da finde ich nur nfs on/off) und direkt im CLI vom OmniOS komme ich bei dem Befehl

zfs set share=name=pp,path=/pub,prot=nfs,sec=sys,rw=*,public rpool/public

(stammt aus Solaris docs) überhaupt nicht weiter.
Da kommt dann immer, dass er mit "share" nix anfangen kann. "get share bad property list: invalid property 'share'"

So kommt man dann vom 100. ins 1000. Welche ZFS-Version habe ich überhaupt, etc. pp.
War ein sehr frustierendes Erlebnis.

 

[gea]

NFS lauscht auf allen Netzwerk Adressen. Ansatzweise kann man das begrenzen indem man statt on den Zugriffsmodus für Adressen angibt (siehe napp-it NFS Sharing Menü).IP Adressen als Schutz ist aber allenfalls rudimentär. Ganz blocken kann man Adressen nur durch die Firewall ipf oder indem man eine eigene NFS VM mit VM Storage im geschützten Netz installiert.

Wenn man Solaris Manuals für OmniOS liest, dann die für Solaris 11.1/11.2 nehmen. Danach hat Oracle bei den Share und Netzwerk-Einstellungen was Neues eingeführt, siehe https://docs.oracle.com/en/operating-systems/solaris.html

Zur ZFS Version.
Oracle Solaris mit Original ZFS ist auf Version 44. Open-ZFS ist generell auf v5000 (damit Oracle noch ein paar Versionen frei hat). Die Unterschiede bei Open-ZFS kommen über die unterstützten Features. Illumos und ZoL sind etwa auf gleichem Stand, bei Free-BSD fehlt aktuell noch Verschlüssellung und spezielle vdevs.

 

[asche77]

... und bei OmniOS (nicht: Illumos) fehlt noch funktionsfähiges TRIM.

 

[gea]

Trim in OmniOS stable kann man aktivieren und es funktioniert auch. In Illumos und OmnioOS bloody ist aber die Erkennung von SSDs verbessert die Trim nicht sauber unterstützen (meist Desktop SSDs) und bei denen es dann Probleme mit Trim geben kann.

 

[docsnydor]

Okay, danke. Ich habe der Storage VM 2 Nics gegeben, eine für SMB und andere Geschichten für die Clients (sozusagen Frontend) und eine 2te Nic (quasi Backend), welche mittels 30er Maske sich ein (virtuelles) Netz mit dem Esxi teilt. Ich will damit bezwecken, dass das genannte NFS (also der Storage für die VMs) nur in diesem Netz zur Verfügung steht. Unter Linux würde ich das einfach in der /etc/exports eintragen...