Neukonfiguration des Homelab Setup (Proxmox/Nappit)

[wenzilinho]

Habe ich nun etwas vergessen, was vielleicht noch wichtig sein könnte? Ich müsste doch nach dem Einbau einfach ein ESXi auf der NVMe platzieren können, und dort ebenfalls später die VMs ablegen. Außerdem kann ich den Storage dann über Napp-it an die VMs weiterreichen per SMB/NFS/iSCSI(nur bedingt) usw.

Bedenke, dass du mit nur einer NVMe keine Redundanz hast und deine VMs nicht von ZFS profitieren. Wenn Redundanz nicht so wichtig ist und du immer aktuelle Backups vorhalten kannst, reicht eine einzige NVMe vielleicht.

Normalerweise hast du einen USB Stick für ESXi, eine kleine SSD für Napp-it. An Napp-it dann per HBA die HDDs in einem Pool für Daten und die SSDs in einem weiteren Pool für die VMs. Den SSD-Pool gibst du per NFS zurück an ESXi.

 

[MrDeluxe]

Hallo,

zu deiner Anfangsfrage (ich habe nicht den gesamten Thread durchgelesen). Du kannst auch einen HBA (z.B. H310) in IT-Mode flashen und die HDDs dann der NAS-VM durchschleifen. Ich habe das mit Proxmox+FreeNAS gelöst und bin zufrieden.

Siehe Signatur meines Vorredners: ESXI-01: Dell T20 | Xeon E3-1225 v3 | 32GB DDR3 | HP NC360T | Dell H310 (IT-Mode) | 2x 240GB SSD @ ZFS R1 (VMs) | ESXI 6.7u1 | Main

Den T20, HPNC360T und H310 hab ich auch und sind gute Produkte, läuft aber ein Proxmox drauf.

 

[hoyohayo]

Bedenke, dass du mit nur einer NVMe keine Redundanz hast und deine VMs nicht von ZFS profitieren. Wenn Redundanz nicht so wichtig ist und du immer aktuelle Backups vorhalten kannst, reicht eine einzige NVMe vielleicht.

Normalerweise hast du einen USB Stick für ESXi, eine kleine SSD für Napp-it. An Napp-it dann per HBA die HDDs in einem Pool für Daten und die SSDs in einem weiteren Pool für die VMs. Den SSD-Pool gibst du per NFS zurück an ESXi.

Danke für den wichtigen Hinweis, das habe ich tatsächlich nicht bedacht, dass die VMs dann nicht von ZFS profitieren. Dann sollte ich wohl noch 2 (Redundanz) kleine SSDs (32GB reichen da ja vollkommen aus oder?) anschaffen auf denen dann napp-it läuft. Dann ist die NVMe für die VMs, ESXi läuft auf einem USB und dann kann ich die HDDs per HBA an napp-it weitergeben.

Ich hab allerdings auch ein paar mal schon gelesen, dass der USBstick schneller Hops geht. Ist es dann sinnvoll noch eine Boot-SSD anzuschaffen für ESXi?

Du sprichst im OP an, dass du gerne Strom sparen würdest.

Wie sieht es denn mit unRAID aus?

Auch Danke für den Hinweis! Tatsächlich habe ich mich sehr wenig mit dem Thema unRAID beschäftigt. Ich sehe zwar den Vorteil von nur einer eingeschalteten HDD und dem Rest im Spindown, allerdings müsste ich mich dann nochmal damit beschäftigen was denn dort im Filesystem an Möglichkeiten zur Auswahl stehen.

Ist der H310 nicht gebrandet auf Dell Server? Könnte ich den überhaupt in meinem Server betreiben? Daher hatte ich mir den M1015 rausgesucht und gefragt ob das mit dem Flash auch auf meinem Board machbar ist.

 

[besterino]

Den Dell H310 kann man genauso auf Standard LSI flashen wie den IBM M1015.

 

[sch4kal]

Ich hab allerdings auch ein paar mal schon gelesen, dass der USBstick schneller Hops geht. Ist es dann sinnvoll noch eine Boot-SSD anzuschaffen für ESXi?

Ne, ESXi kannst auch auf einer billigen microSD installieren, da wird nicht drauf geschrieben und nur sehr selten gelesen.
Bei FreeNAS wäre das z.B. in der Defaultkonfiguration ein Problem, damit hab ich mir einen SLC USB-Stick zerstört, da /var und /tmp ebenfalls auf dem USB-Stick gemountet waren und die Partitionen sehr oft beschrieben werden (Temporäre Dateien, Logs, etc.), ESXi hingegen schreibt so gut wie nichts auf das Bootmedium, daher ist das kein Problem.

Auch Danke für den Hinweis! Tatsächlich habe ich mich sehr wenig mit dem Thema unRAID beschäftigt. Ich sehe zwar den Vorteil von nur einer eingeschalteten HDD und dem Rest im Spindown, allerdings müsste ich mich dann nochmal damit beschäftigen was denn dort im Filesystem an Möglichkeiten zur Auswahl stehen.

Wenn du etwas Ansprüche an Leistung hast würde ich dir raten auf unRAID zu verzichten, die Performance ist grottig im Vergleich zu ordentlichen Dateisystemen wie XFS/BTRFS/ZFS.
OmniOS + napp-it oder FreeNAS/XigmaNAS (ehemals NAS4Free) für gehobenere Ansprüche, Openmediavault für geringere Ansprüche.

Ist der H310 nicht gebrandet auf Dell Server? Könnte ich den überhaupt in meinem Server betreiben? Daher hatte ich mir den M1015 rausgesucht und gefragt ob das mit dem Flash auch auf meinem Board machbar ist.

Wie besterino schon geschrieben hat, nein sind nicht gebrandet auf Dell-Server. Andersrum wird eher ein Schuh draus, Dell-Server (bzw. Dell-Mainboards) laufen überwiegend mit Dell-Peripherie.
Lässt sich wie der M1015 leicht auf einen LSI9211-8i Crossflashen (IT-Mode für reinen HBA-Betrieb), ist meist günstiger zu haben als die IBM M1015.

 

[asche77]

Notfalls geht zB auch ein Dell H200, Fujitsu D2607 (der einer der vielen anderen LSI 2008 / 2308 / 3008 umgeflasht auf LSI IT Modus (günstiger aber gleichwertig zum IBM M1015). Siehe: LSI RAID Controller and HBA Complete Listing Plus OEM Models | ServeTheHome and ServeThe.Biz Forums

 

[hoyohayo]

Ne, ESXi kannst auch auf einer billigen microSD installieren, da wird nicht drauf geschrieben und nur sehr selten gelesen.
Bei FreeNAS wäre das z.B. in der Defaultkonfiguration ein Problem, damit hab ich mir einen SLC USB-Stick zerstört, da /var und /tmp ebenfalls auf dem USB-Stick gemountet waren und die Partitionen sehr oft beschrieben werden (Temporäre Dateien, Logs, etc.), ESXi hingegen schreibt so gut wie nichts auf das Bootmedium, daher ist das kein Problem.

Danke, das war mir nicht bewusst, dann ist das realisierbar. Ich denke auch, dass ich entweder auf FreeNAS mit Proxmox setzen werde oder eben die Variante die @gea so wundervoll entwickelt auf ESXi mit napp-it.

Nochmal zur Verifikation für ESXi/Napp-it:

• Ich flashe den H310 in den IT-Mode (Guide sollte ja auf fast jedem Rechner gehen anscheinend?).
• Ich packe auf einen USB-stick vSphere Hypervisor (ESXi)
• Die HDDs sind am H310 per SFF-8087 Breakout Kabel angebunden, die M2 wird SSD für VMs und OmniOS, eine neue Crucial BX500 wird SSD für napp-in-one.
• Ich richte mir Napp-it ein, einen ZFS pool für die M2, einen mit den HDDs und share beide pools per NFS an ESXi

Habe ich soweit alles richtig erfasst? Ich lese schon seit Tagen in der Bedienungsanleitung von @gea für diesen Fall aber manche Punkte sind mir einfach noch nicht klar geworden, wie z.B. der Punkt ob OmniOS auf der SSD für die VMs oder der SSD von Napp-it installiert wird. Außerdem frage ich mich, ob eine Optane eigentlich zwingend notwendig ist. Soweit für mich ersichtlich ist das doch eher ein "Nice-to-have" und anstelle dieser eine SSD zu wählen ist kein Beinbruch oder?

Danke jedenfalls schonmal für euren Input!

 

[gea]

Für ESXi braucht man ein Bootlaufwerk (USB oder Sata/SAS/NVMe) und etwas für lokale VMs (z.B. Storage VM).. Man kann das trennen, beides ist aber funktionell extrem unktitisch da schnell wiederhergestellt. Ich packe beides eigentlich immer auf eine SSD.

zur Optane
Alle Systeme, auch ZFS holen ihre Performance aus der intensiven Nutzung eines rambasierten Lese und Schreibcaches.Bei einem Crash beim Schreiben sind damit nicht nur Daten verloren sondern auch eventuell das Dateisystem einer VM beschädigt.Um diesen Schreibcache zu sichern hat ein Hardwareraid eine Batterie. Bei ZFS kann man sync aktivieren um quasi ohne Cache zu arbeiten. Das reduziert die Performance einer Platte auf 10% des Wertes mit Cache. Ein schnelles Slog sorgt dann für Performance.

SSDs sind mit sync schneller, brauchen zur Sicherheit aber Powerloss Protection. Eine Optane ab 800P ist nochmal 10x schneller als eine SSD und perfekt als Slog geeignet. Intel garantiert Powerloss Protection nur bei der 4800x, das Risiko bei den kleineren Optane ist aber gering.

 

[asche77]

So:

• Ich flashe den H310 in den IT-Mode -- OK
• Die HDDs sind am H310 per SFF-8087 Breakout Kabel angebunden
• EINE KLEINE GEBRAUCHTE ENTERPRISE SSD [INTEL DC S3...., SAMSUNG SM/PM863/863a, ...] FÜR ESXI HYPERVISOR UND VM SPEICHER FÜR OMNIOS (DAS MUSS ESXI JA FINDEN UND BOOTEN KÖNNEN!)
• MEHRERE GEBRAUCHTE ENTERPRISE SSD ALS VMSTORE VON OMNIOS VERWALTET; ENTWEDER ALS RAIDZ1 ODER RAIDZ5. DANN IST AUCH DER SYNC EINBRUCH NICHT SOO GROSS (DEUTLICH ABER NICHT AUF 10% DER LEISTUNG).
• Ich richte mir Napp-it ein, einen ZFS pool für die VMSTORE-SSDs, einen mit den HDDs und share beide pools per NFS an ESXi

Gebrauchte Enterprise SSDs --> Intel DC S3xx0, Samsung SM/PM 863/863a, ... (die anderen gibts meist eh nicht gebraucht)

 

[sch4kal]

z.B. der Punkt ob OmniOS auf der SSD für die VMs oder der SSD von Napp-it installiert wird.

Ich glaub du bringst da was durcheinander, napp-it ist eine webbasierte Verwaltungsoberfläche, kein Betriebssystem ! napp-it läuft z.B. mit OmniOS oder Solaris.

 

[hoyohayo]

Ich glaub du bringst da was durcheinander, napp-it ist eine webbasierte Verwaltungsoberfläche, kein Betriebssystem ! napp-it läuft z.B. mit OmniOS oder Solaris.

Tatsache das war natürlich ein riesiger Denkfehler...

Das bedeutet aber auch, dass meine NVMe quasi überflüssig ist.

Die könnte ich quasi gegen eine Optane 900p tauschen auf der ESXi und OmniOS laufen. Allerdings wäre dann noch ein Pool nötig (wie @asche77 meinte) mit dem ich Platz für die VMs zur Verfügung stelle. (Hierfür könnte die NVMe wieder herhalten denn dieser Pool sollte ja Geschwindigkeit tragen, wobei dann keine Redundanz gegeben wäre, was aber nicht so wichtig wäre für mich)

Hardwaretechnisch müsste ich sowohl die SSDs als auch die HDDs an den HBA hängen um ZFS für die VMs zu nutzen. Die SATA Plätze des MB blieben ungenutzt? Oder kann ich den Onboard Controller genauso an ESXi durchreichen wie den HBA? Da der M2 Slot der NVMe per PCIe angebunden ist, sollte ich den auch durchreichen können an die OmniOS VM richtig?

 

[gea]

Optane NVMe und Sata durchreichen macht gerne Probleme oder braucht kleine Tricks.
LSI HBA durchreichen geht praktisch immer, sofort und problemfrei.

Eine Optane als ESXi Bootlaufwerk, Datastore für die Storage VM und als vdisk für Slog/L2Arc geht problemfrei.

 

[dstockm]

Der Thread ist schon uralt, aber da ich fast die gleiche Hardware habe wollte ich hier der Vollständigkeit halber die bei mir funktionierende Variante erwähnen. Dem einen oder anderen Suchenden mag es evtl. helfen.

Das Fujitsu D3417-B2 hat ja einen NVMe und einen SATA-Controller. Insofern habe ich eine NVMe-SSD für die Installation von ESXi und den datastroe der Storage-VM.
Der SATA-Controller wird komplett an die VM durchgereicht. Mit ESXi 6.5 habe ich das mit ein wenig Fummelei hinbekommen (man muss irgend eine Datei editieren damit ESXi das Durchreichen anbietet. Mit ESXi 6.7 ist es mir leider nicht gelungen. Steht vielleicht sogar irgendwo hier im Forum - habe ich alles hier gelernt...

edit: Hier steht wie ich es gemacht habe: https://www.hardwareluxx.de/community/threads/nas-server-hardwareguide-2020.1262281/post-27438320

Das spart dann also den Strom für den zusätzlich HBA.

Unterm Strich gefällt mir das mit einem SAS-Controller aber besser. Mein Backupserver (bare metal) hat einen umgeflashten IBM M1015 (eBay 30€) für die Wechselplatten in einem Rackmax RM-324 (Wechselrahmen und SAS-Backplane - haben die als Restposten neu für 26€ rausgehauen) und das funktioniert sehr gut.

Ich überlege auch gerade ob ich bei dem ESXi-Server nicht mal auf ein Mainboard mit onboard SAS-Controller und 10G-LAN umsteige....

 

[gea]

Ich würde wohl in der Bucht nach "LSI IT Mode" suchen. Gibt genügend HBA die bereits geflasht sind (bei LSI 2008 oder 2307 sollte es Firmware P20.007 sein). Neben diesen 6G Modellen gibt es neuere 12G mit LSI 3008 chips die man nehmen sollte wenn man mehrere SSDs anschließen möchte.

 

[Ceiber3]

So ein LSI 2008 wer der D2607, habe mir vor ein paar Tagen ein gebrauchten Fujitsu Tower Server bestellt und die Karte ohne Probleme in IT Modus geflasht.
Was bringt der 12G für Vorteile bei SSD ? Mehr als 6G geht doch eh nicht durch ? Oder habe ich gerade nen Denkfehler ? Oder meinst du wenn man ein SAS Expander nutzen mag ?

 

[gea]

Eine normale Sata SSD kann ca 500 MByte/s. Darauf ist ein 6G Port ausgelegt.
Es gibt aber drei weitere Aspekte

1.) 12G SAS.
SSDs wie eine WD SS530 kann 12G und 1 GByte/s, im Dualport Betrieb das Doppelte.

2. Expander
Da werden 4 Ports gebündelt um den Expander anzubinden. Macht 2 Gbyte/s also ist 6G bei mehr als 4 SSDs am Expander der Flachenhals.

3. PCI-e Lanes.
Wenn man an einen 8 Port 6G HBA 8 SSDs anschließt, so könnten die 4 Gbyte/s liefern. Der PCI-e Bus v.2 wird da eventuell zum Flaschenhals. 12G HBAs sind da mit PCI-e v.3 auch schneller.