[Kaufberatung] Homeserver (Passthrough einzelner SATA Ports möglich?)

[tjeh]

Servus ich bin gerade dabei mir einen neuen Homeserver zusammenzustellen, um mein fertig Nas (QNAP 431mini) abzulösen. Ziel ist es auf dem Server folgende Dienste laufen zu lassen:

• 2x Windows VM
• 1x Plex
• 2x Linux VM
• ... Spielraum für weiteres

Das Ganze soll unter ESXI laufen.

Die Beispiele aus dem NAS Guide April kenne ich schon und habe mir basierend auf den gelisteten Vorschlägen folgende Konfiguration überlegt:
https://geizhals.de/?cat=WL-671973

Ich denke gerade das Mainboard ASUS P10S-E/4L (90SB0520-M0UAY0) könnte eine gute Ergänzung für den NAS Thread sein, auf Grund seiner 4 Gbit Ports.

Nun stellt sich mir aber die Frage, ist es möglich 6 SATA Ports direkt an eine VM durchzureichen (VT-D, Passthrough) und die übrigen 2 SATA Ports für Esxi zu nutzen?

Endausbau für den Server soll mal 6 HDDs im Snapraid und 2 SSDs als Storage für ESXI sein.

 

[rayze]

PCIe Passthrough reicht den ganzen Controller durch. Dabei werden natürlich alle Ports an die VM durchgereicht. Das Mainboard ASUS P10S-E/4L hat 2 onBoard USB Ports welche für den ESXi genutzt werden können. Diese lassen sich Standardmäßig allerdings nicht als Datastore verwenden. Eine weitere unschöne Variante wäre RDM (Raw Device Mapping). Dabei lassen sich einzelne physische Disks in einer VM Mounten.

https://www.vmware.com/pdf/esx25_rawdevicemapping.pdf

 

[tjeh]

würde bedeuten ich müsste einen zusätzlichen Controller verbauen, um Esxi noch datastore als SSD bereit zu stellen.

Wäre es prinzipiell möglich eine SAN VM mit den 8 SATA Ports aufzusetzen und dann ESXI quasi ein Iscsi Target als datastore bereitzustellen?

 

[besterino]

Yep. Solltest nur einen guten USB Stick oder gleich eine USB SSD nehmen, wo dann neben ESXi auch die StorageVM liegt. Machen viele hier (ich auch) mit Solarish+NappIT.

 

[Holt]

Warum 4 Gbit Ports? Willst Du Teaming machen, dann brauchst Du auch einen großen Switch und trotzdem gewinnst Du nur bei Protokollen an Performance, die auch mehrere Verbindungen öffnen, denn eine Verbindung darf weiterhin nur über einen Port gehen. Wenn Du also wegen mehr Durchsatz mehr Ports willst, wäre 10GBASE-T die bessere, wenn auch noch teurere Wahl. Bei einem Mainboard welches dies gleich Onboard hat, ist der Aufpreis allerdings deutlich geringer als wenn man es über eine Karte nachrüstet.

 

[tjeh]

Yep. Solltest nur einen guten USB Stick oder gleich eine USB SSD nehmen, wo dann neben ESXi auch die StorageVM liegt. Machen viele hier (ich auch) mit Solarish+NappIT.

Würde hier nicht ein kleiner USB Stick reichen um ESX zu booten? Der datastorage würde ja dann durch die SAN VM bereitgestellt werden.

Die 4 Gbit Ports waren gedacht um ein paar VMs echte eigene Ports zu gegeben. Teaminternen ist bei mir aktuell keine Option aufgrund eben der Switches.

 

[rayze]

Nen kleiner USB Stick reicht für den ESXi. Da die meisten Daten beim Booten in den RAM geladen werden wird der Stick auch quasi nicht belastet. Was sich mir nur noch nicht ganz erschließt auf welchen Datastore du die "SAN VM" packen willst. Ist in deiner aktuellen Planung ja gar keiner vorhanden.

 

[tjeh]

Ja hier beißt sich die Katze in den Schwanz

Damit die anderen VMs den Storage der SAN VM nutzen können braucht diese ja selbst einen Datastore... Hierzu kann nicht einfach der USB Stick genutzt werden? Sprich nur gerade so viel Storage auf dem sick bereitstellen, damit die SAN VM starten/arbeiten kann. Dachte ich hätte gesehen, dass in ESXI auch ein USB als Datastore genutzt werden kann/darf? *vollkommenunwissend*

Probel hierbei ist dann wahrscheinlich, wenn der USB Stick abtaucht, ist der ESXI hin aber auch gleichzeitig der Datastore der SAN VM. kann man das irgendwie absichern?

 

[besterino]

Du kannst den USB-Stick auch parallel als Datastore nutzen, seit 6U2 recht einfach über den Webclient. Allerdings sollte es dann in der Tat ein "besserer" Stick sein, da eben je nach VM-OS dadrauf dann mehr geschrieben wird. "Absichern" kann man das zum Beispiel, indem man den USB-Stick nach Einrichtung klont und einen zweiten bzw. das Image irgendwo hin legt, wo man auch dran kommt wenn der Filer sich nicht mehr starten lässt. Je nach OS "findet" das dann ja auf Anhieb das RAID bzw. lässt sich ein Pool dann importieren.

Oder du nimmst als kombiniertes Boot- und StorageVM-Medium eben eine kleine SSD und hast zumindest nicht das Problem "zu vieler Schreibvorgänge" auf dem Medium.

 

[tjeh]

Vielen Dank, sehr gute Tipps.

Wie sieht es evtl mit diesem Mainboard ASRock Rack E3C236D4U aus wenn der M2 Slot ne SSD bekommt? Lässt sich diese dann als Datastore direkt in ESXI während die anderen SATA Ports an die SAN VM durchgereicht werden?

Damit wäre das USB Stick Datastorage Thema vom Tisch und vor allem auch noch ziemlich Performant (mit ner NVMe)

 

[besterino]

Da bin ich überfragt. Kenne mich mit m2 und NVMe mangels eigener Erfahrung damit nicht aus. Aber: soweit ich weiss liegen m2 und die sonstigen SATA-Schnittstellen bisweilen auf dem gleichen "Gerät" (besonders deutlich wenn eine SATA-Schnittstelle weniger zur Verfügung steht, sobald eine m2 SSD gesteckt ist) - will heißen Du kannst dann eben nicht wie gewünscht zwischen Passhtrough und Nicht-Passthrough trennen.

 

[Holt]

Wie sieht es evtl mit diesem Mainboard ASRock Rack E3C236D4U aus wenn der M2 Slot ne SSD bekommt? Lässt sich diese dann als Datastore direkt in ESXI während die anderen SATA Ports an die SAN VM durchgereicht werden?

Das müsste dann aber eine M.2 PCIe SSD sein, denn einmal steht bei Geizhals dort nur was von PCIe Anbindung, wenn das stimmt (im Zweifel immer vor dem Kauf das Handbuch zum Board durchlesen!!!), dann funktioniert eine SATA SSD dort nicht und wenn dort auch SATA funktioniert, dann wird mindestens einer der anderen SATA Ports deaktiviert, wenn dort eine SSD drin steckt, was aber auch bei einer PCIe SSD im M.2 Slot passieren könnte, je nachdem wie die HSIOs im Chipsatz genutzt werden. Lies Dir halt vorher das Handbuch zum Board durch, denn meist steht nur dort drin, was sich gegenseitig ausschließt.

 

[oelsi]

Mein Fujitsu D3417-B, das ebenfalls den C236 Chipsatz besitzt, verfügt über einen M.2 Slot, der über 4 dedizierte PCIe-Lanes an den Chipsatz angebunden ist. Eine darin installierte NVMe PCIe SSD erscheint (zumindest unter Linux, mit ESXi habe ich keine Erfahrung) als separates PCIe-Device in einer eigenen IOMMU. Der Onboard-SATA-Controller läßt sich damit problemlos unabhängig von meiner Samsung 950 Pro an eine VM per PCIe Passthrough durchreichen. Ob das jedoch auch beim E3C236D4U so problemlos funktioniert, wird man abschließend wohl nur durch Ausprobieren oder eine Support-Anfrage rausfinden, denn bei dem Asrock-Board ist der M.2 Slot über einen "Quick Switch", der die Lanes zwischen M.2 und einem der PCIe-Slots umschaltet, angebunden, und hängt zusätzlich noch am Port 0 des SATA-Controllers, falls eine SATA-SSD verbaut ist. Die Chance, daß es klappt, schätze ich allerdings als gut ein.

Leicht OT, aber in dem Zusammenhang noch erwähnenswert ist, daß Intel bei den Skylake-Chipsätzen den SATA-Controller endlich mal nicht als Multifunction-Device im Verbund mit LPC und SMBus-Controller ausführt, sondern als komplett separates einzelnes PCIe-Device. Somit eignen sich Skylake SATA Controller prima für PCIe-Passthrough, da man keine anderen gekoppelten Multifunction-Devices treibermäßig von der IOMMU isolieren muß.

 

[tjeh]

@oelsi: cheers die info war Gold wert. Genau diesen Setup hatte ich im Kopf.

@Holt: ja ein SATA Port geht quasi flöten, aber dass passt mir bei meinem Setup eh

 

[dlfxhappy]

Hat es inzwischen jemand geschafft den SATA-Conroller oder eine M.2 NVMe SSD getrennt voneinander durchzureichen? Ich würde gerne an einem Z270 den 6 Port SATA Controller an eine VM durchreichen, während der ESXI (6.5) Datastore mit besagter VM (und anderen) auf der M.2 SSD liegt.
Damit könnte man auf den USB basierten Datastore verzichten

Bei einem Test mit einem älteren Intel NUC der vierten Generation und einer M.2 SATA(!) SSD hat es leider nicht geklappt :/

 

[tjeh]

Ja nvme bei ESXI zu belassen und sata durchreichen geht. Kann nur sein dass man im ESXI den SATA Port per config Eintrag durchreichen muss.

 

[Digi-Quick]

Aber sicherlich nur wenn, die NVMe als PCIe Dvive läuft!

 

[pumuckel]

Aber sicherlich nur wenn, die NVMe als PCIe Dvive läuft!

Jede NVMe ist PCIe

... geschrieben von unterwegs (Handy)

 

[dlfxhappy]

Danke für eure Antworten. Das hat mir sehr geholfen und es funktioniert mittlerweile auch ganz fluffig (sofern man vorher die Config anpasst). Vielleicht noch eine Info für jene, die (wie ich) per Google auf diesen Thread hier kamen: Es funktioniert auch bereits mit dem Intel NUCs der vierten Generation solange die M.2 SSD via NVMe (und nicht SATA) angebunden ist.

Zwei Follow-Up Fragen:

1) Interessieren würde mich, ob ein individueller Passthrough auch mit den neue Z270/H270 Boards mit DUAL M.2 (Key M) Anschlüssen funktioniert?
Bsp: ROG STRIX H270I
Könnte man hier den ESXI Datastore auf der primären M.2 (NVMe) belassen und die sekundäre M.2 (NVMe) beispielsweise an eine I/O-lastige VM durchreicht (zB Win10), während man den SATA Controller wiederum an eine andere VM (zB Freenas) abgibt? Hat jemand das bereits testen können?

2) Und die zweite Frage: Da es bei den SFF Boards oft an SATA-Controllern mangelt (bzw. PCIe-Anschlüssen für zusätzliche Controller) ist man leider auf den einen SATA-Controller der Intel Chipsätze beschränkt, falls der 16xPCIe Anschluss schon belegt ist. Jedoch verfügen viele der (mini-ITX) Boards über einen M.2 Key E 2230 Anschluss für WiFi-Karten. Da Key E auch über 2xPCIe angebunden ist, hab ich mich gefragt, ob es nicht möglich wäre dort einen weiteren SATA-Controller einzubauen.
Das einzige, das ich bisher zu diesem Zweck finden konnte, war ein Adapter von m.2 Key E 2230 auf mini PCIe.
Bsp: Delock Produkte Delock Konverter M.2 Key A+E Stecker > 1 x Mini PCIe Slot half size / full size mit flexiblem Kabel
Für mini PCIe gibt es ja einige SATA-Karten mit Controller (Asmedia ASM1061) und zwei Anschlüssen.
Bsp: Delock Produkte Delock Mini PCIe I/O PCIe full size 2 x SATA 6 Gb/s
Angeblich funktioniert der Controller (Asmedia ASM1061) auf Umwegen mit ESXI 6.
Vgl: ... ASMedia SATA ports and Realtek NICs still seem to be working (but unsupported) ...

Das wären ins Summe 50€ für einen improvisierten Key-E zu 2xSATA 6Gb/s Adapter, was gar nicht mal so schlecht wäre.. und wenn Szenario 1) via DUAL m.2 Key M ebenfalls möglich ist, hätte man auf eine mini-ITX Board 4 individuelle Storage-Controller für Passthrough ... ich kriege schon feuchte Augen.. ( ᐛ )و

Hat jemand schon Erfahrungen mit solch einem Konstrukt gesammelt und/oder kann ad-hoc sagen, ob das eine Option wäre um mehr Flexibilität beim Passthrough zu gewinnen?

Klingt zwar alles nach "von hinten durch die Brust ins Auge", aber mini-ITX ist eine Anforderung und da ich aktuell Datenträger per Netzwerkfilesystem (NFS,SMB) an die jeweiligen VMs verteile, verliere dabei aber grob 50% Geschwindigkeit durch Netzwerkprotokoll-Overhead (ohne extra Transportverschlüsselung) ggü. einer SATA-Direktanbindung und gelegentlich gibt's irgendwo einen Überlauf und eine Platte verabschiedet sich aus den SMB-Shares. Zugegeben, die internen USB3.0-Header am Mainboard+USB-SATA Adapter ließen sich ggf. auch dafür missbrauchen, aber dann kann man sich wieder zum Thema HDD Spin-Down totgoogeln und hdparm/sdparm funktionieren nicht.

 

[Gohst_oc]

Es gibt übrigens auch Mini-PCIE zu PCIE Adpater.
Ich habe selbst solche. Du kannst also M.2 zu MPCIE und dann zu PCIE machen und einen richtigen SATA/SAS Controller verbauen.
Obs dann wirklich läuft, das ist nicht gesichert. Mach dir auch Gedanken um die Stromversorgung.

Bin mir zwar nicht sicher, aber vermutlich darf die Karte weniger Strom verbrauchen.

 

[pumuckel]

es soll tatsächlich auch geeignete Boards geben, die von Sich aus ausreichend PCIe Slots haben, welche man für günstig Geld mit PCIE m2 adaptern bestücken kann ... alternativ auch Boards die schon einen LSI Controller drauf haben

.... aber ja, man kanns auch kompliziert machen

Auch ist einzelport "passthrue" in z.B. Proxmox und WS möglich (also wirkliche einzelne SSDs/HDDs

ganz zu schweigen von dazu gedachten:

Supermicro X11SSL-CF retail Preisvergleich Geizhals Deutschland
Supermicro X11SSH-CTF retail Preisvergleich Geizhals Deutschland
Supermicro X10SDV-TP8F retail Preisvergleich Geizhals Deutschland

 

[dlfxhappy]

Es gibt übrigens auch Mini-PCIE zu PCIE Adpater [...]

Das ist natürlich noch interessanter, dass man entsprechend hochwertige PCIe Controllerkarten verwenden kann. Ich habe gerade nachgelesen, dass sie Adapter von M.2 Key E nach mini-PCIe nur bis PCIe 1.1 Specs laufen (vgl.), d.h. max 250MB/s Datenrate und 75Watt, richtig? Ich denke mehr als 75Watt sollte kaum ein Controller ziehen.
Da fällt mir gerade ein... durch mPCIe > PCIe Adapter müssten sich sogar Grafikkarten (mit zusätzlichem Stromanschluss) verbauen lassen, oder? Ich glaube das wäre das erste mini-ITX Build mit zwei Grafikkarten.. (Stichwort: mini-ITX ESXI-Dual-Head Gamestream Machine )

es soll tatsächlich auch geeignete Boards geben, die von Sich aus ausreichend PCIe Slots haben [...]

Das stimmt natürlich, wäre aber auch eine geringere Herausforderung :P
Tatsächlich muss sich mein ESXI-Homelab in einem low-idle consumption (ca. 35Watt) mini-ITX Build reinquetschen (in ein Thermaltake Suppressor F1) und der PCIe Slot ist mit einer GTX1080 (für Gamestream) belegt. Da ist leider nicht viel Luft (bzw. PCIe Anschlüsse), um günstige PCIe>M.2 Key M Karten einzubauen. µATX & ATX Gehäuse hätten bei mir zuhause einen zu schlechten WAF
Außerdem ist es ja auch irgendwie spannend, was man aus den diverse Anschlüssen bei SFF Boards rauskitzeln kann. Das ROG STRIX H270I hat neben dem obligatorischen PCIe Anschluss noch 2x M.2 Key M + 1x M.2 Key E ... die wollen alle zweckentfremdet werden
Proxmox / QEMU als Alternative zu ESXI werde ich mir irgendwann auch mal anschauen müssen ^^ Ich hatte damals verglichen, wo das Verhältnis aus Aufwand und Dokumentation am besten erscheint. Da fiel die Wahl auf ESXI, wobei ich mich gerade bei den Themen Datastore-Verschlüsselung und VM-Backup nach einer potenteren (und kostenlosen) Linux Distribution sehne.

ONTOPIC:
---
Falls noch mal jemand zu den letzten beiden Preisfragen ein paar Erfahren hat:
1) Tauchen zwei via M.2 Key M angeschlossene NVMe SSDs (zB beim ROG STRIX H270I) als getrennte Devices in ESXI auf, sodass man sie individuell für ESXI einsetzen und die zweite dediziert an eine VM durchreichen kann?
2) Hat jemand schon mal einen M.2 Key E>mPCIe Adapter in freier Wildbahn gesehen und getestet?
Ich bin für jegliche Erfahrungsberichte dankbar

 

[pumuckel]

der WAF (Woman acceptance factor) eines

Fractal Design Arc Midi R2 mit Sichtfenster Preisvergleich Geizhals Deutschland
oder
Fractal Design Define R4 Black Pearl Preisvergleich Geizhals Deutschland
oder sogar eines
Fractal Design Node 804 mit Sichtfenster Preisvergleich Geizhals Deutschland

war hier zumindest immer sehr hoch

 

[besterino]

Mit mATX kann man jedenfalls schon deutlich mehr zusammenbasteln und zum Beispiel sowas hier finde ich "noch" ok (weniger Anschlüsse vorne wäre natürlich noch schicker):

Chieftec Bravo CS-03B-U3 schwarz, 300W SFX12V Preisvergleich Geizhals Deutschland

Oder halt in teurer und noch was schicker:

https://geizhals.de/lian-li-pc-v351b-schwarz-a406640.html?hloc=de&hloc=pl&hloc=uk