ESXi mit HBA ausstatten

[AliManali]

Hi

Ich habe zwei Filer auf dem ESXi. Daran hängen im Moment zwei 6 TB und eine 2 TB SATA Platte. Der SSD Datastore auf dem ESXi ist normal lokal, auch die Platten am Filer sind normale 5.5 TB vmdk. Filer sind zwei nas4free. Den SSD Datastore konnte ich jetzt sichern, und habe das Sicherungsverzeichnis bereits als NFS Share am ESXi eingehängt.

Nun möchte ich gerne den SSD SATA Datastore mit den VM's (2TB) auch per NFS zur Verfügung haben. Ausserdem habe ich gehört, dass man zfs unbedingt nativ machen sollte, sprich mit durchgereichtem HBA. Ist das so, oder kann man den filer auch mit einer vmdk füttern? Wenn ja, brauch ich eine Controllerkarte, die ich durchreichen kann. Welche wäre denn für einen aktuellen ESXi geeignet? RAID brauch ich nicht, es sollen einfach alle Daten per NFS verfügbar sein.

 

[besterino]

Moin.

Der ESXi braucht grds. mindestens einen lokalen Datenspeicher, um die "erste" VM dort abzulegen. Das heißt also, mindestens die Storage-VM, die den HBA durchgereicht bekommt, braucht ein Boot-Device in Form einer vmdk, die irgendwo auf dem ESXi lokal liegt. Seit ESXi 6.0 kann man dafür zur Not auch den USB-Stick (oder SD-Karte) nehmen, wenn groß genug. Allerdings taugen USB-Sticks nicht so richtig gut für viel Schreibleistung, wenn die Storage-VM also auch log-Dateien erzeugt oder Speicher swapped (sollte man aber ja eh vermeiden), kann's sein dass der Stick schnell in die Knie geht. Der m.E. elegantere Weg ist daher m.E. eine kleine SSD mit irgendwas zwischen 32 und 64GB, die eben am lokalen SATA-Controller hängt, der nicht durchgereicht wird.

Ansonsten ist der wohl gängige und problemloseste Weg immer noch mit einem (LSI/Avago/Broadcom) HBA. Selbst wenn die Controller-Karte theoretisch Raid kann, wird der für ZFS regelmäßig "dumm" geflashed, in den sogenannten IT modus, in dem der HBA keine eigene Logik mehr einsetzt und manche flashen dann auch noch das Bios des Controllers weg (braucht man eben auch nicht in diesem Szenario).

 

[AliManali]

Hi

Ja, danke! Ja, für die beiden Filer VM nehme ich dann natürlich eine kleine SSD am Chipsatzcontroller. Und die Datenplatte für den zweiten Filer hängt am Zusatzcontroller. So weit war ich schon.

Was wär denn ein möglicher Controller Typ? Ich habe da mal gelesen, dass es da günstige Gebrauchte gibt. Weil, ich habe nicht 500 Mücken für so eine Karte übrig. Ausserdem habe ich null Plan, welche genau. Wär schön, wenn man 6-8 SATA Platten anhängen könnte. Mit Kabeln für drei Platten.

 

[besterino]

Neu würde ich mal nach sowas schauen (aber da kennt sich z.B. gea noch besser aus): Storage Controller mit Chipsatz: Broadcom SAS2308/Broadcom SAS3008/Broadcom SAS3108/LSI SAS 2308/LSI SAS 3008/LSI SAS3108 Preisvergleich Geizhals Deutschland

Gebraucht ist z.B. ein Dell H310 quasi ein Klassiker: Dell Perc H310 SATA / SAS HBA Controller RAID 6Gbps PCIe x8 LSI 9240-8i 0HV52W | eBay

 

[Traumzauberbaum]

Hätte btw Ende der Woche einen abzugeben... Oder h200.



Gesendet von meinem XT1635-02 mit Tapatalk

 

[AliManali]

Hi

Wär denn das mit Kabel, und dem ganzen Klimbim? Ist der irgendwie geflasht? Ich habe da wie gesagt kein Plan, was da alles nötig ist. Wär das ein H310 oder ein H200? Kanst Du mir da noch ein paar Infos dazu geben? Würdest Du in die Schweiz verschicken?

 

[Traumzauberbaum]

H200 ist geflasht, h310 nicht. Ja, Kabel könnte ich abgeben.
Flashen kann ich auch noch machen. Schreib mir einfach Mal eine PN.

Gesendet von meinem XT1635-02 mit Tapatalk

 

[AliManali]

Hi

So wie es aussieht, kaufe ich die beiden HBA bei Traumzauberbaum.

Nun stellt sich die Frage, wo ich die beiden nas4free hin installiere. fdsonne meinte heute im ESXi Sammler, das könne man auch zusammen mit dem Host auf einem USB Stick machen. Allerdings sagte er es nicht zu mir, deshalb frage ich hier nochmals. Erst dachte ich, ich kauf mir dazu noch ne kleine SSD...

Wär der geeignet?:

Sandisk Ultra Flair (64GB, USB 3.0) - USB Speicher - digitec


So wie ich das verstanden habe, wird da ja nicht viel auf den Stick geschrieben beim nas4free. RAID habe ich nicht vor, die Platten werden einfach normal flat zur Verfügung gestellt.

Die beiden Controller vom Traumzauberbaum. Muss ich die flashen zum durchreichen? Und da kann man zwei Sachen flashen? BIOS und IT Modus? Oder wie läuft das?

 

[gea]

Was ich nicht verstehe: 2 x Storage VM?
Warum das. Bis 8 Platten reicht ja ein Controller.

Ansonsten: Einfach eine kleine Sata SSD nehmen (ab 60GB), darauf ESXi und die Storage VM.
Das ist die billigste und zuverlässigste Methode. USB ist komplizierter, siehe ESXI / Napp-IT All In One with USB Datastore | ServeTheHome and ServeThe.Biz Forums

zum Flashen
Bios ist egal, das braucht man nur zum Booten. Als Firmware empfiehlt sich IT. Die stellt kein Hardware Raid zur Verfügung und ist ideal für Software Raid wie ZFS.

 

[AliManali]

Hi

Ich kaufe den zweiten Controller auf Ersatz. Ein nas4free ist mein NAS für LAN, dort laufen dann 1 SSD für die VM's, sowie die zwei Festplatten für Datengrab. Das andere nas4free Storage lasse ich dann am Marvel Zusatzcontroller vom Board laufen. Die Platte bleibt dann wohl lokaler Storage, sprich eine vmdk, die an dem zweiten Filer hängt. Das zweite NAS hängt an 5 verschiedenen NIC's (z.T. auch potenziell unsichere Netze), das ist nur eine SMB Zwischenablage für verschiedene vLAN's.

Ich weiss, das mit den mehreren vLAN's könnte man auch mit einem einzelnen Filer realisieren. Das wär aber super kompliziert mit meinen drei Firewalls, deshalb habe ich die Lösung mit zwei nas4free. Das läuft ja jetzt schon super, allerdings momentan halt noch über vmdk's.

 

[AliManali]

Hi

Ich habe nochmals eine Frage: Wenn ich den HBA durchgereicht habe, sehe ich das BIOS von der Karte dann in der VM? Sprich, kann ich umflashen von der VM aus? Oder kann ich das flashen nur lokal machen?

Weil ich betreibe den Server Headless (ohne GPU), im Moment.

 

[Trambahner]

Ich hab diesbezüglich keine Erfahrung, aber mein Bauch sagt "Flashen immer direkt am Blech", da beim Flashen ja die Kartenfirmware gelöscht wird, die aber wahrscheinlich benötigt wird, damit der ESXI sie erkennt und durchreichen kann. Vielleicht reisst das ja auch den ESXI in einen PSOD, würd mich auch nicht wundern.
Ich würde das nicht riskieren, wenn es nicht irgendwo offiziell vom Hersteller als ok spezifiziert wurde.

 

[AliManali]

ok. Ja Danke!

Ich habe eben Mal das Mainboard in Augenschein genommen. Da passen noch zwei 16x Karten rein. Ich mache dann im obersten Slot den HBA, und im mittleren Slot halt die GPU rein fürs flashen. Dann werden wohl die beiden Karten mit 8x angeschlossen. Ich denke, das sollte dann gehen.