[Kaufberatung] ESXi ZFS Server

[haxon]

Hallo,

ich suche derzeit nach den besten Komponenten für einen ESXi-Server der gleichzeitig auch als Datenspeicher dienen soll, als Datengrab wollte ich mich einmal an ZFS versuchen.
Auch die TBS 6981 TV-Karte soll darin Platz finden, so weit ich gelesen habe, kann diese in einer VM betrieben werden... Hierfür sehe ich ein Windows 2012 Server OS mit DVBViewer oder (wie bisher) ein Debian Wheezy mit tvheadend vor.

In einem anderen Thread habe ich die Empfehlung gesehen das Mainboard X10SL7-F mit einem Xeon 1230v3 zu nehmen, welches auch IPMI-Funktionalität mitbringt (http://www.hardwareluxx.de/community/f101/esxi-hardware-auswaehlen-hilfe-gesucht-971806.html).

Auch würde ich hierfür ein neues Gehäuse anschaffen wollen, dass nach Möglichkeit viele Platten aufnehmen kann und diese in irgendeiner Form entlagert, damit die Vibrationen nicht auf das Gehäuse übertragen werden und insgesamt der Server leise bleibt. Was den Stromverbrauch angeht, sollte der Server auch im unteren Level angesiedelt sein, ich würde die meiste Zeit die Platten im Standby halten und nur nach Bedarf einschalten - sofern dies mit ZFS überhaupt gescheit möglich ist.

Wie würdet ihr für ein solches Setup vorgehen und welche Hardware würdet ihr einsetzen?

- Für das Solaris oder FreeNAS wird eine VM-Festplatte benötigt. Hierfür würde ich eine SSD vorsehen, auf der ebenfalls der ESXi installiert ist. Hier wäre allerdings die Frage, wie dies mit dem Board von oben umsetzbar wäre. Den LSI 2308 würde ich entsprechend an die VM durchreichen wollen.
- Die FreeNAS-VM würde entsprechend mittels dem integrierten NFS-support den Speicher (des ZFS) zurück an den ESXi geben, worauf dann die weiteren VMs abgelegt werden


Schon einmal vielen Dank im voraus.

 

[AliManali]

ich würde die meiste Zeit die Platten im Standby halten und nur nach Bedarf einschalten - sofern dies mit ZFS überhaupt gescheit möglich ist.

Die Frage ist eher, wie das mit dem ESXi gehen soll. Meines Wissens kann der ESXi nur Speedstep als Energiesparmassnahme. Meine Festplatten drehen immer, sogar wenn FreeNAS komplett aus ist

Hierfür würde ich eine SSD vorsehen, auf der ebenfalls der ESXi installiert ist.

Es wird empfohlen, ESXi auf einem USB Stick zu installieren. War ich eben noch froh drum, hatte ich das so gemacht!

Auch die TBS 6981 TV-Karte soll darin Platz finden, so weit ich gelesen habe, kann diese in einer VM betrieben werden... Hierfür sehe ich ein Windows 2012 Server OS mit DVBViewer oder (wie bisher) ein Debian Wheezy mit tvheadend vor.

Dafür brauchst Du zwingend VT-d. Genauso wie für Deinen Controller. Also abklären, ob das Board das unterstützt,...

Den LSI 2308 würde ich entsprechend an die VM durchreichen wollen.

Hab schon gelesen, dass das durchreichen von onboard Controllern problematisch sein kann. Bei mir, allerdings ein Consumer Board, gings nicht. Wieso willst Du den denn durchreichen?

 

[haxon]

Die Frage ist eher, wie das mit dem ESXi gehen soll. Meines Wissens kann der ESXi nur Speedstep als Energiesparmassnahme. Meine Festplatten drehen immer, sogar wenn FreeNAS komplett aus ist

Nun, das wäre z.B. ein Grund den Controller an die VM weiterzureichen, dann ist das auf jedenfall möglich, da man nur die Befehle an die Festplatten reichen muss - vorrausgesetzt Solaris oder Konsorten können damit gescheit umgehen.

Es wird empfohlen, ESXi auf einem USB Stick zu installieren. War ich eben noch froh drum, hatte ich das so gemacht!

Was gibt es denn für einen Vorteil, dies auf einen USB-Stick zu installieren?

Das kann ich aber gern so machen, allerdings würde ich dennoch irgendwo eine VM abspeichern müssen, wodrin die VM für das ZFS läuft. Evtl. würde hier eine USB3.0 Platte reichen? Oder ich muss einmal im Detail gucken ob man nur Teile des Controllers durchreichen kann, so dass 1-2 Sata-Ports für den ESXi direkt bleibt. Laut dem Datenblatt: Supermicro | Products | Motherboards | Xeon® Boards | X10SL7-F sieht das aber verdammt danach aus, dass dies möglich ist. Da sind SATA und SAS nämlich getrennt voneinander aufgezählt und nur die "blauen" Ports gehören zu dem LSI2308.

Dafür brauchst Du zwingend VT-d. Genauso wie für Deinen Controller. Also abklären, ob das Board das unterstützt,...

Der Xeon hat das. Das Board sollte da auch keine Probleme machen.

Hab schon gelesen, dass das durchreichen von onboard Controllern problematisch sein kann. Bei mir, allerdings ein Consumer Board, gings nicht. Wieso willst Du den denn durchreichen?

Also in diesem Forum: OpenSolaris derived ZFS NAS/ SAN (Nexenta*, OpenIndiana, Solaris Express) - Page 246 - [H]ard|Forum hat das der User m1abram in eine VM durchgereicht, wobei er den Controller auf eine IT-Rom umstellen musste. Dies wäre also auch möglich.

Das durchreichen hat den einfachen Grund, dass hierdurch das ZFS mit echten Festplatten arbeiten kann und nicht durch eine VM-Container Schicht muss. Auch greifen die ESXi Storage Grenzen nicht.

Wie hast du denn deinen ESXi eingerichtet? Mit einem normalen RAID?


Was mich allerdings an dem vorgeschlagenen Mainboard noch etwas stört: Die nur geringe Anzahl an PCIe Slots. Falls ich dort doch noch einen Hardware-Controller oder andere Peripherie einbauen möchte, sind bereits beide Slots belegt - ein Upgrade ist dann nicht mehr möglich.

 

[AliManali]

Was gibt es denn für einen Vorteil, dies auf einen USB-Stick zu installieren?

Dann kanst Du ohne Probleme mal den ESXi neu aufsetzen, ohne dass der DS davon betroffen wäre.

Das kann ich aber gern so machen, allerdings würde ich dennoch irgendwo eine VM abspeichern müssen, wodrin die VM für das ZFS läuft. Evtl. würde hier eine USB3.0 Platte reichen?

Du hättest ja immer noch den SATA Controller, wenn Du den LSI 2308 durchreichen würdest. SSD wär nicht nötig, allerdings sind die mittlerweile ja recht günstig geworden. Für FreeNAS habe ich nur 8 Gbyte auf dem DS freigegeben. Mit USB als Datastore kenn ich mich nicht aus, denke aber, das ist nicht so ideal. Aber testen kannst Du es ja. USB 3 wird aber nur von bestimmten OS im ESXi unterstützt, ich achte immer darauf, nur USB 2 zu verwenden.

Oder ich muss einmal im Detail gucken ob man nur Teile des Controllers durchreichen kann, so dass 1-2 Sata-Ports für den ESXi direkt bleibt.

Also Teile des Controllers kannst Du sicher nicht durchreichen. Mal nicht richtig durchreichen per passthrough. Aber Du hast ja 2 Controller auf dem Board, so wie ich das verstanden habe. Den SATA von Chipsatz, und den LSI SAS Zusatzcontroller. Allenfalls kann man noch Festplatten per rdm durchreichen, hab ich aber noch nie gemacht.

Wie hast du denn deinen ESXi eingerichtet? Mit einem normalen RAID?

ESXi liegt bei mir auf einem USB Stick, die VMs sowie Daten liegen normal im DS an den onboard Controllern. Ohne RAID.

Was mich allerdings an dem vorgeschlagenen Mainboard noch etwas stört: Die nur geringe Anzahl an PCIe Slots. Falls ich dort doch noch einen Hardware-Controller oder andere Peripherie einbauen möchte, sind bereits beide Slots belegt - ein Upgrade ist dann nicht mehr möglich.

Das habe ich mir allerdings auch gedacht. Allenfalls ein USB TV Receiver nehmen?

Ansonsten sieht das Board fein aus, würd ich heute auch eher sowas nehmen, statt eines Consumer Board, so wie ich es habe. Allerdings steht es nicht auf der HCL.

Des weiteren würd ich Dir vor dem Kauf noch empfehlen, im deutschen vmware Forum mal Deine Config zu posten, da hats einige richtige Cracks in Sachen ESXi.