Stromsparender ESXi Homeserver mit VT-d Unterstützung

[Honker]

Hallo zusammen,

ich möchte mir zeitnah einen eigenen Server zu Hause aufbauen, wofür ich bei der Komponentenauswahl eure Unterstützung und Meinung benötige.

Zunächst einmal was das System alles Abdecken soll:

• Verschlüsselter Fileserver
• TV Server
• Heimatomatisierungs Server
• Asterisk
• OSX / iOS Update Server
• Proxy
• Firewall

Jetzt ergeben sich aus meiner Sicht 2 Möglichkeiten:

1. ESXi Server der alle Services in VMs beherbergt. Ebenfalls wird eine VM als Fileserver erstellt, in die ein SATA Controller durchgereicht wird. Dann kann das OS in der VM exklusiv auf die HDDs zugreifen.
2. Ich nutze einen ESXi Server für alle Dienste ausser dem Fileserver und baue mir ein NAS zusätzlich zusammen. Ggfs. HP Microserver oder was selbst zusammengebautes mit G530 o.ä.

Sofern der Fileserver in einer VM wirklich zufriedenstellend funktioniert, tendiere ich ganz stark zu Variante 1. Alleine durch Einsparen der Stromkosten von - sagen wir mal am Anfang - 3 Fetsplatten die in einen Spin Down im NAS gehen, lässt sich der Aufpreis zu einem Separaten NAS nicht rechtfertigen. Sofern also ein ausgelagertes NAS keine weiteren Vorteile bringt, spricht aus meiner Sicht nichts dagegen den Fileserver in eine VM zu verschieben. Sofern ich einen SATA Controlelr an die VM durchreiche, klappt dann darin auch ein Spin Down der Festplatten?

Ich habe mit dem Gedanken gespielt Nas4Free zu verwenden. Allerdings schreckt mich da die Erweiterbarkeit des RAIDs zurück. Es ist ja soweit nicht möglich eine weitere Festplatte einem Raidz-1 hinzuzufügen, sodass sie mit in den Verbund aufgenommen wird und die Parität über alle Platten gebildet wird. Deshalb hatte ich die Idee OpenMediaVault einzusetzen und das Debian System darunter das Raid zu erstellen. Somit sollte einer Erweiterbarkeit des Raid m.M.n. ncihts mehr im Wege stehen, oder?


Ich habe mir mal 2 Systeme durch Lesen hier im Forum zusammengestellt, wobei eine Variante normale Desktop Hardware einsetzt und die zweite Variante "Server-Hardware":

Variante 1:

• Mainboard: MSI Z77A-GD65139
  So wie ich das gesehen habe, unterstützt das Board trotz Z77 Chipsatz VT-d. Kann das jemand bestätigen? Einer der beiden SATA Controller sollte sich in eine VM durchreichen lassen oder?
• CPU: Intel Core i5-3470S, 4x 2.90GHz, boxed
• RAM: ADATA Premier DIMM Kit 16GB PC3-12800U CL11

Variante 2:

• Mainboard: Supermicro X9SCM-F retail, C204
• CPU: Intel Xeon E3-1225V2, 4x 3.20GHz
• RAM: Kingston ValueRAM DIMM 16GB PC3-12800R reg ECC CL11

Zusätzlich bei beiden Varianten:

• ESXi VM Platte: Western Digital AV-25 500GB
  Macht es Sinn, die 2,5" HDD in einem Raid 1 zu fahren, um so die Ausfallsicherheit zu erhöhen, oder ist das rausgeschmissenes Geld?
• NAS Festplatten: Western Digital Red 3000GB
• Netzteil: be quiet! Straight Power E9 400W ATX 2.3
  Sollte ausreichend sein m.M.n.. Oder gibt es ein Netzteil, was eher zu empfehlen ist?
• Gehäuse:Inter-Tech 4088, 4HE
  Da ich schon einen Serverschrank besitze, sollte der neue Server auch in diesen eingebaut werden. Ist das Gehäuse ok oder gibt es da was besseres für's Geld?
• USB Stick ESXi:Sharkoon Flexi-Drive EC4 8GB, USB 2.0
  Hatte geplant hiervon 2 Stück für den ESXi Server selbst zu holen. Sollte einer mal ausfallen habe ich ein Backup Stick und kann den Server dann davon starten. Sinnvoll oder klann ich mir die Kohle sparen?

Kosten (ohne Versandkosten):
Variante 1: ~948€
Variante 2: ~1032€

Prinzipiell, sollte ich lieber Server oder Desktop Hardware nehmen? Im Hinblick auf den Stromverbrauch denke ich, dass ich mit der Desktop Hardware besser wegkomme oder?

Könnt Ihr sonst was zu der Zusammenstellung der beiden Varianten sagen? Auf was für einen Idle Verbrauch sollte ich kommen?

Danke und Grüße,
Honker

 

[LichtiF]

zu Variante 2: 1225v2 ist mit Grafikeinheit brauchst du beim X9SCM-F nicht weil der eine eigene Grafikarte onboard hat. (1220v2 oder 1230v2 ist besser und günstiger)

Bei dem geringen Preisunterschied würde ich mich nicht mit der Desktophardware unter ESXi rumärgern

Das durchreichen der Hardware sollte bei VT-d gut funktionieren wobei ich schon Probleme hatte auf Desktopboards das halt zb dann noch andere Hardware mit durchgereicht wurde.

 

[Honker]

Ja so hatte ich auch gedacht. Ich weiß nur nicht, ob Variante 2 nicht deutlich mehr Strom braucht als Variante 1...

Weiß das jemand, bzw. kann das jemand abschätzen auf was man für Idle Werte kommt?

 

[hominidae]

Anmerkungen zur Variante 2:

1)...Sockel 1155 - auch aufm Server - nur unbuffered ECC (UDIMM), kein registered ECC, siehe auch: Supermicro | Products | Motherboards | Xeon® Boards | X9SCM-F
2) das X9SCM-F hat zwei unterschiedliche Netzwerk-Chips...ESXi unterstützt nur den einen davon...besser das X9SCM-iiF nehmen: Supermicro | Products | Motherboards | Xeon® Boards | X9SCM-IIF
3) vt-d auf den 1155er Boards funzt am stabilsten mit v1 (Sandy-Bridge) CPUs...beim durchreichen von mehr als einem Controller an dieselbe VM gibt es wohl Probleme mit v2 CPUs.
4) ...ich denke mit 16GB wirst Du bei der Liste der VMs evtl. nicht oder nur knapp hinkommen

 

[LichtiF]

oh habe ich doch glatt übersehen

2 x Kingston ValueRAM DIMM 8GB PC3-12800E ECC CL11 (DDR3-1600) (KVR16E11/8)

Das wäre der richtige Speicher bei einer Xeon V2

Es gehen beide Netzwerkchips für den zweiten gibt es Treiber für ESXi die man halt nachträglich installieren muss der Aufpreis zum IIF wäre mir das nicht wert

Ich glaube nicht das sich die beiden Varianten viel unterscheiden im IDLE.

 

[O3X]

Wie willst du deinen Server eigentlich verschlüsseln?
Openmediavault untertüztzt das nicht und NAS4Free nur bei UFS...

 

[hominidae]

Ja so hatte ich auch gedacht. Ich weiß nur nicht, ob Variante 2 nicht deutlich mehr Strom braucht als Variante 1...

Weiß das jemand, bzw. kann das jemand abschätzen auf was man für Idle Werte kommt?

Ich glaube nicht das sich die beiden Varianten viel unterscheiden im IDLE.

...das Server Board hat eine Netzwerkkarte mehr und eine GraKa an Board, die sich im IDLE nicht so abschaltet wird die eingebaute in der Desktop CPU.
Ich denlke der Server wird 5-8 Watt mehr brauchen als die Desktop Variante.

 

[Honker]

Anmerkungen zur Variante 2:
1)...Sockel 1155 - auch aufm Server - nur unbuffered ECC (UDIMM), kein registered ECC, siehe auch: Supermicro | Products | Motherboards | Xeon® Boards | X9SCM-F

4) ...ich denke mit 16GB wirst Du bei der Liste der VMs evtl. nicht oder nur knapp hinkommen

oh habe ich doch glatt übersehen

2 x Kingston ValueRAM DIMM 8GB PC3-12800E ECC CL11 (DDR3-1600) (KVR16E11/8)

Das wäre der richtige Speicher bei einer Xeon V2

Ok, dann würde ich wohl so einen nehmen. Denke ich starte einfach mal mit 16 GB und gucke wie weit ich damit komme. Ggfs. muss ich dann halt nochmal nachkaufen.

2) das X9SCM-F hat zwei unterschiedliche Netzwerk-Chips...ESXi unterstützt nur den einen davon...besser das X9SCM-iiF nehmen: Supermicro | Products | Motherboards | Xeon® Boards | X9SCM-IIF

Es gehen beide Netzwerkchips für den zweiten gibt es Treiber für ESXi die man halt nachträglich installieren muss der Aufpreis zum IIF wäre mir das nicht wert

Stimmt, das sind mir die 25€ auch nicht wert. Die Frage ist sowieso ob ich 2 Interface brauche...naja vielleicht für Link Aggregation zum Switch oder als Active/Standby...denke das würde aber erst später kommen...

3) vt-d auf den 1155er Boards funzt am stabilsten mit v1 (Sandy-Bridge) CPUs...beim durchreichen von mehr als einem Controller an dieselbe VM gibt es wohl Probleme mit v2 CPUs.

Hmm..das ist natürlich doof...gibt es da keine andere Lösung? Sandy Bridge wollte ich jetzt eigentlich nicht mehr einsetzen. Gibt es einen Thread dazu?

Ich glaube nicht das sich die beiden Varianten viel unterscheiden im IDLE.

...das Server Board hat eine Netzwerkkarte mehr und eine GraKa an Board, die sich im IDLE nicht so abschaltet wird die eingebaute in der Desktop CPU.
Ich denlke der Server wird 5-8 Watt mehr brauchen als die Desktop Variante.

Da stellt sich mir jetzt die Frage, ob sich die 8-16€ im Jahr lohnen... Ich hatte zudem noch eine VM vergessen, die ein Windows beinhalten soll und an die ein Touchscreen zur Heimautomatisierung angeschlossen werden soll. Da käme ich ja mit dem VGA Anschluss nicht unbedingt weit. Wäre für den Fall die Desktop Hardware aus Variante 1 besser oder eine zusätzliche Grafikkarte, die dann auch wieder Strom zieht?!

Edit:
Vielleicht wäre das Asus hier (http://geizhals.de/623306) das bessere Board für meinen Anwendungsfall? Dann kann ich den E3-1225V2 und dessen Grafik in der VM nutzen, es hat zudem einen DVI Anschluss und USB3.0 für externe Festplatten als Backup. Was haltet ihr von dem Board?

Wie willst du deinen Server eigentlich verschlüsseln?
Openmediavault untertüztzt das nicht und NAS4Free nur bei UFS...

Gute Frage, ich dachte OMV könnte das out of the box...da bin ich wohl mit den ganzen NAS Systemen durcheinander gekommen ;-) Ggfs. wird es dann doch Nas4Free. Da ich ja eh kein ZFS wegen dem unflexiblen Raid einsetzen wollte, sollte da ja Verschlüsselung klappen oder?

 

[ascoolasice79]

Ich setze selbiges Projekt derzeit auch um. Im Netz liest man hunderte solche, zumeist englischsprachiger, Geschichten. In USA sind Themen wie Energieeffizienz nicht so ein Thema wie hier, weswegen dort häufig deutlich potentere CPUs oder Mainboards eingesetzt werden. Das sollte hier definitiv eine Rolle spielen, aber es lohnt sich nicht sehr viel mehr an Geld für ein wenig mehr an Effizienz auszugeben.

Die Supermicro-Boards sind ohne jeden Zweifel die besten Server-Boards, welche von VMware sehr gut unterstützt werden. Aber es sind Server-Boards, welche für den Homeuser, der vielleicht dann doch die ein oder andere Anforderung hat, nicht immer die beste Wahl. Mir war z.B. wichtig, dass ich die interne Grafik und eine TV-Karte an die VM durchreichen kann, um meinen HTPC in die Rente zu schicken. Auch integriertes USB 3.0 war mir für mein Backup wichtig. Sockel 1155 Dekstop-Boards, welche VT-d unterstützen, sind jedoch eine Seltenheit. Asrock ist hier vorne mit dabei; Dein ausgesuchtes MSI ebenfalls.

Der größtes Knackpunkt an Deinem System, ganz egal ob Desktop oder Server-Board, ist Dein Storage. Bei anfangs drei Platten hört sich das verdächtig nach Raid5 mit dem onboard SATA-Controller an?! Damit wirst Du aber keine sehr gute Performance erreichen, weder beim Durchsatz noch bei den IOs. Ich empfehle Dir einen vollwertigen RAID-Controller zu besorgen (es gibt umgelabelte LSI-Controller von IBM und einen Thread dazu hier im Forum) und mind. vier Festplatten für ein RAID10. Zudem solltest Du die 50€ mehr in zusätzliche 16GB RAM investieren. Zudem habe ich bereits mehrfach gelesen, dass der ESX den onboard SATA-Controller nicht sonderlich mag. Ich habe das aber nie getestet, da ich einen RAID-Controller verwende.

Wenn Du planst Firewall/Telefonanlage und Co in das System zu packen, dann würden auch mehr NIC Sinn machen, um die Bereiche sauber voneinander zu trennen.

Das Ivy-Bridge beim durchreichen von mehr als einem Controller an eine VM Probleme machen soll, höre ich zum ersten Mal, was nicht heißen soll, dass es nicht sein kann. Soweit bin ich bei mir noch nicht ;-)

 

[hominidae]

Hmm..das ist natürlich doof...gibt es da keine andere Lösung? Sandy Bridge wollte ich jetzt eigentlich nicht mehr einsetzen. Gibt es einen Thread dazu?

Ja, hier zB: 3 M1015's in ESXi not showing all drives in unRAID
Das Problem ist nicht, das ESXi die Karten nicht erkennt, oder dass sie nicht durchgeriecht werden können....das Problem ist wenn mehr als zwei Karten an die selbe VM gehen.
Im Hardforum gibt es auch was dazu...finde aber gerade den Link nicht.

Da stellt sich mir jetzt die Frage, ob sich die 8-16€ im Jahr lohnen... Ich hatte zudem noch eine VM vergessen, die ein Windows beinhalten soll und an die ein Touchscreen zur Heimautomatisierung angeschlossen werden soll. Da käme ich ja mit dem VGA Anschluss nicht unbedingt weit. Wäre für den Fall die Desktop Hardware aus Variante 1 besser oder eine zusätzliche Grafikkarte, die dann auch wieder Strom zieht?!

Edit:
Vielleicht wäre das Asus hier (ASUS P8B WS, Intel C206 (B3) (Sockel-1155, dual PC3-10667U DDR3) (90-MSVDI0-G0UAY00Z) Preisvergleich | Geizhals Deutschland) das bessere Board für meinen Anwendungsfall? Dann kann ich den E3-1225V2 und dessen Grafik in der VM nutzen, es hat zudem einen DVI Anschluss und USB3.0 für externe Festplatten als Backup. Was haltet ihr von dem Board?

Dann lieber eines mit C216 Chipset, dass die IGP wohl besser unterstüzt, hier: ASUS P8C WS, C216 (Sockel-1155, dual PC3-12800U DDR3) (90-MSVE30-G0EAY0YZ) Preisvergleich | Geizhals Deutschland
Review hier: ASUS P8C WS Review - C216 Based Workstation Motherboard - ServeTheHomeServeTheHome – Server and Workstation Reviews
Ich würde, wenn das Desktop Board gewinnt, auf jeden Fall das ECC-Mem nehmen, wenn das vom Board auch unterstützt wird....ich sehe für ESXi aber keinen Grund ein Desktop Board zu nehmen.
Desktop VMs werden da über RDP/VNC angesteuert und das funzt super (man braucht halt einen Thin-Client o.ä. (ein Android Tablet für Deinen Case vielleicht?))
Ich würde eine Box die als Server läuft/genuzt wird auch immer als Server aufbauen....da bin ich evtl eher konservati eingestellt. Die SM Boards sind Klasse, wenn man nix fertiges von HP oder IBM kaufen will/kann.

In dem Setup für Touch musst Du auch noch den USB durchreichen..
In einem Server Board wirst Du evtl keinen vollwertigen x16er Slot finden...ich habe in meinem X8SIL-F eine "Professional Graka" mit PCIex1 drin...funzt, aber man muss die interne Graka deaktivieren. Nachteil: KVM-over-IP bei IPMI fällt dann weg.
Ob das Passthrough für die GraKa überhaupt geht, ist immer ein Risiko, weil nicht offiziell supported. Immer im Netz gucken, ob Du eine bestätigte Konfig (mobo, CPU und GraKa) findest.
IMHO hast Du die besten Chancen mit einer ATI....ob man die interne der CPU durchreichen kann?...ich glaube nicht.
Wenn es nur für Home-Automation ist, reicht die kleine GraKa des IPMI vom SM-Board....ich habe die mal "versehentlich" durchgereicht, weil ich den Controller im PCI-Slot meines X8SIL-F in der Win-VM brauchte....die interne GraKa hing an gleichen PCI(e)-Switch und wurde deswegen mit durchgereicht...hat aber geklappt....Windows Treiber konnte ich auch installieren...ist aber eben nix für Zocker/Gamer.

 

[Honker]

Ich setze selbiges Projekt derzeit auch um. Im Netz liest man hunderte solche, zumeist englischsprachiger, Geschichten. In USA sind Themen wie Energieeffizienz nicht so ein Thema wie hier, weswegen dort häufig deutlich potentere CPUs oder Mainboards eingesetzt werden. Das sollte hier definitiv eine Rolle spielen, aber es lohnt sich nicht sehr viel mehr an Geld für ein wenig mehr an Effizienz auszugeben.

Das ist mir bewusst. Genau deshalb habe ich bei der Desktop Variante auch keinen besonders Stromsparenden i5 genommen ;-)

Die Supermicro-Boards sind ohne jeden Zweifel die besten Server-Boards, welche von VMware sehr gut unterstützt werden. Aber es sind Server-Boards, welche für den Homeuser, der vielleicht dann doch die ein oder andere Anforderung hat, nicht immer die beste Wahl. Mir war z.B. wichtig, dass ich die interne Grafik und eine TV-Karte an die VM durchreichen kann, um meinen HTPC in die Rente zu schicken. Auch integriertes USB 3.0 war mir für mein Backup wichtig. Sockel 1155 Dekstop-Boards, welche VT-d unterstützen, sind jedoch eine Seltenheit. Asrock ist hier vorne mit dabei; Dein ausgesuchtes MSI ebenfalls.

Welche Hardware setzt du denn ein?

Der größtes Knackpunkt an Deinem System, ganz egal ob Desktop oder Server-Board, ist Dein Storage. Bei anfangs drei Platten hört sich das verdächtig nach Raid5 mit dem onboard SATA-Controller an?! Damit wirst Du aber keine sehr gute Performance erreichen, weder beim Durchsatz noch bei den IOs. Ich empfehle Dir einen vollwertigen RAID-Controller zu besorgen (es gibt umgelabelte LSI-Controller von IBM und einen Thread dazu hier im Forum) und mind. vier Festplatten für ein RAID10. Zudem solltest Du die 50€ mehr in zusätzliche 16GB RAM investieren. Zudem habe ich bereits mehrfach gelesen, dass der ESX den onboard SATA-Controller nicht sonderlich mag. Ich habe das aber nie getestet, da ich einen RAID-Controller verwende.

Genau das war der Plan. mir war allerdings nicht bewusst, das die Performance so schlecht ist und der SATA Controller nicht vernünftig durchgereicht werden kann. Der IMB Controller habe ich auch schon gesehen gehabt. Gibt es so für 120€ im Internet meine ich. Denke den würde ich dann nehmen, der Aufpreis macht den Kohl dann auch nicht mehr fett ;-)

Wenn Du planst Firewall/Telefonanlage und Co in das System zu packen, dann würden auch mehr NIC Sinn machen, um die Bereiche sauber voneinander zu trennen.

Ja stimmt. Allerdings habe ich mir bereits ein Netzdesign aufgestellt, in dem ich ein zweistufiges FW Konzept angedacht hatte. Die erste FW wird auf einem Alix Board installiert und hat 3 interface in die einzelnen Zonen. Die zweite FW die nciht mehr direkt im Internet steht soll auf den ESX Server und trennt dann die "private DMZ" von meinem Client/Server Netz. Habe das Konzept im Moment nur auf Papier, wenn ich mal Zeit finde kann ich hier aber gerne mal ein Visio Bildchen anhängen

---------- Post added at 13:28 ---------- Previous post was at 13:04 ----------

Ja, hier zB: 3 M1015's in ESXi not showing all drives in unRAID
Das Problem ist nicht, das ESXi die Karten nicht erkennt, oder dass sie nicht durchgeriecht werden können....das Problem ist wenn mehr als zwei Karten an die selbe VM gehen.
Im Hardforum gibt es auch was dazu...finde aber gerade den Link nicht.

Ok, das ist natürlich schlecht. Muss ich mich mal einlesen. Eine andere Möglichkeit als ein Sandy Bridge Prozessor zu nehmen gibt es nicht?

Dann lieber eines mit C216 Chipset, dass die IGP wohl besser unterstüzt, hier: ASUS P8C WS, C216 (Sockel-1155, dual PC3-12800U DDR3) (90-MSVE30-G0EAY0YZ) Preisvergleich | Geizhals Deutschland
Review hier: ASUS P8C WS Review - C216 Based Workstation Motherboard - ServeTheHomeServeTheHome – Server and Workstation Reviews
Ich würde, wenn das Desktop Board gewinnt, auf jeden Fall das ECC-Mem nehmen, wenn das vom Board auch unterstützt wird....ich sehe für ESXi aber keinen Grund ein Desktop Board zu nehmen.
Desktop VMs werden da über RDP/VNC angesteuert und das funzt super (man braucht halt einen Thin-Client o.ä. (ein Android Tablet für Deinen Case vielleicht?))
Ich würde eine Box die als Server läuft/genuzt wird auch immer als Server aufbauen....da bin ich evtl eher konservati eingestellt. Die SM Boards sind Klasse, wenn man nix fertiges von HP oder IBM kaufen will/kann.

Das Board hatte ich mir auch schon angeguckt. Das scheint ja auch deutlich neuer zu sein als das ASUS P8B.

In dem Setup für Touch musst Du auch noch den USB durchreichen..
In einem Server Board wirst Du evtl keinen vollwertigen x16er Slot finden...ich habe in meinem X8SIL-F eine "Professional Graka" mit PCIex1 drin...funzt, aber man muss die interne Graka deaktivieren. Nachteil: KVM-over-IP bei IPMI fällt dann weg.
Ob das Passthrough für die GraKa überhaupt geht, ist immer ein Risiko, weil nicht offiziell supported. Immer im Netz gucken, ob Du eine bestätigte Konfig (mobo, CPU und GraKa) findest.
IMHO hast Du die besten Chancen mit einer ATI....ob man die interne der CPU durchreichen kann?...ich glaube nicht.
Wenn es nur für Home-Automation ist, reicht die kleine GraKa des IPMI vom SM-Board....ich habe die mal "versehentlich" durchgereicht, weil ich den Controller im PCI-Slot meines X8SIL-F in der Win-VM brauchte....die interne GraKa hing an gleichen PCI(e)-Switch und wurde deswegen mit durchgereicht...hat aber geklappt....Windows Treiber konnte ich auch installieren...ist aber eben nix für Zocker/Gamer.

Kann man denn die Graka auf dem Board deaktivieren und die IGU vom CPU nutzen? Ich hatte vor - sofern möglich - in der Heimautomatisierungs VM auch noch einen TV Client zu installieren, sodass an dem Touchscreen, der im Flur hängt und von der Küche eingesehen werden kann, ebenfalls TV läuft. Das wäre ja dann nur mit einer potenteren Graka möglich...

 

[ascoolasice79]

Welche Hardware setzt du denn ein?

Mainboard: Asrock Z77 Extreme6
CPU: Intel Core i7-3770T
Ram: 32GB Kingston Standard
LAN: Intel Ethernet I350-T4
Raid: Dell Perc H710P, ist ein umgelabelter LSI MegaRAID 9265-8i
2x Western Digital AV-GP 3000GB
2x Western Digital Caviar Green 3000GB
1x Plextor M5 Pro 256GB für Cachecade
1x Plextor M5 Pro 128GB für den ersten Datenspeicher

 

[Honker]

Was mir gerade so einfällt...

Wenn ich ein Raid Controller für ~120€ anschaffe, dann kommt die externe NAS Lösung vielleicht doch wieder ins Spiel oder? Für 120€ kann ich mir ja fast schon ein Board mit CPU und Ram kaufen mit dem Vorteil, dann das NAS per WoL zu betreiben. Oder wäre in solch einem NAS ebenfalls ein Raid Controller sinnvoll?

 

[hominidae]

Ok, das ist natürlich schlecht. Muss ich mich mal einlesen. Eine andere Möglichkeit als ein Sandy Bridge Prozessor zu nehmen gibt es nicht?

Evtl gibt es einen BIOS fix? Wenn Du nicht alle Karten an die gleiche VM durchreichen willst, scheint es aber keine oder weniger Probleme zu geben.
...oder auf einen 2011er umsteigen....aber teurer...hat aber auch noch mehr PCIe Steckplätze, Supermicro X9SRL-F retail, C602 (Sockel-2011, dual PC3-12800R reg ECC DDR3) (MBD-X9SRL-F-O) Preisvergleich | Geizhals Deutschland

Kann man denn die Graka auf dem Board deaktivieren und die IGU vom CPU nutzen? Ich hatte vor - sofern möglich - in der Heimautomatisierungs VM auch noch einen TV Client zu installieren, sodass an dem Touchscreen, der im Flur hängt und von der Küche eingesehen werden kann, ebenfalls TV läuft. Das wäre ja dann nur mit einer potenteren Graka möglich...

Ja, man kann diese kleine onbboard GraKa deaktivieren...oder halt das Board in Version ohne "-F" (IPMI) kaufen.
AFAIR wird aber bei einer CPU mit IGP die IGP immer abgeschaltet (ausser C216er Chipset).
Im Zweifel an den Support von SM eine Mail schreiben...die waren immer nett, kompetent und schnell...für "uns" ist der Distributor in den Niederlanden zuständig.

 

[Honker]

Gut, dann fasse ich nochmal zusammen:

• Mainboard: Asus P8C WA
• CPU: Intel Xeon E3-1225V2, 4x 3.20GHz
• RAM: Kingston ValueRAM DIMM Kit 16GB PC3-10667E ECC CL9
• Raid Controller: IBM M5014
• ESXi VM Platte: Western Digital AV-25 500GB
• NAS Festplatten: Western Digital Red 3000GB
• Netzteil: be quiet! Straight Power E9 400W ATX 2.3
• Gehäuse: Inter-Tech 4088, 4HE
• USB Stick ESXi: Sharkoon Flexi-Drive EC4 8GB, USB 2.0

Summe: 1188€

Passt das so? Ganz schön viel Kohle...frage mich ob weniger Leistung nicht auch ausreichen würde...weiß dann nur wieder nicht welche Komponenten

Zusätzlich bleiben noch folgende Fragen offen:
Macht es Sinn, die 2,5" HDD in einem Raid 1 zu fahren, um so die Ausfallsicherheit zu erhöhen, oder ist das rausgeschmissenes Geld?
Da der Raid Controller ja scheinbar Staggered Spin-up unterstützt, könnte ich ggfs. auch ein effizienteres Pico PSU nehmen oder?

Zweite alternative wäre wie gesagt Raid Controller sparen und das NAS extra aufbauen und bei nicht Verwendung ausschalten und per WoL wieder aufwecken. Ist das ggfs. die bessere Lösung als alles in einen Server zu bauen?

 

[LichtiF]

Welchen Raidcontroller willst du für ESXi benutzen ?

Willst du die VMs alle auf die 500GB Platte legen ?

 

[Honker]

Sehr gute Frage...mir ist jetzt erst selbst wieder eingefallen, dass der ESXi ja kein Software Raid unterstützt oder? Gut dann hat sie die Frage nach dem Raid 1 erledigt ;-)

Ja die VMs hatte ich geplant auf die 500GB 2,5" Platte zu legen....Einwände?

 

[LichtiF]

ja das geht schon ist halt die Frage wie viele VMs das sind und wie Festplattenlastig die sind weil eine 5400 ist halt nicht sehr schnell.

 

[ascoolasice79]

Zweite alternative wäre wie gesagt Raid Controller sparen und das NAS extra aufbauen und bei nicht Verwendung ausschalten und per WoL wieder aufwecken. Ist das ggfs. die bessere Lösung als alles in einen Server zu bauen?

Den ESX installierst Du auf einem USB-Stick. Das System bootet einmal und ist danach im RAM; manchmal greift er noch wegen logs auf den Stick zu, aber sonst nicht. Beim Storage gibts zwei Möglichkeiten:
1) Du erstellst das Datastore direkt in Deinem Raid-Verbund und kannst Dir da Deine VMs installieren bzw. auch eine große VM für das NAS machen.
oder
2) Du installierst auf einer extra Platte (oder besser SSD (64GB reichen)) ein Betriebssystem, an welches Du mit Passthrough den Raid-Controller weiterreichst. Dort stellst Du dann wiederrum dem ESX mit NFS oder iSCSI den Speicher zur Verfügung.

Ich bevorzuge 2) aus Performance-Gründen.

Nein, ein extra NAS ist nicht sinnvoll, zumindest nicht in den Ausmaßen, wie Du sie anstrebst. Es verbraucht natürlich etwas mehr Strom und bietet sehr viel weniger Leistung als der Raid-Controller. Raid ist in den günstigen NAS bis 400€ immer mit Software gelöst. Mit dem IBM hast Du einen sehr viel leistungsfähigeren Hardware-Raid-Controller.

 

[Honker]

Eigentlich wollte ich die 3 HDDs aus dem Array schlafen legen bei nicht Benutzung um Strom zu sparen. Deshalb halt die extra Platte für die VM's....

Denke eine SSD mit 120 GB sollte für die restlichen VM's reichen, allerdings hatte ich geplant auf die 2,5" auch noch die TV Aufnahmen und den Timeshift zu speichern....dies möchte ich ungerne auf der SSD machen, zumal sie dafür auch viel zu klein wäre...

Oder ich nehme eine SSD für die VM's und weise der TV Server VM einfach Speicherplatz aus dem RAID Verbund zu..allerdings würden die 3,5" Platten dann immer bei einer Aufnahme oder Live TV laufen...vielleicht ist es sinnvoll einfach nur eine 2,5" Platte für die TV Aufnahmen zu nehmen, bevor sie ins Array archiviert werden.

Das Asus Board macht mir noch ein bisschen Sorgen...glaube habe da noch was besseres gefunden: Supermicro X9SAE retail, C216 Was haltet ihr davon?

 

[sandreas]

Eine Low-Budget-Variante (keine richtigen Server-Komponenten, aber mit 2xLAN, VT-d, AES Instructions und allerhand Intel Schnick-Schnack):

Gehäuse: Chenbro ES34169 oder mit PCI-Slot: Eolize SVD-NC11-4
Board: Intel DQ77KB
Netzteil: Firstcom 130W
CPU: Intel Core i5 3470T
RAM: 16GB SO-DIMM (NON ECC)
SSD: Crucial M4 msata SSD 128GB

Kannst ja mal schauen ob SOHO-Hardware für dich auch was taugt, kommst jedenfalls deutlich günstiger damit weg..

 

[Honker]

Naja, aber spare ich dadurch wirklich Geld? Gut das Board ist 80€ günstiger, dafür ist das Gehäuse mit Netzteil aber einiges teurer...

Denke da fahre ich mit der Server Hardware besser oder?

Bzgl. Raid Controller:
Wenn ich den Controller an eine VM durchreiche, dann muss der MegaRAID Storage Manager im VM OS installiert werden und dann darüber das Raid eingerichtet werden?

Aktuell geplante Konfig:

• Mainboard: Supermicro X9SAE-V retail, C216 186,35€
• CPU: Intel Xeon E3-1225V2, 4x 3.20GHz 186,45€
• RAM: Kingston ValueRAM DIMM Kit 16GB PC3-10667E ECC CL9 106,44€
• Raid Controller: IBM M5014 119€
• ESXi VM Platte: Western Digital AV-25 500GB 49,23€
• NAS Festplatten: 3 x Western Digital Red 3000GB je 132,66€
• Netzteil: be quiet! Straight Power E9 400W ATX 2.3 60,14€
• Gehäuse: Inter-Tech 4088, 4HE 57,9€
• USB Stick ESXi: 2 x Sharkoon Flexi-Drive EC4 8GB, USB 2.0 je 6,10€

Summe: 1175,70€

Gibt es irgendwas wodran man noch sparen könnte? Kann ich mit der aktuellen Hardware alle meine Anforderungen umsetzen oder passt da irgendwas nicht zusammen, mal von dem VT-d Problem abgesehen.

 

[hominidae]

Eine SSD als Datastore für ESXi (für die VMs) ist sehr sinnvoll...120GB reichen gut aus, wenn man nicht zu viele snapshots macht.

Als NT lieber eines mit single Raid auf 12V nehmen, falls Du mal ein paar Platten mehr willst, zB eines von diesen: Produktvergleich Super Flower Golden Green Pro 400W ATX 2.3 (SF-400P14XE), Super Flower Golden Green Pro 450W ATX 2.3 (SF-450P14XE), Sea Sonic G-Series G-450 450W ATX 2.3 (SSR-450RM) | Geizhals Deutschland

Ich mag Supermicro Boards, bin nie damit reingefallen.
Da gibt es noch ne -V Version von: Produktvergleich Supermicro X9SAE-V retail, C216 (Sockel-1155, dual PC3-12800U DDR3) (MBD-X9SAE-V-O), Supermicro X9SAE retail, C216 (Sockel-1155, dual PC3-12800U DDR3) (MBD-X9SAE-O) | Geizhals Deutschland
Vergleiche mal die Slots (die Bilder im Portal sind falsch...auf den Herstellerlink gehen).
Was brauchst Du für Slots (grösse und speed) für Dein Setup...RAID, noch ne GraKa?, TV-Tuner

---------- Post added at 21:53 ---------- Previous post was at 21:44 ----------

...ah, sehe schon, Du hast das V-Modell gefunden.

...sparen kannst Du am Controller...für die drei Disks braucht es nicht wirklich ein HW-Raid. Was willst Du als OS nehmen? Nimm ein SW-Raid und einen preiswerten HBA.
BTW: Du brauchst für den Controller noch ein Kabel -> 8087 forward Breakout auf 4xSATA...sowas: LSI 3ware mini SAS x4 (SFF-8087) auf 4x SATA Kabel, 0.6m (CBL-SFF8087OCF-06M) Preisvergleich | Geizhals Deutschland

...Ja, wenn Du den Controller durchreichst, musst Du die Raid-Konfig vom OS in der VM aus machen. Du brauchst nicht unbedingt die Herstellersoftware, aber die Treiber im OS.

 

[Honker]

Hi,

sorry für das späte Melden. Habe mir den ZFS Thread komplett durchgelesen, das dauert ein wenig

Eine SSD als Datastore für ESXi (für die VMs) ist sehr sinnvoll...120GB reichen gut aus, wenn man nicht zu viele snapshots macht.

Ok, darüber denke ich nach. Ansonsten eine ganz kleine SSD für die ZFS VM und dann die anderen VM's auf ein ZFS Storage...2*2,5" im Raid 1 oder so wäre sinnvoll...wobei ich dann wahrscheinlich auch einfach eine größere SSD kaufen könnte und der TV-Server VM noch eine einzelne 2,5" HDD für die Aufnahmen zuweisen kann.

Ich mag Supermicro Boards, bin nie damit reingefallen.
Da gibt es noch ne -V Version von: Produktvergleich Supermicro X9SAE-V retail, C216 (Sockel-1155, dual PC3-12800U DDR3) (MBD-X9SAE-V-O), Supermicro X9SAE retail, C216 (Sockel-1155, dual PC3-12800U DDR3) (MBD-X9SAE-O) | Geizhals Deutschland
Vergleiche mal die Slots (die Bilder im Portal sind falsch...auf den Herstellerlink gehen).
Was brauchst Du für Slots (grösse und speed) für Dein Setup...RAID, noch ne GraKa?, TV-Tuner

Habe im ESXi Thread nachgefragt, ob die IGP vom Xeon an eine VM durchgereicht werden kann. Ist wohl nicht so einfach bis nicht möglich. Daher stellt sich die Frage, ob ich dann noch ein C216 Board brauche, oder es nicht doch das Supermicro X9SCM-F wird. Allerdings hat der kein USB 3.0 Support. Was ich für das Backup eigentlich nutzen wollte..wobei da eigentlich auch USB 2.0 reichen sollte.

...sparen kannst Du am Controller...für die drei Disks braucht es nicht wirklich ein HW-Raid. Was willst Du als OS nehmen? Nimm ein SW-Raid und einen preiswerten HBA.
BTW: Du brauchst für den Controller noch ein Kabel -> 8087 forward Breakout auf 4xSATA...sowas: LSI 3ware mini SAS x4 (SFF-8087) auf 4x SATA Kabel, 0.6m (CBL-SFF8087OCF-06M) Preisvergleich | Geizhals Deutschland

Ja habe den IBM M1015 gefunden. Der arbeitet wohl auch ziemlich gut mit ZFS zusammen.


Wollte ja eine VM für die Heimautomatisierung machen, an die ich ein Touchscreen durchreiche, der im Flur hängt. Damit würde ich mir ein PC sparen, der rund um die Uhr läuft. Wenn das allerdings nicht möglich ist, überlege ich jetzt wieder, ob ich mich doch von dem zentralen Konzept trenne und mehrere Systeme aufbaue:

1. Raspberry Pi für Asterisk (24/7)
2. Kleiner Intel G530/AMD E-350 Rechner für Heimautomatisierung an den ich ein Touchscreen hänge (24/7)
3. HP N40L o.ä. für TV Server (WoL, Start nach TV Timer)
4. HP N40L mit ZFS als NAS (WoL)

Frage ist jetzt nur, ob das wirtschaftlicher im Bezug auf Anschaffung, Fehleranfälligkeit, Wartung und Unterhalt (Stromkosten) ist. Den Raspberry Pi habe ich dabei schon.

---------- Post added at 23:34 ---------- Previous post was at 23:20 ----------

Wobei mir bei dem dezentralen Konzept einfällt, dass ich keine Möglichkeit habe die Systeme aus den anderen geplanten VMs abzubilden.

Naja, ich glaube ich verfolge mal beide Konzepte vorerst weiter.

Weiß jemand, ob das X9SCM-F Board Stromspartechniken unterstützt? Kann jemand abschätzen, bei wieviel Watt ich im Idle Modus ohne Sata Controller und ohne die 3,5" Platten landen werde? Klappt das unter 30 Watt?

 

[O3X]

Weiß jemand, ob das X9SCM-F Board Stromspartechniken unterstützt? Kann jemand abschätzen, bei wieviel Watt ich im Idle Modus ohne Sata Controller und ohne die 3,5" Platten landen werde? Klappt das unter 30 Watt?

Eher nicht, allein wegen IPMI.

 

[Honker]

Hmm, ok was sollte denn dann stromsparender sein?

1.
Supermicro X9SCM-F retail, C204
Intel Xeon E3-1230V2
IMPI nutzbar

2.
Supermicro X9SAE-V retail, C216
Intel Xeon E3-1225V2
vPro nutzbar

 

[Loopman]

Warum sollte ein Server mit IPMI nicht stromsparend sein?

 

[Honker]

Ja, man kann diese kleine onbboard GraKa deaktivieren...oder halt das Board in Version ohne "-F" (IPMI) kaufen.
AFAIR wird aber bei einer CPU mit IGP die IGP immer abgeschaltet (ausser C216er Chipset).

Kennst du ein Board welches das wirklich unterstützt? Das SM X9SAE/-V bspw. kann laut Hardforum nämlich auch nicht zwei GPUs, also eine im Prozessor und eine zusätzliche GPU im PCIe Slot, gleichzeitig verwenden. Allerdings würde ich halt gerne die GPU in der CPU für IPMI/vPro und die zusätzliche GPU in einer VM nutzen. Scheint allerdings nicht so einfach bis unmöglich zu sein wenn ich das richtig verstehe :-(

Frage ist halt auch, wie sehr man als Home-User IPMI/vPro benötigt.

 

[hominidae]

Hmmm...nein, dann hatte ich mich etwas missverständlich ausgedrückt.
Was ich meinte war, dass Du die interne GraKa für IPMI (in der -F Version, die ist auch an einem PCI Slot "dran") abschalten kannst (Jumper oder BIOS)
und dann eine andere, externe GraKa reinsetzen kannst...das geht IMHO immer....aber Du hast dann eben nur eine.
Hast Du eine GraKa in der CPU (IGP), dann wird IMHO diese immer deaktiviert, ausser beim C216 chipset...dort kannst Du sie nutzen.
Ob zwei GraKas gehen, weiss ich nicht...ich würde wirklich den Hersteller anschreiben.

IPMI ist etwas woran man sich gewöhnen kann. Vor allem das man eine ISO über das Netz einhängen kann ist mein grösster Favorit....ich habe gar kein optical-LW mehr in meinen Kisten.
IPMI ist nicht nur kvm-over-IP.
Du kannst die interne GraKa deaktivieren und hast dann halt keinen remote-Screen mehr, aber weiterhin IPMI denn sensors, usw. läuft trotzdem. ...wenn ESXI erstmal installiert ist, ist es doch egal...die VMs sind davon ja nicht betroffen.
Dann kannst Du eine/die PCIe basierte Graka durchreichen an eine VM.
BTW: Da hast Du mit ner NVIDIA AFAIK keine Chance...eine ATI 5xxx oder 6xxx scheint da eher machbar zu sein, was man so liest.

 

[Honker]

Hmmm...nein, dann hatte ich mich etwas missverständlich ausgedrückt.
Was ich meinte war, dass Du die interne GraKa für IPMI (in der -F Version, die ist auch an einem PCI Slot "dran") abschalten kannst (Jumper oder BIOS)
und dann eine andere, externe GraKa reinsetzen kannst...das geht IMHO immer....aber Du hast dann eben nur eine.
Hast Du eine GraKa in der CPU (IGP), dann wird IMHO diese immer deaktiviert, ausser beim C216 chipset...dort kannst Du sie nutzen.

Ok, das liegt aber ja am C204/C206 Chipsatz.

Ob zwei GraKas gehen, weiss ich nicht...ich würde wirklich den Hersteller anschreiben.

Hat schon jemand aus dem Hardforum gemacht, allerdings mit der Antwort von SM, dass nicht zwei GPUs zur gleichen Zeit aktiviert sein können. Im Bios muss man zwischen den beiden GPUs wählen.

Du kannst die interne GraKa deaktivieren und hast dann halt keinen remote-Screen mehr, aber weiterhin IPMI denn sensors, usw. läuft trotzdem. ...wenn ESXI erstmal installiert ist, ist es doch egal...die VMs sind davon ja nicht betroffen.
Dann kannst Du eine/die PCIe basierte Graka durchreichen an eine VM.
BTW: Da hast Du mit ner NVIDIA AFAIK keine Chance...eine ATI 5xxx oder 6xxx scheint da eher machbar zu sein, was man so liest.

Wie kann ich dann auf die Sensoren zugreifen? SNMP?

Ja ne ATI 5450 wäre sinnvoll, die verbraucht halt so gut wie keine Leistung.

Ok, mal folgende 2 Überlegungen, welche macht mehr Sinn?

1. Ich nehme ein C204 Board mit IPMI und onboard GPU. Solange ich noch keine zusätzliche GPU verwende, kann ich IPMI nutzen. Sobald ich die VM einrichte mit zusätzlicher GPU deaktiviere ich die onboard GPU, aktiviere die zusätzliche GPU und reiche sie an die VM weiter.
2. Ich nehme ein C216 Board und eine CPU mit IGP. Solange ich noch keine zusätzliche GPU verwende, kann ich vPro nutzen. Sobald ich die VM einrichte mit zusätzlicher GPU deaktiviere ich die IGP, aktiviere die zusätzliche GPU und reiche sie an die VM weiter.

Bei beiden Überlegungen:
Wenn ich den ESXi neu starte erhalte ich dann zunächst ein Bild vom Boot und anschließend das Bild aus der VM?