WD Gold für ESXi

[AliManali]

Hi

Ich habe einen ESXi auf Consumer-Basis (i7) mit momentan einer 2 TB SSD und einer 2 TB WD RE4 (SATA-2.0). Die Platten laufen am onboard Controller, das sind normale Virtual Disk's. Die RE4 dreht allerdings 24/7 schon seit 2011.

Ich habe eine Freenas VM, da sind ein paar VMDK von den beiden Datenträger eingehängt. Allerdings mehr als Zwischenablage. Wenn ich nun zu grosse Dateien (ISO's z.B.) auf die Festplatte kopiere, dann kann es sein, dass der vSphere Host crasht. Ohne PSOD, der friert einfach ein. Manchmal friert auch nur die Harwarekonsole ein, die VM's und der vmkernel sind noch per Netzwerk erreichbar.. Aus dem Grund habe ich vor ein paar Monaten CPU Kühler und die Ventis getauscht. Seit dem ist es viel besser. Aber wenn ich grosse Dateien über das Netzwerk verschiebe, das hat der Host nicht gern. Wenn der ESXi in die Knie geht, reisst er interessanterweise meistens noch den Switch mit in den Tod. Dann muss ich beides neu starten, und das ganze Netzwerk steht still.

Verbaut sind am X-79 eine GPU für Konsole sowie zwei 4-Port NIC's.

Ich hatte erst die Southbridge vom Board im Verdacht. Allerdings läuft das System stabil, bis auf das kopieren über Netzwerk auf Festplatte. Auf SSD geht, darum denke ich, dass es nicht an der Southridge liegt. Ich habe die Platte im Verdacht. Allerdings habe ich es zum testen auch mit einer WD Green versucht, dort ist der Server auch abgeschmiert. Auch die Performance vom Freenas ist unterirdisch, sowohl auf SSD wie auch auf HDD. Wenn ich da z.B. viele php Dateien kopiere, dann geht das auf ein paar MB/s runter. Der Airflow im Towergehäuse ist aber gut, ich habe da alles raus geputzt. Allerdings sind da drei passive PCI-e Cards.

Daher dacht ich, ich versuche das noch mit neuen Platten. Ich hatte bislang immer WD RE4, RE und RED. Daher habe ich die WD Gold ins Auge gefasst. Hauptsächlich für Daten und Backups. Aber es sollen auch mal einzelne kleine VM's davon gebootet werden können. Produktion ist sowieso auf SSD.



- sind die WD Gold die Nachfolger von RE/RE4?
- gibt es Alternativen, oder kann man die nehmen so?
- gibt es Vorschläge im Bezug auf das einfrieren des Host's?

Gruss und Danke!

 

[besterino]

Hast du mal probiert, die Platten lokal unter Last zu setzen ohne Netzwerk? Nicht dass irgendwas im Netz schief läuft - hab noch nie gehört, dass ein Plattenproblem einen Switch himmelt.

 

[AliManali]

...hab noch nie gehört, dass ein Plattenproblem einen Switch himmelt.

Ja, auch beim lokalen kopieren tritt der Fehler auf. Allerdings mache ich das auch über "Netzwerk", aber intern am Host. Wahrscheinlich fällt das weniger auf, weil ich das selten mache. Ich wüsste auch nicht, wie ich das direkt am ESXi von Platte zu Platte mache. Ich kopiere mit WinSCP oder HP vmexporer, allerdings nur von Desktop zum Server, bzw. umgekehrt.

Direkt kopieren auf dem Host geht wohl nicht mit den Tools, so wie ich das verstehe?

Aber echt, mit dem ESXi ziehts auch den Switch runter. Würd ich so auf Anhieb auch nicht glauben. Ist aber so. Firewall läuft dediziert, der ESXi mit seinen zwei 4 Port Karten macht da kein Routing.

 

[wiuoeac]

Ich kopiere mit WinSCP oder HP vmexporer, allerdings nur von Desktop zum Server, bzw. umgekehrt.

 

[AliManali]

Willst Du mir jetzt etwas sagen?

 

[suchmich1983]

hast du dir die Logs vom ESXi mal angeschaut? Sind da irgendwo "schreib error" oder ähnlich zu sehen?

Ich hatte das schon selbst mit meinem Microserver Gen8 und dem "fertigimage esxi" Image von HP. Da war ein Treiber schuld.
Passierte auch nur, wenn ich viel auf die HDDs geschrieben habe. Das wurde dann nach einiger Zeit so langsam, dass man den Eindruck hatte der ganze Server steht still.

Vielleicht hab ichs überlesen, aber von VMWare freigegebene hardware nutzt du ja scheinbar nicht oder?

 

[martingo]

Ich kann mir nicht vorstellen, dass mit anderen Platten das Problem weg ist. Der Unterschied zwischen Consumer/NAS/Datacenter Platten ist ja primär die Auslegung bzgl Lebensdauer, 24/7 Betrieb und RAID-Features.
Lokale Übertragung wäre, eine vmdk einer VM in einer anderen zu mounten/in ESXi einzubinden und dort dann zu übertragen.

Viele kleine Dateien zu kopieren, die ggf. noch über die ganze Platte verteilt sind, ist nie sonderlich performant. Wie ist die Übertragung bei großen Dateien?

Aber wenn es Deinen Switch abschießt, muss ja irgendwas auf Netzwerkebene fürchterlich schief gehen. Vielleicht eine Loop? Wenn der Switch "tot" ist - was machen dann die Lämpchen am Switch? Aus/an/blinken wie verrückt?
Wie sind deine acht NICs denn angeschlossen? Wie werden sie verwendet? Welcher Switch?

 

[AliManali]

Hi

Ja, danke!

Nein, meine Hardware ist komplett unsupportet, und steht nicht auf der HCL von vmware. Es handelt sich um ein Consumerboard, und wichtige Sachen wie IPMI oder ECC Support fehlen da leider. Ich hatte mich damals (Ende 2011) zu wenig informiert im Vorfeld, was so ein Server alles braucht. Aber ansonsten läuft er tadellos.

Die SSD und die Platte hängt allerdings am Chipsatzcontroller vom X-79, dieser ist ja recht weit verbreitet.

Naja, ich werde jetzt mal die neue Platte einbauen. Dann sehe ich weiter.

Die logs habe ich im Moment nicht eingerichtet. Wo soll ich die hin schreiben? Auf den Datastore, oder auf den USB Boot Stick?

Switch ist ein DELL Powerconnect 2824. Ich habe diverse vLAN's am System (Firewall und ESXi), auf dem Switch sind allerdings nur drei aufgelegt. Von der Firewall fahre ich also einmal getagt zum Switch, auf dem 3 vLAN zur Verfügung stehen. Aufbau sieht man hier im verlinkten PDF auf Seite 4:

[User-Review] VPN Gateway Enigmabox - virtualisiert auf dem Prüfstand

 

[suchmich1983]

kann mich nicht erinnern, dass das gesondert eingerichtet werden muss.

Schau mal hier: /var/log/vmkernel.log

Dort sollte auch zu erkennen, ob der Storage stress macht!

 

[AliManali]

Ich habe jetzt Mal zwei 6 TB WD Gold bestellt. Wenn das nicht geht mit dem Chipsatz SATA Controller, baue ich halt dann eine kleine Controllerkarte ein. Allerdings habe ich drei PCIe Karten verbaut, da müsste dann eine raus. Und das spricht für die GPU der Konsole, die heizt eh den ganzen Tag für nichts. Für die Lösung bräuchte ich dann eine Controllerkarte und ein USB KVM. Fragt sich auch, ob ich da noch ins BIOS kommen würde.

Andere Variante wär, dass ich noch nen NAS hinstelle. Aber dafür fehlt mir im Moment das Geld. Ausserdem braucht das wohl wieder noch mehr Strom. Ich habe echt abartige Stromrechnungen immer. Das wär sicher die einfachste und eleganteste Lösung, denk ich.

Naja, vorerst habe ich die 2 Platten zur Verfügung, dann kann ich Mal die 3.5 TB SSD wegsichern. Ich glaube für den Anfang bau ich eine Platte in den Server, und teste Mal. Wenn das mit dem VM NAS nicht geht, bau ich mein wildes Storage weiter aus, und bau eine Platte noch in die Workstation ein. Gibt halt eine riesen Kopierorgie bei der Version, wenn ich dann später doch auf ein richtiges Storage wechseln möchte. Aber auf das wird es hinaus laufen vorerst, befürchte ich

 

[martingo]

Hast Du mal gemessen, welchen Anteil Dein Server an dem "abartigen Stromverbrauch" hat?

 

[fdsonne]

Ich würde schätzen, knapp 800-900KWh im Jahr -> so ein X79 System kommt wohl in etwa auf um die 100W, +- je nach dem. Zumal im ESXi die Stromspartechnischen eher nur bedingt greifen und die Kiste ja teils eben auch unter Last steht... Jetzt nicht so ultra viel, aber eben auch nicht wirklich wenig...

Direkt kopieren auf dem Host geht wohl nicht mit den Tools, so wie ich das verstehe?

Das Ding hat doch ne Konsole -> meld ich via SSH an, zur Not mit Monitor und Tastatur direkt an der Konsole und dann gehst du in /vmfs/volume und siehst dort deine Datastores -> dann nimmst du dir sinnigerweise die SSD oder HDD als Source und kopierst auf das jeweilige Gegenstück. Stink normales "CP" im Linux... Zeit messen musst du dann halt selbst, ggf. kuckst du noch via "esxtop" gefolgt von "u" -> das macht die Disk Statistik -> und "s" und "2" -> das macht den Interfall auf 2 Sekunden, also das niedrigste was geht. "esxtop" führst du sinnigerweise in einem zweiten Fenster (SSH) oder einer zweiten Konsole (direkt am Monitor) aus.
Während der Copyjob läuft, siehst du dort die relevanten Daten, wie schnell, was wann wo und überhaupt... Bedenke, du kannst recht simple eine vmdk von irgend einer der VMs auf dem Storage kopieren. Die Werte werden aber (am X79 ohne Write-Back) nicht sonderlich hoch sein, weil nicht gecacht.

Was den anderen Part angeht -> also das ein/der Switch crasht -> das ist unüblich. Und ehrlich gesagt muss es ja nichtmal der Host sein, der den Switch himmelt, vielleicht ist es auch der Switch, der den Host himmelt!? Ergo, es ist völliger unsinn hier in so einer Umgebung zu testen -> reiß den Mist auseinander und teste dich Stückweise vor. Heist, den Switch auf Herz und Nieren prüfen -> aber OHNE das der Host da irgendwie dran klemmt!!! und umgekehrt den Host testen aber ohne den Switch da irgendwie zu benutzen -> am Besten komplett lokal und Netzwerkstrippen komplett raus, anderer Switch oder vllt temporär direkt 1:1 in die NIC vom Host rein mit einem Client...

 

[-INU-]

3,5TB SSD, WD Gold, so knapp kann das Geld dann doch nicht sein, warum also nicht einfach mal auf ordentliche Serverhardware umziehen ?

 

[AliManali]

Stink normales "CP" im Linux... Zeit messen musst du dann halt selbst, ggf. kuckst du noch via "esxtop" gefolgt von "u" -> das macht die Disk Statistik -> und "s" und "2" -> das macht den Interfall auf 2 Sekunden, also das niedrigste was geht. "esxtop" führst du sinnigerweise in einem zweiten Fenster (SSH) oder einer zweiten Konsole (direkt am Monitor) aus.

Hi. Danke für die Tipps zur Fehlersuche. Ich habe jetzt einige hundert GB kopiert, und das läuft wieder Erwarten gut. Mit der alten Platte hatte das ja gar nicht geklappt.

Wenn ich auf die neue Platte von der SSD so direkt kopiere, dann ist das langsam. 37 MByte/s im Schnitt, beim vSphere Ressourcen Monitor steht der Graph aber bei 70 MByte/s schreiben.

Überraschung allerdings per Netzwerk auf FreeNAS: hier kriege ich über 90 MB/s hin.

Im Moment habe ich eine Platte im Desktop (schreiben 200 MB/s und mehr), und eine im Server. Stellt sich nur die Frage, ob ich da was bezüglich RAID im Sinn habe, oder wie ich die Platten nutzen will. Kann sein dass ich beide Platten in den ESXi einbaue, und doch mal noch ein vernünftiges Storage per Netzwerk aufziehe. 90 MB/s schreiben reicht mir eigentlich. Aber dazu mach ich mal im Softwareluxx einen Thread auf.