ESX / ESXi - Hilfethread

[snipor]

Hmmm... also ich habe ja auch einen LSI-Controller (Dell h200) an meine Storage-VM (Solaris 11.3) per Passthrough durchgereicht.

Damit Du mal erste Vergleichswerte hast:

Alle Tests zwischen VMs auf gleichem Host durchgeführt, also Win10-VM auf Storage-VM, Flaschenhals also jedenfalls nicht ein physisches Netzwerk.

CDM auf 8x4TB HDD Pool im RaidZ2 (keine Verschlüsselung, keine Kompression, Füllstand Pool bei 93%!, Sync: Standard):
Anhang anzeigen 424654
CDM auf 2x120GB SSD Pool im Raid-Mirror (keine Verschlüsselung, keine Kompression, Füllstand Pool bei 0%, Sync: Standard):
Anhang anzeigen 424655
CDM auf 2x120GB SSD Pool im Raid-Mirror (keine Verschlüsselung, keine Kompression, Füllstand Pool bei 0%, Sync: Disabled):
Anhang anzeigen 424656
Kopiervorgang HDD-Pool auf SSD-Pool (schwankt zwischen 200-320MB/s:
Anhang anzeigen 424657
Kopiervorgang SSD-Pool auf HDD-Pool (jetzt 4x4TB wg. 93% Füllstand des anderen Pools):
Anhang anzeigen 424658
Dann nochmal mit den SSD im Raid0 (basic):
Anhang anzeigen 424659 Anhang anzeigen 424660

Hab grad noch gesehen, dass die CPU-Last in der VM auf Maximum ist:
Anhang anzeigen 424664
Gebe der bei Interesse / auf Wunsch gerne mal noch 2 Kerne mehr.

Danke für die Vergleichswerte. Eine Frage hierzu, wie greift die Windows VM auf die Storage VM zu? Netzlaufwerk?

Anbei mal noch Screens meiner SSDs mit dem gleichen Testprogramm.

Als virtuelle Disk







H310 Passthrough







Diese Werte entsprechen auch dem, was ich bei einem direkt installierten Windows Server 2016 beim kopieren erreichen konnte.

Liegt es möglicherweise daran, dass bei SSDs am gleichen Controller hängen, also quasi kopieren von einem auf den anderen Port.
Gibt es da noch einen Umweg über den Prozessor, oder kann der Controller das alleine?

Unter der direkten Windos Installation gab es keine feststellbare CPU Belastung beim Kopieren. In der VM hingegen geht die CPU Last auf 50%

 

[snipor]

Was mir noch aufgefallen ist, kopiere ich von der OS Partition (vdisk auf der Samsung SSD) auf eine der Seagate SSDs welche über den H310 über Passthrough an die VM durchgereicht werden, so erreiche ich 390 -400MB/s.
Kopiere ich von einer Seagate SSD auf die Andere, so habe ich nur 220-280MB/s. Ist dann das Kopieren von Port zu Port am H310 ein Problem?
Wodurch kann das kommen?

Danke

 

[besterino]

Schwer zu sagen. Was bekommst Du denn bei einem CDM-Speedtest nur auf der Samsung SSD bzw. als Transferrate zurück von den Seagate SSDs auf die VMDK (auf der Samsung)?

Hab auch nochmal einen Test auf einer Win10-VM-VMDK gemacht (die VMDK liegt auf einem NFS-Share auf 4 per Passthrough durchgereichten ADATA-SSDs an einem H200 im "Raid0"). Auch dort ist write deutlich langsamer als read bei niedrige Queue-Tiefe:

 

[Chomper]

Nabend

Evtl. kann mir ein ESXI Spezi diese Frage beantworten. Ich werde bei einem Kunden verbauten IBM M3 Server, gegen ein AMD Epyc System austauschen. Nu

Das Board ist übrigens ein Supermicro H11DSi und als CPU kommen 2 x AMD EPYC 7251 zum Einsatz.

Will der Kunde unbedingt Epyc oder wieso tut der sich das an?
Für einen einzelnen Host bei einem Kunden, würde ich vor Mitte dieses Jahres kein Epyc System nehmen. Viel zu frisch.

Ist das Board überhaupt auf der Vmware HCL?

Wenn ich damit mein Geld verdienen würde, erst mal die Finger weg.
Grundsätzlich finde ich es super das AMD wieder was in Petto hat. Jedoch lief auf einem Ryzen System am Anfang noch nicht mal die VMWare Workstation sauber.

 

[butcher1de]

@Chomper und was genau von deinem Beitrag hilft mir jetzt weiter ? Ich frage aber auch gerne allgemeiner nach: Gibt es Probleme unter ESXI wenn man bei einem Multisockel System nur eine CPU bestückt und später eine 2*3*4 nachrüstet?

Momentan hat sich das aber alles verzögert da CPU Lieferschwierigkeiten zu den gemachten Konditionen aufgetreten sind.

 

[snipor]

Schwer zu sagen. Was bekommst Du denn bei einem CDM-Speedtest nur auf der Samsung SSD bzw. als Transferrate zurück von den Seagate SSDs auf die VMDK (auf der Samsung)?

Hab auch nochmal einen Test auf einer Win10-VM-VMDK gemacht (die VMDK liegt auf einem NFS-Share auf 4 per Passthrough durchgereichten ADATA-SSDs an einem H200 im "Raid0"). Auch dort ist write deutlich langsamer als read bei niedrige Queue-Tiefe:

Anhang anzeigen 424912

Hier mal die Speedtests der Samsung SSD:




Hier Schreiben von der Seagate auf die Samsung:


Habe außerdem mal etwas herumprobiert mit den Einstellungen, wenn ich die Platten als RDM einbinde und den den VMware Paravirtual statt LSI Logic SAS verwende ist es etwas besser.
Danach habe ich mal meinen LSI 9361-8i eingebaut. SSDs als JBod und ebenfalls RDM und Paravirtual:


Der Einbruch ist auch hier vorhanden, übrigens findet der Einbruch nicht immer nach der gleichen übertragenen Datenmenge auf. Kann da also keinen direkten Zusammenhang zwischen Arbeitsspeicher und Einbruch erkennen.

Irgendwas kann hier doch nicht stimmen?

Kann man den 9361 auch in den IT-Mode bringen?

 

[Tomate33]

Hallo!
Bin Anfänger mit esxi und durch eine glückliche fügung zu einer 6.0 vsphere standard 6.0 Lizenz gekommen. Habe also meinen esxi 6.0 u3 free host auf standard lizenziert. Jetzt will ich vcenter als appliance (vcsa) installieren, und zwar auf diesem host, der auch mein einziger ist.
Folgende Fragen:
1.) soll ich vcenter 6.0, also gleich wie der esxi host nehmen, oder kann/soll ich vcsa 6.5 nehmen?
2.) da ich wie gesagt nur diesen 1 esxi-host mit 5 vm's habe, kann ich den RAM für die vcsa auf 4 GB runterschrauben? Soweit ich gelesen habe verlangt vcsa 6.0 bei default 8 GB und 6.5 10 GB RAM. Muss sonst was umgestellt werden, wenn man den RAM reduziert?

Danke für eure hilfe.lg

 

[snipor]

Was mir noch aufgefallen ist, kopiere ich von der OS Partition (vdisk auf der Samsung SSD) auf eine der Seagate SSDs welche über den H310 über Passthrough an die VM durchgereicht werden, so erreiche ich 390 -400MB/s.
Kopiere ich von einer Seagate SSD auf die Andere, so habe ich nur 220-280MB/s. Ist dann das Kopieren von Port zu Port am H310 ein Problem?
Wodurch kann das kommen?

Danke

Beim LSI 9361-8i im Passthrough das gleiche, scheint also nicht am Controller zu liegen.

 

[Trambahner]

Bekommt man bei VMUG Member Plus Advantage (ich denk da mittlerweile ernsthaft nach, das zu machen) eigentlich eine ordentliche Rechnung, z.B. für die Steuererklärung?


Bzgl. Epyc+Ryzen? Liegen hier schon "Whitebox-Erfahrungen" bzgl. ESXI 6.5U1 vor? Damit sollte eigentlich die Vmware-Sache laufen. (Btw, wenn ich meine Brötchen damit verdienen und vertraglich einstehen müsste, würd ich da auch noch nicht ran).
Ein H11SSL-NC mit Epyc und ESXI soll vmtl. 2018 meine alte Z77/i7-3770K-Kiste (mit Windows direkt am Blech) ablösen.

 

[butcher1de]

Es ist schon amüsant wie keiner auf meine Kernfrage eingeht sondern immer wieder ich würde/könnte/warum tut der Kunde sich das an........

VMware Compatibility Guide - cpu
OS Certification AMD | Support - Super Micro Computer, Inc. Es würde mich wundern wenn das Board zicken macht.

Anscheinend weiß keiner die Antwort von daher egal, ich werde es auf einem M3 testen.

 

[besterino]

Was war nochmal Deine Kernfrage? Zicken bei ESXi bei Nachrüstung von CPUs?

Keine Ahnung speziell zu ESXi. Aber: was soll schon passieren? Schlimmstenfalls setzt Du den Host halt wieder neu auf. VSwitches sind doch schnell wieder konfiguriert, pasthrough ebenfalls. Dann Datenspeicher/VMs wieder registrieren und fertig.

Ich denke aber, dass das gar nicht nötig sein wird, vorausgesetzt du hast ne VMware-Lizenz für die nötige CPU-Zahl >2.

 

[butcher1de]

Jopp das war sie. Ich teste das Szenario die Tage mal durch. Epyc Cpu sind momentan eher schwer verfügbar bzw. die Distris erhöhen die Preise übel. Warum AMD gerade jetzt nicht in die Puschen kommt und keine Epyc CPU (zu vertretbaren Preisen) kaufbar sind, muss man wirklich nicht verstehen.

 

[VirtuGuy]

Es ist schon amüsant wie keiner auf meine Kernfrage eingeht sondern immer wieder ich würde/könnte/warum tut der Kunde sich das an........

VMware Compatibility Guide - cpu
OS Certification AMD | Support - Super Micro Computer, Inc. Es würde mich wundern wenn das Board zicken macht.

Anscheinend weiß keiner die Antwort von daher egal, ich werde es auf einem M3 testen.

Im Lab lief es bei uns Einwandfrei in Rahmen eines POC. Aufgrund der aktuellen CPU Krise dürften die großen Server Hersteller scheinbar in Bestellungen untergehen, die für März angekündigte Lieferung wird sich wohl um 1-2 Monate verzögern.

 

[affabanana]

Wegen dem Aufrüsten von 1 CPU auf 2, das ging mit ESX 5.0 und 5.5 ohne Probleme mit einem HP DL380.

Die Lizenzen waren das einzige Problem.


Gesendet von iPad mit Tapatalk Pro

 

[Trambahner]

Das hätte ich auch in dieser Art so erwartet. Hatte noch nie Probleme bei ESXI mit nachgerüsteter Hw, solange sie direkt oder mit additiven VIBs unterstützt war.
Ich glaub, das Ding hat eh keine wirklich auf eine Hw fixierte Installation, sondern versucht einfach beim Start alle installierten Treiber zu initialisieren, wenn Hw dafür vorhanden ist. Ansonsten wirds halt ignoriert und weitergegangen im Boot-Prozess.
Und wenn dabei was nicht klappt, wirds im Zweifelsfall halt purple.

 

[butcher1de]

Das Problem hat sich für mich erst einmal erledigt, da jetzt beide CPU verschickt werden. Vielen dank für die dann doch passenden Antworten. Vor allem VirtuGuy seine hat mich dann doch sehr beruhigt.

 

[Domii666]

kann man unter vsphere 6.5.0 einen USB Dongle durchreichen im Cluster? Also dass der Stick auch bei vmotion verbunden bleibt? Oder muss ich hier einen Netzwerk USB Server nehmen?

 

[Eye-Q]

Nein, USB-Anschlüsse und -Geräte sind immer nur verfügbar, wenn die VM auf dem Host läuft, wo das USB-Gerät physikalisch angeschlossen ist, somit musst Du einen USB-Server verwenden

 

[Domii666]

ok, dachte das ist mittlerweile möglich. Danke trotzdem.

 

[Fr3@k]

Nein, USB-Anschlüsse und -Geräte sind immer nur verfügbar, wenn die VM auf dem Host läuft, wo das USB-Gerät physikalisch angeschlossen ist, somit musst Du einen USB-Server verwenden

Das ist nicht ganz korrekt - vMotion geht auch mit durchgereichten USB Geräten. Aber wird die VM heruntergefahren oder pausiert dann geht die Verbindung verloren.

 

[AsatothAbaddon]

Hi,

hat schon jemand Erfahrungen gemacht mit TPM, Secure Boot und ESXi 6.5?
Ich habe hier die Anferderung, dass mind. die VMs verschlüsselt abgelegt werden wegen der neuen Datenschutzgrundverordnung, da wir mit personenbezogenen Daten arbeiten, und ich blicke da irgendwie nicht ganz durch...

 

[gea]

Die DSGVO fordert technische Vorkehrungen zum Schutz der Daten nach dem aktuellen Stand der Technik und ich seh das auch so, dass damit Verschlüssellung zu einem Muss wird.

Ich beschäftige mich gerade mit einer Umsetzung auf ZFS Ebene um damit zeitgesteuert oder manuell verschiedenen Usergruppen ohne Kenntnis der verschiedenen Verschlüssellungskeys oder Admin-Zugang zur Storagemanagementsoftware eine Ver- oder Entschlüssellung ihres Dateisystems zu ermöglichen. Im Moment ist ZFS Verschlüssellung mit unterschiedlichen Schlüsseln je Dateisystem nur in Oracle Solaris enthalten. Ich erwarte aber dass das im Laufe des Jahres (ist fast fertig) auch für Open-ZFS (BSD, Illumos, ZoL) verfügbar wird. Für Solaris mache ich damit gerade abschließende Tests.

Grundsätzlich sehe ich darin aber den Königsweg auch für ESXi Storage. VMs auf NFS unter ZFS abzulegen hat ohnehin extreme Vorteile was Performance und Datensicherheit angeht und die Verschlüssellung gibts einfach als Option dazu.

Im Moment geht das wie gesagt auf Dateisystemebene nur unter dem originären Solaris ZFS oder aber auf Ebene verschlüsselter Platten mit BSD (FreeNAS, Nas4Free) oder ZoL dann aber nur mit einem Generalschlüssel für den gesamten Pool und ohne Kompatibilität mit anderen ZFS Plattformen.

 

[Fr3@k]

Nutzung der Nativen VM Encryption in ESXi 6.5 wäre auch eine Möglichkeit.
Es wird ein externer KMS Server benötigt - HyTrust bietet einen Clusterfähigen KMS Server an der für diesen Zweck kostenlos ist (Wartung kostet 5000€ pro Standort pro Jahr).
KeyControl - HyTrust

 

[Luckysh0t]

Kann der Kostenlose das eigentlich ?

Und wenn nicht, müsste VMWare im Rahmen der DSGVO auch für die kostenlose Produkte anbieten, oder wird hier dann eher der Nutzer zur Verantwortung gezogen ? Frei nach dem Motto "Du hast die Daten also kauf etwas was alles erfüllt oder finde etwas anderes".

 

[AsatothAbaddon]

Die DSGVO fordert technische Vorkehrungen zum Schutz der Daten nach dem aktuellen Stand der Technik und ich seh das auch so, dass damit Verschlüssellung zu einem Muss wird.

Ich beschäftige mich gerade mit einer Umsetzung auf ZFS Ebene um damit zeitgesteuert oder manuell verschiedenen Usergruppen ohne Kenntnis der verschiedenen Verschlüssellungskeys oder Admin-Zugang zur Storagemanagementsoftware eine Ver- oder Entschlüssellung ihres Dateisystems zu ermöglichen. Im Moment ist ZFS Verschlüssellung mit unterschiedlichen Schlüsseln je Dateisystem nur in Oracle Solaris enthalten. Ich erwarte aber dass das im Laufe des Jahres (ist fast fertig) auch für Open-ZFS (BSD, Illumos, ZoL) verfügbar wird. Für Solaris mache ich damit gerade abschließende Tests.

Grundsätzlich sehe ich darin aber den Königsweg auch für ESXi Storage. VMs auf NFS unter ZFS abzulegen hat ohnehin extreme Vorteile was Performance und Datensicherheit angeht und die Verschlüssellung gibts einfach als Option dazu.

Im Moment geht das wie gesagt auf Dateisystemebene nur unter dem originären Solaris ZFS oder aber auf Ebene verschlüsselter Platten mit BSD (FreeNAS, Nas4Free) oder ZoL dann aber nur mit einem Generalschlüssel für den gesamten Pool und ohne Kompatibilität mit anderen ZFS Plattformen.

Das wird hier noch richtig Lustig mit diesem Zeug...
Danke für deine Antwort! Die VMs liegen lokal auf den Hosts auf einem RAID5, die Daten auf einem NFS-Storage, welches verschlüsseln kann. Die Oracle-Kisten liegen aktuell noch nativ auf den Kisten und haben als Shared Storage ein Dell MD3k, das wird auch auf neue Hardware gezogen. Ob dazwischen noch ein ESX ist oder nicht wissen wir aktuell noch nicht, ich bin dafür...

Nutzung der Nativen VM Encryption in ESXi 6.5 wäre auch eine Möglichkeit.
Es wird ein externer KMS Server benötigt - HyTrust bietet einen Clusterfähigen KMS Server an der für diesen Zweck kostenlos ist (Wartung kostet 5000€ pro Standort pro Jahr).
KeyControl - HyTrust

HyTrust habe ich auch schon gefunden, schaue ich mir gerade genauer an.

Kann der Kostenlose das eigentlich ?

Und wenn nicht, müsste VMWare im Rahmen der DSGVO auch für die kostenlose Produkte anbieten, oder wird hier dann eher der Nutzer zur Verantwortung gezogen ? Frei nach dem Motto "Du hast die Daten also kauf etwas was alles erfüllt oder finde etwas anderes".

AFAIK kann das der kostenlose auch.

 

[konfetti]

Nunja, die Frage ist halt, wie der Storage zur Verfügung gestellt wird.

Ist das Lokaler Speicher, ist das NAS oder SAN?
Davon würde wohl auch abhängen, wo die Daten dann wie verschlüsselt werden.

Lokal kann man das bei einer Platte ggf. mit einer vorgelagerten PreBootAuthentication (z.B. Bios) umsetzen, bei RAID-Controllern wird das schon schwieriger.
NAS und SAN-Systeme können das ggf. nativ, ansonsten bleibt ja noch die Möglichkeit das ganze auch vom ESX machen zu lassen...

Ja, das wird noch ein spannendes Thema - oder Du verschlüsselst die Windows VM an sich mit Board-Mitteln, z.B. Bitlocker - auch diverse Linux-Systeme unterstützen ja die Verschlüsselung.

Interessant wird da aber vorallem der Ansatz fürs Backup...

 

[Seelbreaker]

Hi

Hat jemand schon Vsan getestet?
Für mein neues microserver Projekt möchte ich mir ein single-vsan esxi aufbauen.

Ja es geht und ja ich bin komplett unsupported aber who cares (Erklärung folgt).
Building a Single-Node VSAN | Virten.net

Mein Gehäuse ein SilverStone SST-SG12B bietet Platz für 9 2,5" Laufwerke

Das Asrock Taichi X399M bietet 4 nvme auf dem Mainboard sowie 8 Sata Ports und mit den 4 RAM Slots kann ich massiv skalieren (auch wenns viel kostet - aber dafür sind wir ja hier ).


Die Idee mit dem Vsan kommt hauptsächlich durch die Nutzung von Flash also nvme als write-cache (ja ne kleine USV ist auch geplant) und Dedup und Compression (nur als Spielerei - das wird bestimmt zuviel CPU fressen).

Blöd ist nur, dass ich dank VSAN von meiner Synology keine iSCSI Lun oder nfs share einbinden kann...

Aufgrund der Konstelation kann ich locker 3 vsan Datastores einrichten mit folgender Konfig:
nvme + SSD + HDD
nvme + SSD + HDD
nvme + SSD + SSD + HDD + HDD


Die ersten beiden nutze ich zur Replikation (mittels Veeam) der Live-VMs die für den Betrieb notwendig sind (vCenter, DCs etc.).

Der dritte Datastore wird mehr auf Capacity getrimmt sein als Fileserver/Owncloud/virtuelle Synology (weils halt einfacher ist :P).


Jetzt ist nur meine Frage kann ich wie folgt einen vsan Datastore konfigurieren?

Nvme + SATA SSD + SATA HDD

Und wird dann automatisches storage tiering gemacht oder wer entscheidet was im Flash/SSD Anteil liegt?

 

[butcher1de]

Brocken sind jetzt alle da nur leider fehlen noch die Kühler ......... Es ist schon imposant was die EPYC doch für große CPU sind...

Diese zu kaufen ist im Moment ein echtes Problem.

 

[pumuckel]

Brocken sind jetzt alle da nur leider fehlen noch die Kühler ......... Es ist schon imposant was die EPYC doch für große CPU sind...

Diese zu kaufen ist im Moment ein echtes Problem.

warum ? und das Gigabyte MZ31-AR0 retail Preisvergleich Geizhals Deutschland gibts ja auch schon ne zeit lang

 

[butcher1de]

warum ? und das Gigabyte MZ31-AR0 retail Preisvergleich Geizhals Deutschland gibts ja auch schon ne zeit lang

Kauf doch mal welche. Viel Glück dabei


Gesendet von iPhone mit Tapatalk