ESX / ESXi - Hilfethread

[besterino]

Bei einer internen GPU muss man im Zweifel auch noch einmal zwischen einer GPU „in der CPU“ und der Mini-GPU über kleine Zusatzchips für IPMI/ILO & Co. unterscheiden.

 

[Seelbreaker]

Hallo alle zusammen.
Kann mir wer sagen ob man direkt an der esxi-Konsole einen Hardware Netzwerkport neu starten, oder Ab- und Anmelden kann?
Bei meiner esxi 6.5 Kiste hängt sich ab und an meine Port1 Schnittstelle auf, warum weiß ich nicht, und dann muss ich den gesamten Host durch starten, damit diese dann wieder verfügbar ist.
Leider hab ich bis dato kein Befehl gefunden um Netzwerkkarte 1 neu durchzustarten ...

Ausgehend von den Management-Ports:

F2 --> User und Passwort --> Restart Management Network oder Disable/Enable Management Network (Achtung, sofern du nicht via IPMI, iDRAC, IMM oder iLO auf deiner Konsole drauf bist solltest du davon die Finger lassen!)

 

[granni]

Gibt es eine Möglichkeit SSH bei ESXi immer zu aktivieren? Ich würde es dafür nutzen, um den Host herunterzufahren (Homeserver).
Oder gibt es dafür andere Möglichkeiten? Bisher habe ich nur ssh gefunden, was ich aber nach jedem Bootvorgang wieder aktivieren muss.

 

[Trambahner]

SSH ist bei meinen ESXI always-on. Kein Problem damit.

 

[besterino]

Aus dem Kopf: Unter Dienste —> Rechtsklick auf den SSH Service —> Richtlinie (oder so ähnlich) —> mit dem host starten und beenden (oder so ähnlich).

 

[fdsonne]

Multichannel auf Service Ebene sehe ich eher weniger als wichtig. Wenn man mehr Bandbreite braucht würde ich auch eher auf schnellere Netze gehen (1G/10G/40G/100G) als auf Multichannel zu setzen - außer schnelleres Netzwerk geht warum auch immer nicht.

Ich denke da eher an Redundanz primär. Mit größeren NICs erreichst du halt keine Redundate Anbindung. Bei iSCSI und FC/FCoE schmeißt du einfach die zweite NIC/den zweiten HBA ins Rennen und ab dafür.
Ich fahre hier grundsätzlich doppelt redundante Anbindung. Heist, 2x FC-Switches (und/oder 10/40G Switches) jeweils doppelt angebunden -> so dass vier Pfade rauskommen.

Hab hier schon Firmware Bugs mit bootenden Switches gehabt oder Flappende FC-HBAs die sporadisch ihre Verbindung einbüßen -> bei sowas reißt du dir die komplette Umgebung runter und der Spaß kann böse enden...
NFS over Enterprise Plus Distributed Switches geht aus meiner Sicht aber auch 1A Sofern die Storageseite entsprechend mit min. 2x Wegen angebunden ist...

SSH ist bei meinen ESXI always-on. Kein Problem damit.

Glaube nicht dass ihm das hilft Er wollte wohl eher wissen WIE.

EDIT: OK besterino war schneller...

 

[VirtuGuy]

Gibt es eine Möglichkeit SSH bei ESXi immer zu aktivieren? Ich würde es dafür nutzen, um den Host herunterzufahren (Homeserver).
Oder gibt es dafür andere Möglichkeiten? Bisher habe ich nur ssh gefunden, was ich aber nach jedem Bootvorgang wieder aktivieren muss.

Wenn du nebenbei noch etwas lernen willst, dann würde ich PowerCLI probieren.

 

[fdsonne]

Geht nicht ohne Lizenz
Zumindest nicht mit neueren Versionen... 6.5 kann es definitiv nicht mehr, 6.0 glaube ich auch nicht. Bei 5.5 könnte es vllt noch funktionieren

 

[VirtuGuy]

ich habe keine aktuelle "free" Version am laufen, aber bei 5.5 und 6.0 waren die meisten "get-xxx" Funktionen noch nutzbar. Somit war es eigentlich auch kein Problem einen Shutdown oder diverse andere Funktionen über get-esxcli zu nutzen.

 

[fdsonne]

OK stimmt, das geht zumindest... Bei 6.0 auch.

 

[granni]

Danke für die Antwort mit den Diensten. Genau das habe ich gesucht und bin wohl schon etwas zu blind durch die Reiter gegangen.
PowerCLI funktioniert, wie bereits erwähnt, nicht.
Mit SSH habe ich die Möglichkeit mit iOS Workflow Shutdown und Reboot Kommandos zu schicken. Damit kann ich mit einem Klick die VMs (Linux) und mit Verzögerung den Host ansteuern. Die komfortabelste Lösung für mich.

 

[martingo]

Ich habe eine Storage VM, die weitere VMs über NFS bereitstellen soll. Ich dachte, das wäre relativ problemlos und der NFS Share wird halt verbunden, sobald möglich.
Allerdings ist nach Reboot die Storage VM irgendwann da, aber ESXi (6.5u1) verbindet den Share nicht.
Habe ich etwas übersehen?

 

[Fr3@k]

Ich habe eine Storage VM, die weitere VMs über NFS bereitstellen soll. Ich dachte, das wäre relativ problemlos und der NFS Share wird halt verbunden, sobald möglich.
Allerdings ist nach Reboot die Storage VM irgendwann da, aber ESXi (6.5u1) verbindet den Share nicht.
Habe ich etwas übersehen?

Das Problem wir sein das zudem Zeitpunkt wo der ESXi bootet und nach den Datenspeichern scannt die Storage VM noch nicht gebootet ist und deswegen der Datenspeicher nicht angzeigt wird.
Wenn du manuell nach Datenspeichern scannts nachdem die VM gebootet ist taucht de rSpeicher dann auf? Falls ja dann müsstest du dir ein Script basteln das nach dem booten der VM einen Rescan auslöst damit der Speicher auftaucht

 

[MicroCane]

Das Problem hab ich mit 6.0 U3 im Dell T20 nicht.
Die Speicher erscheinen sofort, nachdem die VM gestartet wurde.

 

[martingo]

Der Speicher ist nach wie vor aufgeführt, aber es kommt bspw. ein Fehler wenn ich mittels Dateispeicherbrowser reinschauen will.
Wie scanne ich danach manuell?
Ursache des Problems ist klar.

 

[Olaf16]

Rechtsklick auf den Host --> Nach Datenspeichern suchen (Mit den beiden Haken drin am besten).
Meistens funktioniert das nicht, wenn die VM erstmal booten muss. Hat bei mir auch nie geklappt - Egal welche Storage VM im Einsatz war. (Außer so Speziallösungen wie z. B. "Open-E" die Ihre Tools usw. aber mitbringen auf dem Host dann)

 

[martingo]

Hmm, unter welcher Version machst Du das mit dem Rchtsclick? Bei meiner 6.5u1 sieht der Rechtsclick so aus:


Wenn ich über den Dateispeicherbrowser zugreifen will, kommt folgender Fehler:

 

[MicroCane]

Wenn man über einen vCenter-Server verbunden ist :P

 

[martingo]

Ach so, den habe ich nicht.
Naja, dann verbinde ich halt erstmal manuell nach Reboot. Passiert ja nicht oft und dann ist ohnehin noch eine andere Aktion erforderlich.

 

[fdiskc2000]

Wenn ich eine Portgruppe mit einer VLAN ID 20 habe und dort sind sowohl eine OPNSense als auch eine Windows 10 Maschine dran: muss ich dann trotzdem noch den physischen Switch Port (1x wo der ESXI dran hängt) auf VLAN ID 20 einstellen?
Eigentlich doch nicht, oder? Sollte ja reiner ESXI-interner Traffic sein?

trotzdem bekomme ich es nicht hin, das sich die beiden unterhalten, weder Ping noch http :-(

 

[fdsonne]

Hmm, unter welcher Version machst Du das mit dem Rchtsclick? Bei meiner 6.5u1 sieht der Rechtsclick so aus

Klick mal auf den "Ordner" Speicher (oder wie der im deutschen heist -> ENG heist der Eintrag "Storage" und ist zwischen "Virtual Maschines" und "Networking" auf der linken Seite in dem Baum) -> dann auf der rechten Seite hast du dann drei Tabs, die du durchschalten kannst.
Datastores, Adapters und Devices -> bei Adapters kannst du die HBAs durchscannen mit dem Rescan Button. Bei Devices die "VMFS-Volumes".

-> das ist quasi das, was Olaf oben meinte, da im alten Classic Client der Spaß mit Rechtsklick -> Rescan oder so ähnlich, aufrufbar war...

Wenn ich eine Portgruppe mit einer VLAN ID 20 habe und dort sind sowohl eine OPNSense als auch eine Windows 10 Maschine dran: muss ich dann trotzdem noch den physischen Switch Port (1x wo der ESXI dran hängt) auf VLAN ID 20 einstellen?
Eigentlich doch nicht, oder? Sollte ja reiner ESXI-interner Traffic sein?

Wenn beide VMs auf dem gleichen physischen Host laufen und beide VMs in dieser Portgruppe ihre vNIC haben, dann nicht zwangsweise. Das VLAN auf dem physischen Switchport (den Port, wo der Uplink Port des vSwitches verbunden ist) sollte das VLAN natürlich trotzdem drauf haben, da sonst kein Traffic nach außen geht (sofern dies nicht explizit so gewünscht ist)
Für reinen Host only Traffic würde ich persönlich aber einen seperaten vSwitch ohne zugewiesener physischer NIC nutzen und ohne VLAN IDs arbeiten...

Mach mal nen Screen von der Config (vSwitch, Portgruppe und vNICs der VMs) - das MUSS gehen. Denke da ist nur was falsch bei dir eingestellt...

 

[fdiskc2000]

Naja ist aktuell nur zum testen/lernen. Daher muss das VLAN20 auch nicht nach aussen kommen. Und ich möcht ebene explizit mit VLAN arbeiten um es auszuprobieren wie es später in echt laufen kann/soll.
Hier die Screens:

. . .

 

[fdsonne]

Wie sprichst du die jeweils andere VM intern an? Per Name? Per IP?

Ich sehe dass du beide VMs in jeweils zwei gleichen Portgruppen connectet hast? Also beide VMs haben mindestens eine vNIC in "VLAN 20" und in "VM Network".
Je nachdem, WIE du die jeweils andere ansprichst kann es einfach sein, dass der Spaß am falschen Interface rausgeht...


Stell dir das vSwitch zeug wie physische Swtiches vor. Die Konfig so wie sie dort ist besagt, dass du beide Geräte (Windows + FW Gerät) über mehrere Strippen an mehreren Switches angebunden hast.
Das KANN gehen, muss aber nicht, da nicht jedes OS im Zweifel sauber das richtige Interface für outgoing Pakete nutzt. Wenn die Netze geroutet sind geht das im Zweifel schön kreuz und quer.

Gerade für Testaufbauten und zu Lernzwecken bin ich der Meinung, dass man lieber eine saubere Konfig fahren sollte.

PS: generell sollte der Spaß aber so funktionieren - also wenn der Win10 Client die Interface IP der FW pingt, die auf dem Interface liegt, was an Portgruppe "VLAN 20" verbunden ist, sollte das so gehen. Oder anders gesagt, wenn du versuchst von Interface 00:0c:296:1d:a9 auf 00:0c:29:56:0b:e1 oder d7 zu kommen, sollte das gehen.
Andersrum wird schon wieder interessant - da die FW zwei Interfaces hat. Normal! sollte das aber auch funktionieren.


Achso, noch ne Frage - hast du IN den beiden VMs irgendwelche VLAN Ids gesetzt? -> die dürfen dort nicht hinterlegt sein. Für das Gast OS ist das VLAN völlig egal - da nix hinterlegt, weil sonst gehts im Zweifel nicht!

 

[fdiskc2000]

In jeder Portgruppe ist ein eigener Adressbereich eingestellt. Dadurch müsste das doch funktionieren. Also 192.168.178.x zu 10.0.20.x im VLAN20.
Ich versuche per IP zuzugreifen, mit Ping und http
W10 ist untagged, die FW habe ich sowohl mit und ohne versucht. Wobei die aber doch später tagged sein müsste, da hier ja mehrere VLAN´s zusammen laufen sollen.

 

[fdsonne]

Nein - das tagging übernimmt der ESXi für dich. Du musst in der VM immer untagged arbeiten. Willst du hingegen in der VM mit Tags arbeiten, muss auf der Portgruppe dieses "4095 (Alle)" gewählt werden. Damit reichst du alle VLANs an die VM und du kannst dann in der VM tagging betreiben. -> für die Meisten dürfte das aber wenig Vorteile bringen.

Ich selbst nutze das bspw. in speziellen Szenarien, wo eine Gateway VM Proxy Arp spielt und das für ALLE VLANs, welche da hinten reinkommen. (Gäste-Netz Lösung) Damit das aber nicht für andere produktiv-VLANs der Fall ist, musst du halt die VLANs direkt auf dem physischen Switchport entsprechend vorselektieren. Oder mit distributed Switches arbeiten (aber nur Enterprise Plus Lizenz!)
Auch bemühe ich dieses Feature bspw. in meinem Lab - wo ich eine einzige Firewall VM für ganz paar unabhängige Lab-Bereiche habe. Pro VM ist das Limit auf 10x vNICs beschränkt. Wenn du mehr brauchst, gehts imho nicht...
Also habe ich für jedes "Thema" bei mir nur eine vNIC an der FW und arbeite pro Thema mit einem vSwitch auf dem Lab-ESXi (jeweils ohne physischen Uplink). Die FW hängt dann jeweils pro vSwitch immer mit dem 4095er VLAN für alle IDs dran - und tagged intern -> damit kann ich also pro vNIC xxx verschiedene VLAN Interfaces erzeugen und den Spaß intern routen...


Ansonsten: "In jeder Portgruppe ist ein eigener Adressbereich eingestellt. Dadurch müsste das doch funktionieren. Also 192.168.178.x zu 10.0.20.x im VLAN20."
Kann so nicht funktionieren. Alle Interfaces in Portgruppe "VLAN 20" müssen eine IP aus dem gleichen IP-Netzbereich haben. Also von mir aus 192.168.178.x/24. Die Interfaces in der anderen Portgruppe sollten sinnigerweise ein anderes IP-Subnet nutzen. Also nicht! die 192.168.178.x/24 - sondern bspw. die 10.0.20.x/24.

Von der Win10 VM mit IP 192.168.178.x sprichst du also die FW-VM mit IP 192.168.178.x an. Je nach Firewall Lösung kann es sogar sein, dass du die anderen Interfaces dieser VM gar nicht anprechen kannst... (also die FW dir gar nicht antwortet auf den anderen IPs)

 

[fdiskc2000]

Scheisse es geht, also mit eine separaten Switch für das VLAN20 alleine. Einmal hängt W10 dran, mit einer Portgruppe VLAN=20 und einmal die FW mit einer Portgruppe 4095. Muss ja am Ende auch, weil dann die FW später alle VLAN´s routen soll.

Die unterschiedlichen IP-Bereiche sind je VLAN, das passt.
Vielen Dank für Deinen Input, ich bin zumindest einen Schritt weiter und versuche es vll. später auch physisch auf dem echten Switch

 

[martingo]

Klick mal auf den "Ordner" Speicher (oder wie der im deutschen heist -> ENG heist der Eintrag "Storage" und ist zwischen "Virtual Maschines" und "Networking" auf der linken Seite in dem Baum) -> dann auf der rechten Seite hast du dann drei Tabs, die du durchschalten kannst.
Datastores, Adapters und Devices -> bei Adapters kannst du die HBAs durchscannen mit dem Rescan Button. Bei Devices die "VMFS-Volumes".

-> das ist quasi das, was Olaf oben meinte, da im alten Classic Client der Spaß mit Rechtsklick -> Rescan oder so ähnlich, aufrufbar war...

Bei Geräte/Devices werden nur die physischen Geräte angezeigt, in meinem Fall nur die MicroSD auf der ESXi läuft als "Local USB Direct Access".
Bei Adapter vmhba32 USB Storage Controller
Beides auch wenn der NFS korrekt verbunden ist und auch ein ReScan ändert nichts.

Ich weiß jetzt aber wieso es bei Euch automatisch reconnected und bei mir nicht: Ich hatte NFS4 verwendet. Mit NFS3 verbindet er automatisch erneut.
Auch der Parameter -r von esxcfg-nas geht laut help nur für NFS3:
-r|--restore Restore all NFS version 3 mounts from the configuration file.
(FOR INTERNAL USE ONLY).

Ursache: ? - macht aber nichts, mir taugt auch NFS3.

 

[fdsonne]

Scheisse es geht, also mit eine separaten Switch für das VLAN20 alleine. Einmal hängt W10 dran, mit einer Portgruppe VLAN=20 und einmal die FW mit einer Portgruppe 4095. Muss ja am Ende auch, weil dann die FW später alle VLAN´s routen soll.

Wie oben schon gesagt, DAS musst du nicht unbedingt. Gibt einfach der FW-VM nativ ein Interface pro Portgruppe - dann übernimmt der ESXi das Tagging und gut ist.
So wie du es jetzt hast, kannst du das zwar auch machen - kostet dich möglicherweise aber mehr Ressourcen? Je nachdem, wie die Software intern das händelt...

Ob die FW die Netze routet oder nicht, spielt dabei keine Rolle! Routen würde diese auch, wenn du die Interfaces nativ dran klemmst...

 

[besterino]

Mal 'ne dumme Frage: ich habe am Wochenende ein wenig mit meinem System herumgespielt und jetzt verabschiedet sich der ESXi nach einiger Zeit (10 Minuten oder auch 2 Stunden) mit einem hübschen Purple Screen.

Was habe ich gemacht: im Prinzip habe ich nur einen vorhandenen SAS-HBA (Dell crossflashed H310) physisch herausgenommen und einen aktuellen Broadcom HBA (9305-24i bzw. 3224) in den gleichen Slot eingesetzt, den auf Passthrough gestellt. Weil das nicht wie gewünscht funktionierte, hab ich dann die Kiste physisch wieder zurückgebaut. Ich habe jeweils NICHT vor dem Wechsel Passthrough deaktiviert oder sonstige Konfigurationen in ESXi geändert.

Davor lief das System monatelang unauffällig (jaja, ... "never change"...). Einen Hardware-defekt würde ich eigentlich gerne ausschließen, habe ja nur an einem Steckplatz gefummelt. Memtest lief auch ca. 2-3 Stunden (64GB RAM).

In der /etc/vmware/esx.conf hab ich jetzt folgende Einträge:

/device/00000:179:00.1/vendor = "10de"
/device/00000:179:00.1/device = "fb9"
/device/00000:179:00.1/owner = "passthru"
/device/00000:180:00.1/vmkname = "vmnic3"
/device/00000:179:00.0/owner = "passthru"
/device/00000:179:00.0/device = "1cb3"
/device/00000:179:00.0/vendor = "10de"
/device/00000:026:00.1/vmkname = "vmnic1"
/device/00000:026:00.0/vmkname = "vmnic0"
/device/00000:001:00.0/vendor = "1912"
/device/00000:001:00.0/device = "14"
/device/00000:001:00.0/owner = "passthru"
/device/00000:023:00.0/vmkname = "vmhba2"
/device/00000:023:00.0/vendor = "1000"
/device/00000:023:00.0/device = "72"
/device/00000:023:00.0/owner = "passthru"
/device/00000:000:17.5/vmkname = "vmhba0"
/device/00000:000:23.0/vmkname = "vmhba1"
/device/00000:180:00.0/vmkname = "vmnic2"
/device/00000:004:00.0/vmkname = "vmhba4"

So sieht die passthrough-Konfig in der Weboberfläche aus:



Messerscharf kombiniert mit der passthrough.map heisst das für mich:

1.
Die Geräte an ...179:00... vom Vendor "10de" sind die Nvidia Quadro P400.

2.
026, und 180 sind auch logisch, das sind die 4 NICs (2x Onboard und 2x mit X540-T2).

3.
An ...001:00... sitzt die USB3-Steckkarte.

4.
Was mich irritiert: ich habe offenbar 4 HBAs, nämlich an 000 (HBA 0+1), 004 (HBA4) und 023 (HBA3) - von denen nur der vmhba2 als "passthru" markiert ist. Der HBA sitzt aber angeblich auf 0000:17:00.0 bzw. 0000:16:00.0 (Parent).

Der Host verabschiedet sich bisher nur in den Purple Screen, wenn (mindestens) eine der VMs mit Passthrough-Geräten läuft. Dabei himmelt es den Host auch, wenn nur die Windows-VM mit der durchgereichten Graka/USB-Karte läuft, zu der ich ja gar keine Veränderungen hardwareseitig vorgenommen hatte.

Hatte sowas (ähnliches) schon jemand / ist da irgendetwas durcheinander geraten? Was kann ich noch tun, um dem Fehler auf die Spur zu kommen (oder muss ich den Host neu aufsetzen - nervig aber machbar)?

Danke vorab für sachdienliche Hinweise!

 

[fdsonne]

Probier mal das Umschreiben von PT auf VMKernel:
VMware Knowledge Base
Dann sollte der ESX zumindest die HBAs erstmal wieder richtig sehen...

Auch kannst du dann mal via "esxcfg-scsidevs -a" schauen, was das für Geräte sind, welche der da sieht.