[Sammelthread] Proxmox Stammtisch

[luigi4711]

Danke, mir fällt aber gerade auf, dass ich wohl eine entscheidende Info unterschlagen hab: Das ganze soll mit Open vSwitch eingerichtet werden.
Die verlinkte Anleitung bezieht sich, wenn ich mich nicht irre, auf das klassissche Linux bridging. Trotzdem danke!
Das Grundkonzept ist mir klar, ich bin Netzwerker, ich hadere nur etwas mit den Feinheiten, scheinbar sind ja OVS Ports standardmässig
Trunks, aber z.B. Default VLAN tagged oder untagged, und solche Dinge.

Ich hab mittlerweile einfach mal VMs eingerichtet, und siehe da, die VLANs scheinen bereits zu funktionieren. Meine ersten Tests
hatte ich immer mit IP Adressen auf internal OVS Bridge Interfaces versucht, scheinbar hab ich da noch nen Bug drin. Ich werde
das mit den VMs jetzt mal weiter testen, mehrere in die entsprechenden VLANs und auch auf der physischen Switch Seite mal
was in die entsprechenden VLANs packen, um zu verifizieren dass es tatsächlich so geht wie erwartet. Danach mach ich mich
dann noch mal dran, das Proxmox Mgmt Interface auch auf den Channel umzuziehen, das läuft momentan noch über die dritte
NIC in der default Linux vmbr0 Bridge.

Noch mal grob, was ich bisher eingerichtet hab:
Einen OVS Bond (bond0) mit eth1 & eth2. Zuerst kam der Channel nicht hoch, daher hab ich per Command-Line
(ovs-vsctl set port bond0 lacp=active) LACP noch aktiviert. Das hat keinen Reboot überlebt, also die option lacp=active
noch per Hand in die /etc/network/interfaces hinzugefügt. Leider scheint er diese Dinge nicht im GUI wiederzuspiegeln,
denn wenn ich dort jetzt den Bond bearbeiten will, ist das Feld für OVS Options leer.
Dann eine OVS bridge vmbr1 eingerichtet, mit bond0 als Port.

Wenn ich jetzt ne VM anlege, wähle ich vmbr1 aus, setze das entsprechende VLAN tag (also 1, 10 oder 11) und hab damit die
virtuelle Maschine im entsprechenden VLAN.
'ovs-vsctl show' zeigt mir die vmbr1 bridge an, mit den entpsrechenden Ports. Wenn nichts dabei steht sind das dann
Trunks (wie z.B. bond0 und das internal vmbr1) bei den anderen steht z.B. tag: 1, damit sind das dann Access Ports
ohne trunking (z.B. tap106i0 für das virtuelle Interface der VM106).

Was mich nach wie vor irritiert... man kann OVS auch als Parameter eine Liste der VLANs auf dem Trunk mitgeben
(ist in vielen Config-Beispielen auch so gezeigt). Beim anlegen über das Proxmox GUI gibts da aber kein Feld für (ausser evt.
man gibt es als zusätzlich Option im entsprechenden Freitextfeld ein). Ein 'ovs-vsctl get port bond0 trunks' liefert
mir '[]' zurück, also ein leeres Feld. Damit scheint er einfach alles anzunehmen was kommt, d.h. wenn ich etwas spezifiziere,
schränke ich damit ein.
Nach etwas lesen scheint mir auch klar zu sein, dass die Default Einstellung eines OVS Trunk Port 'vlan_mode=tagged'
zu sein scheint, dass er also alles tagged und kein untagged (native) VLAN zulässt (Muss man einfach wissen, um den Switch
auf der anderen Seite entsprechend einzurichten).

Was ich bisher mitnehme: Die GUI Unterstützung in Proxmox für Open vSwitch deckt die Basics ab, aber für die Feinheiten
muss man doch runter auf die Commandline. Interessant wäre, ob der die manuellen Änderungen überschreibt, wenn ich später
noch mal was über's GUI verändere... das muss ich noch mal probieren.

 

[ger0nimo]

Hi Leute ich hätte da auch mal ne Frage zu Proxmox. Momentan habe ich Proxmox auf einem T20 von Dell auf einer SSD installiert. Nun habe ich jedoch noch eine Festplatte eingebaut, die ich gerne nutzen würde. Von Proxmox aus habe ich keine Option gefunden eine Festplatte einzubinden. Wie kann ich eine neue Festplatte hinzufügen?
Es handelt sich um eine physische Platte mit einem TB.
Danke für eure Hilfe

 

[bigghost]

@ger0nimo

partioniere und formatiere die platte in der bash mit deinem filesystem nach wahl.erstelle einen mountpoint.mounte diese und erstelle einen eintrag in der fstab damit beim reboot diese immer gemountet wird.
dann nutze die webgui klicke auf datacenter und auf storage. mache ein add directory der rest sollte sich selbst erklären.

 

[pumuckel]

Hi Leute ich hätte da auch mal ne Frage zu Proxmox. Momentan habe ich Proxmox auf einem T20 von Dell auf einer SSD installiert. Nun habe ich jedoch noch eine Festplatte eingebaut, die ich gerne nutzen würde. Von Proxmox aus habe ich keine Option gefunden eine Festplatte einzubinden. Wie kann ich eine neue Festplatte hinzufügen?
Es handelt sich um eine physische Platte mit einem TB.
Danke für eure Hilfe

Storage Model - Proxmox VE

den Punkt hattest du wohl nicht gesehen

 

[kpax]

Moin,
hat schon einer Erfahrungen mit dem Energieverbrauch im Zusammenhang mit den verschiedenen Kernel Versionen gemacht?
Habe Proxmox nun auf meinem HP Mikroserver Gen8 laufen und darauf eine XPenology VM mit einer durchgereichten 3TB Platte.
Der Verbrauch im Idle liegt bei 28 Watt laut Messgerät. Mit XPenology direkt auf dem Mikroserver lag der Verbrauch bei 21Watt.
Die Zusätzliche SSD für Proxmox fällt raus, da ich sie extern Spannungsversorge, da ich noch keinen passenden Adapter für den Gen8 habe.

 

[bigghost]

Hi, ist dem einem oder anderem schon mal aufgefallen das es zwischen ext3/ext4 massive Performance unterschiede gibt.
Konto das noch nicht mit Kernel 3.x nachtesten. Aber mit dem 2.6 hatte ich mit pveperf gravierende Unterschiede.
Findet man auch im Netz einiges an Infos drüber.

 

[bongo120]

Hallo,

ich versuche gerade bei meinem Proxmox 3.3 einen NFS Share anzubinden. Der NFS dienst wird von einem FreeNAS als VM bereit gestellt. Wenn ich diesen mit meinem Mac aufrufe geht dies auch ohne Probleme. Wenn ich aber dies mit dem Proxmox versuche, kann ich mich verbinden, aber es wird mir keine Größe für den Share angezeigt und wenn ich auf Content gehe kommt der Fehler 500.

Ich musste bei dem Einrichten des NFS Shares auch keine Benutzerdaten eingeben, was mich gerade etwas verwundert. Wo kann ich diese beim Proxmox hinterlgen?
Ist ein NFS share eine gute Lösung oder sollte ich es lieber mit iSCI umsetzen?

Jetzt habe ich noch eine zweite Frage zu der HTML5 Konsole unter dem Safari Browser auf meinem Mac und meinem iOS Geräten. Hier ist es mir leider nicht möglich eine Verbindung aufzubauen unter Chrome auf dem Mac geht dies tadellos. Weiß einer von euch wie man es mit dem Safari zum laufen bekommt?

Danke

 

[bigghost]

Wenn du NFS nutzen willst für ISO´s oder um Backup´s zu schreiben alles ok. Sollten die VM´s darauf laufen das vergiß
das besser.Es sei es laufen nur 2-3 VM´s. VM´s sind sehr io-lastig und dafür ist NFS nicht zu gebrauchen.Binde die Drives lieber als ISCSI ein.
NFS mit richtiger Größen Anzeige klappt bei mir aber der NFS Server hat auch keine Userverwaltung.

 

[phlowx]

Lass das nicht die Jungs von Netapp hören Gibt genügend NFS-Storage Systeme die locker mehrere 100 VMs verkraften.

Hier ein Whitepaper von VMware, in dem die Protokolle vergleichen werden:
http://www.vmware.com/files/pdf/perf_vsphere_storage_protocols.pdf

 

[bigghost]

Naja hatte letztens im LAB ein NFS Server von Nexenta. Basierte auf OpenSolaris mit ZFS,96GB RAM die Büchse.Waren zwar nur eine Handvoll Platten im raidz2 drin. Aber beim erstellen von kleinen Files waren nur 20-30 Stück/s drin.Unsere NFS Server im Haus schafften ca 500/s (Solaris,RHEL).
Nexenta setzt fest auf sync und unterstützt kein async default. Async erzwingen war möglich aber ohne USV nicht sicher (Daten wurden nur alle 10s weggeschrieben).Oder man hätte noch eine WriteCache SSD eingesetzt.Damit waren dann ca 700+Files/s drin.

Aber jetzt mal auf VM´s bezogen 700*1500 Byte/s zu ändern ist ja massiv schlechte Leistung.NFS ist gut für großen Datenmengen aber nicht für kleine Blöcke und hoher IO Last.

Siehe mal oben den Beitrag von trendco
"
Frage an diejenigen, die per NFS angebunden haben: Was für Werte habt Ihr bei "pveperf" auf den NFS-Mount?
Ich hab wie schon erwhänt ein AIO mit Nas4Free (ZFS) als Datastore, der per NFS an Proxmox geht. Trotz SSD-Mirror hab ich einen grottenschlechten Wert bei pveperf:

FSYNCS/SECOND: 307.59
"

Ich habe mit Proxmox auf einem DELL R720 mit lokalen 10k Platten 5000 FSYNCS/SECOND und wenn man sagt das man zw. 50-75 F/S pro VM haben sollte. Würde bei dem NFS von trendco nach 6 VM´s schon die Luft raus sein.Es sei man hat Zeit zu viel

 

[trendco]

Da Proxmox seit 3.4 nun ZFS direkt lokal unterstützt, habe ich meinen Mirror SSD-Pool "lokalisiert", also ohne den Umweg über die Nas4Free Storage-VM/NFS. Was allerdings sehr seltsam ist, der "FSYNCS/SECOND:" Wert stieg nur auf ~450 an!? Beim ZFS Pool/Dataset ist natürlich "sync=standard" eingestellt. Zum Test hab ich es kurz mal abgeschalten und hatte dann einen Wert von über 30.000 - allerdings ist natürlich "sync=disabled" keine Option für mich. Ist ZFS trotz schneller SSD's so lahm?

Noch was anderes: Wenn ich einen Festplatten-Controller per Passthrough an eine VM durchreiche, sind ja die Platten logischerweise am Host nicht mehr sichtbar. Wenn ich die VM dann aber wieder herunterfahre, erwarte ich eigentlich dass die Platen wieder am Host sind, was aber bei mir nicht der Fall ist. Wie ist das bei Euch?

 

[LichtiF]

Solange der Controller der VM per Passthrough zugewiesen ist das so ist bei ESXi auch nicht anders.

 

[trendco]

So wie ich das weiss, handelt das ESXi aber anders. Dort wird wird das Gerät einer VM übergeben, danach muss der Host einmal neu gebootet werden und ab dann fehlt es dem Host immer, auch nach einem Neustart.

Bei Proxmox/KVM läuft das aber anders. Nach einem Reboot ist immer zuerst alles am Host, es sei denn, man hat die entsprechenden Treiber geblacklisted, was aber, zumindest meiner Erfahrung nach, nicht notwendig ist. Wenn man dann die entsprechende VM startet, wird das Passthrough PCIe-Gerät vom Host entkoppelt und der VM übergeben. Nach dem Shutdown der VM, soch dachte ich bis jetzt zumindest, kommt das Gerät wieder zurück zum Host. Das ist allerdings bei mir momentan nicht der Fall

 

[Fischje]

ich muss die geräte bei mir im host blacklisten, sonst bleiben meine vms (zumindest bei dem m1015) beim boot sogar stehen

 

[trendco]

Echt jetzt? Also ich reiche eine DVB-S2 Karte, den onBoard-Sound und einen der beiden onBoard-SATA Controller durch, aber alle ohne Blacklisting.
Läuft Dein M1015 im IT Mode oder hat er noch sein BIOS drauf, dass beim booten angezeigt wird?

Edit: Mit welchem Kernel arbeitest Du? 2'er oder 3'er ?

 

[Fischje]

Echt jetzt? Also ich reiche eine DVB-S2 Karte, den onBoard-Sound und einen der beiden onBoard-SATA Controller durch, aber alle ohne Blacklisting.
Läuft Dein M1015 im IT Mode oder hat er noch sein BIOS drauf, dass beim booten angezeigt wird?

Edit: Mit welchem Kernel arbeitest Du? 2'er oder 3'er ?

3.1x kernel. it-mode ohne bios. supermicro x10er board.

hmm mit dem update auf 3.4 könnte ich ja einen erneuten test starten, was das durchreichen angeht - obwohl ich im moment gestehen muss, reizt mich esxi schon nochmal.

 

[trendco]

Ich könnte den onBoard-Controller den ich durchreiche gar nicht blacklisten, weil beide SATA-Controller den "ahci" Treiber benutzen. Würd ich das machen, würde mein System ja nicht mehr booten

Welches Board hast Du genau? Ich habe das X10SAE, da kommt übrigens demnächst noch ein neues BIOS raus in dem es anscheinend (laut Support) auch Verbesserungen bzgl. Passthrough geben soll.

Übrigens, wie schon oben geschrieben, die 3.4 von Proxmox unterstützt jetzt ZFS, d.h. Du kannst sogar für die Installation von Proxmox selbst ZFS als Filesysetm wählen. Für den reinen Datastore der VM's reicht die Konsole ja vollkommen aus um einen Pool anzulegen etc. Überwacht wird das ganze mit zed ja auch noch automatisch (Email etc. muss natürlch kurz konfiguriert werden).

 

[Fischje]

ich verwende das Supermicro | Products | Motherboards | Xeon® Boards | X10SLH-F

 

[bigghost]

Ich hatte zum Test mal die 3.4 als System(3.10 Kernel) mit ZFS installiert mit 15k Drive Raid1 und nur lumpige 300 Fsycs gehabt.
Mit Ext3 ca. 6000. Musste aber feststellen das Fsyncs nicht alles sind. Ein Test mit lokalen Pool 4*SSD Raid5 da springen auch nur ca 6-7k Fsycs bei rum.Danach mal diesen SSD Pool in einen anderen Server mit 10G Anbindung gesteckt und mit NFS4 freigegeben. Wollte einfach mal einen NFS Server testen für einen Proxmox Unterbau. Dabei kamen 1500 Fsyncs bei rum.Aber mit vernünftigen Benchmark (fio) hatte ich 90k iops lesen 4k Blöcke
und 50k schreibend. Fast genau das selbe als wie die SSD´s local verbaut waren.Das pveperf kann man getrost in die Tonne werfen.Ist aber nur meine Meinung

 

[Fischje]

Wie machd ich am besten komplette backups meiner linux vms die ich auch auf nem normalen rechner wiederherstellen könnte, also ohne host?
Am besten über ein image..

 

[bigghost]

Ist zwar total unsinnig. Aber in der VM eine LiveCD booten und mit dd oder clonezilla alles sichern und in einen anderen Datenträger schreiben.Bevor ich so einen Zirkus anfange installiere ich eher Proxmox neu.

 

[Ferengi]

oder mit qemu-img die vm in das raw-format wandeln und dann mit dd auf die platte kopieren (selbst aber noch nicht ausprobiert)

 

[paulianer]

Moin Leute,

kann mir jemand etwas Hilfe geben beim Einrichten einer zweiten Festplatte? Ich habe eine 750er Notebook-HDD (Proxmox) und möchte für VM-Images eine 250er SSD einbinden.

Nun weiß ich ehrlich gesagt überhaupt nicht weiter: Mounten und dann per Directory oder als LVM Gruppe? Ich als Windows-User bin da etwas überfordert.

 

[trendco]

Filesystem auf die Platte, mounten und dann unter "Rechenzentrum / Storage / Hinzufügen / Verzeichnis" den Mount hinzufügen. Dort musst dann auch gleich unter "Inhalt" festlegen, was alles auf diesem neuen Storage möglich sein soll: Disk-Image's, ISO's, Backup's, ...

 

[paulianer]

Danke für die Antwort.
Genau das habe ich schon gemacht. EXT4, batched discard per Cron und dann den Pfad /mnt/ssd hinzugefügt. Was mich nur gestört hat war, dass im Proxmox Wiki unter Storage steht, LVM sei die beste Möglichkeit zusätzliche Blockdevices hinzuzufügen. Nur darauf kann ich keine Qemu-Images ablegen (noch sonst irgendwas).

Leider fehlt mir das Hintergrundwissen und nach kurzer Recherche am Wochenende war ich auch nicht schlauer. Ich muss mich da bei Zeiten noch viel weiter einlesen. Ich habe zum Beispiel noch nicht verstanden, wie überhaupt die Root-Festplatte gemountet ist. Ist die als LVM eingebunden welches dann wieder gemountet und als Directory genutzt wird? Ich habe keine Ahnung

 

[McTNT]

Hi an alle, hab mal eine kleine Konzeptfrage.
Jetzt mit dem ZFS Support würde mich Proxmox echt bei meinem Hauptserver reizen. Nun weiß ich nur noch nicht wie genau ich die Geschichte aufbauen soll.
Das Vorhaben, ein RaidZ mit Cache+LOG mit 2x250GB SSD und 4x2TB HDD. Also ein großes Array für alle VMs und Daten. Nur dass ich die Daten nicht in eine Storage VM klopfen will… Hätte gerne die Daten direkt am Array und würde gerne gleich damit arbeiten wie mit Windows VSS, also am Client mit „Vorgängerversionen“ zurückkommen. Ist das überhaupt möglich? Also Samba auf Proxmox installieren und alles manuell konfigurieren sollte in jedem Fall gehen, aber naja komfortabel ist was anderes…
Hat jemand einen Vorschlag bzw hat das Selbe Vorhaben? Gibt’s nicht ne nete ZFS-Webgui für Linux?

 

[trendco]

Genau vor diesem Problem stehe ich auch

Schau mal hier: Use Host-Filesystem in Guest? (Shared Folder)
Leider geht das aber momentan noch nicht, aber vielleicht wirds ja noch eingebaut.

Eine andere Möglichkeit wäre, den ganzen Pool per NFS an eine "Verwaltungs-VM" freizugeben und von dort aus dann über eine Webgui den Rest freizugeben (SMB, AFP, etc), allerdings könnte man von der dann keine NFS Freigaben machen, weil NFS Freigaben von einem gemounteten NFS nicht geht, zumindest hab ich's nie hinbekommen.

Die einzige mir bekannte Verwaltung direkt auf dem Host wäre napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana, Solaris and Linux ownloads, die anscheinend auch unter ZoL laufen soll aber wohl nicht mit allen Funktionen. Habs aber nie gestestet.

Falls Du eine Lösung hast, lass es mich bitte wissen

 

[McTNT]

Genau vor diesem Problem stehe ich auch

Schau mal hier: Use Host-Filesystem in Guest? (Shared Folder)
Leider geht das aber momentan noch nicht, aber vielleicht wirds ja noch eingebaut.

Eine andere Möglichkeit wäre, den ganzen Pool per NFS an eine "Verwaltungs-VM" freizugeben und von dort aus dann über eine Webgui den Rest freizugeben (SMB, AFP, etc), allerdings könnte man von der dann keine NFS Freigaben machen, weil NFS Freigaben von einem gemounteten NFS nicht geht, zumindest hab ich's nie hinbekommen.

Die einzige mir bekannte Verwaltung direkt auf dem Host wäre napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana, Solaris and Linux ownloads, die anscheinend auch unter ZoL laufen soll aber wohl nicht mit allen Funktionen. Habs aber nie gestestet.

Falls Du eine Lösung hast, lass es mich bitte wissen

Hatte gleich nachdem ich den Beitrag geschrieben hatte Napp-it gesehen. Soll man unter Debian7 recht einfach installieren können wie ich gesehen habe. Werde es mal am Testserver testen und berichten.
Die ganze Konzeptgeschichte von Proxmox und ZFS finde ich TOP, nur hoffe ich auf ein gutes GUI Management in der nächsten Version um die Funktion wirklich gut nutzen zu können. Es sind halt einfach die Kleinigkeiten die mich noch bei ESXi halten. Wenn das so geht wie ich er mir denke wäre das ein wirklich guter Grund zu wechseln. Wenn ich ne Storage-VM habe muss kann ich auch bei ESXi bleiben… so denke ich es mir halt.
Eine Frag habe ich aber noch, wie verwaltet Proxmox den RAM bei ZFS?? Nimmt er all das was gerade nicht einer VM zugewiesen ist, oder wie läuft das? Hab diesbezüglich nicht wirklich was gefunden.

 

[trendco]

Bzgl. RAM: Schau mal hier https://pve.proxmox.com/wiki/Storage:_ZFS bei "Limit ZFS memory usage"

 

[besterino]

Ich habe ZFS/napp-it unter Ubuntu 14.04 laufen und bisher läuft es (zugegeben mit wirklich sehr überschaubarer Last auf Netzwerk und Filesystem) weitgehend problemlos. Musste allerdings bei der Ersteinrichtung für einige wenige Dinge die Konsole bemühen, da das mit dem GUI von napp-it nicht 100%ig klappte. Habe das aber unter Hyper-V aufgesetzt, aber warum sollte das nicht auch mit proxmox gehen...