[Sammelthread] Proxmox Stammtisch

[Eifelaner]

Der Klassiker wäre, dass da ein Namensschema für die Netzwerkinterfaces verwendet wird, sodass sich die Namen ändern, wenn sich an den PCI-Karten was ändert; Ergebnis: Netzwerk kommt nicht mehr hoch.
In dem Fall: In der alten Konfiguration das Namensschema auf etwas Brauchbares pinnen (https://pve.proxmox.com/wiki/Network_Configuration#_naming_conventions), dann umstecken.

Danke für den Hinweis, ich konnte das Problem mit der .link Datei und angepasster "interfaces" lösen

 

[Trambahner]

Ich hab ja mal auf ner Testinstallation angefangen, bei Proxmox mit ksmbd rum zu testen.

Also fluggs ksmbd-tools installiert, user dafür angelegt, ein ZFS Dateisystem angelegt, mountpoint vergeben und ein ksmbd-share auf das Verzeichnis mit dem Mountpoint gesetzt.
Und nun versteh ichs nicht mehr. Ich kann vom Windows Client aus in dieses Share reinschreiben, es wird aber nichts gelistet. Leeres Directory. Schau ich direkt am Server, sind die Dateien
aber in dem ZFS Dateisystem gelandet. Was mach ich falsch?

Mit Samba funktioniert das Problemfrei, der ksmbd scheint aber als Directory das Mount-Verzeichnis an den Client auszugeben, nicht das ZFS-Dateisystem. Daher leer.

ksmbd.conf:

[global]
unix charset = UTF-8
workgroup = DAHEIM
server string = SMB-Server
guest account = nobody
create mask = 0775
directory mask = 0755
browseable = yes
map to guest = bad user
usershare allow guests = yes

# optionally add shares

[share_example]
guest ok = yes
path = /mnt
writeable = yes

[share_example2]
guest ok = yes
path = /tank
writeable = yes

 

[besterino]

Klappts denn bei dem sample-Share?

Füg mal ein „browseable = yes“ bei den Shares hinzu?

 

[Trambahner]

Nope bei beiden.
Schreiben erfolgt immer ins ZFS-Filesystem, lese/directory aus dem "Gast"-Verzeichnis des Mountpoints.

ksmbd scheint hier beim Lesen nicht zu erkennen, dass hier was gemounted wird und es kein "echtes" Verzeichnis ist.
Ist übrigens auch so, wenn ich einen zweiten Pool anlege und versuche da zuzugreifen. Gleiches Problem.

 

[Weltherrscher]

Wenn du Gäste mal deaktivierst und nur authentifizierte User drauf lässt?

//Edith:
Die "map to guest" Einträge mal löschen hilft auch oft, scheint verbuggt zu sein...

 

[pwnbert]

Blöde Frage, aber wie richtet man eigentlich einen Remote Zugang zu einer virtuellen Maschine für Spice ein?

In Proxmox selbst bekomm ich ja ein .vv File zur einmaligen Verwendung.
Beim TrueNAS V-Host ist es so, dass ich selbst ein statisches .vv File erstellen kann mit den Zugangsdaten drin (plain text, wäre für meinen Zweck aber in Ordnung).

Wie macht man das "richtig"?
Könnt ihr mir ein Stichwort nennen, nachdem ich suchen kann und fündig werde?

 

[Weltherrscher]

Remote Spice access *without* using web manager

Linux MINT with virt-viewer version 0.5.6 Seems that version does not include spice support.

forum.proxmox.com

Michel Pawlak / PVE Spice Connect · GitLab

A bash script to easily connect to Proxmox PVE virtual machines' and containers' graphical interface using virt-viewer client and SPICE protocol.

gitlab.com

Beitrag automatisch zusammengeführt: 10.12.2024

Solange dus unter Linux machen willst, gibts nen Bash-Skript für...

 

[Eifelaner]

ich würde gerne meine Proxmox Installation umziehen.

Ist es möglich die beiden M.2's mit der Installation (die VM's liegen auch darauf) auf andere Hardware (Board,CPU,...) umzubauen?

Sauberer wird es vermutlich sein, alles aufs NAS zu sichern und nach der neu Installation auf dem neuen System wieder zurück zu spielen.

 

[Supaman]

ich würde gerne meine Proxmox Installation umziehen.
Ist es möglich die beiden M.2's mit der Installation (die VM's liegen auch darauf) auf andere Hardware (Board,CPU,...) umzubauen?
Sauberer wird es vermutlich sein, alles aufs NAS zu sichern und nach der neu Installation auf dem neuen System wieder zurück zu spielen.

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

 

[Knogle]

Hatte jemand sowas schon mal?
Auf einer Maschine ranzt Proxmox jetzt immer nach einiger Zeit ab.

 

[fallenguru]

Hatte jemand sowas schon mal?
Auf einer Maschine ranzt Proxmox jetzt immer nach einiger Zeit ab.
Anhang anzeigen 1054351

Nein. Wie lang ist "nach einiger Zeit"? Aber viel mehr als ein OpenZFS-Bug oder ein Hardwarefehler kann's nicht sein. Ich tät als erstes RAM testen (oder gleich tauschen, so vorhanden).

 

[Supaman]

Auf einer Maschine ranzt Proxmox jetzt immer nach einiger Zeit ab.

Ja, Ursache war eine Samsung m2 nvme SSD mit einem Firmware Bug. Nach FW Update lief wieder alles stable.

 

[hs_warez]

SSD's für Proxmox!?

Mein derzeitiger Stand der Dinge:

"Eigenbau-Server (TrueNAS scale / derzeit bare metal)": Gigabyte C246M-WU4, Intel Xeon E-2226G, 4x16GB Kingston (KSM26ES8/16ME) ECC-Ram, Intel i350-F2 (LWL), Intel DC 3700 200GB (OS), Dell H330 Controller (LSI3008 "it mode") + 2x Toshiba Enterprise MG07ACA 12TB + 2x Intel D3-S4510 1,92TB

Auf der 200GB Intel DC SSD läuft derzeit TrueNAS scale "bare metal" - ich möchte aber künftig auf Proxmox umsteigen und dort dann TrueNAS als VM laufen lassen und noch ein paar andere Dinge.


Ich würde gerne 2 SSD's gespiegelt (ZFS) betreiben, wo dann Proxmox + die VM's/Container drauf laufen sollen - bin mir aber nicht ganz sicher, was hier am Sinnvollsten ist!?
Hab mir vor einiger Zeit mal 2 Stk. Samsung PM893 480GB Sata SSD's auf Lager gelegt - bin aber irgendwie am überlegen, ob ich die wieder verkaufe und mir 2 M2-SSD's besorge!?

Wie "nötig" ist denn bei diesen SSD's dann PLP?
Der Server hängt an einer ordentlichen APC-USV.

Müssen es also "zwingend" Server-SSD's sein, oder könnte man auch z.B. folgende nehmen!?

• WD Red SN700 NAS 1TB
• Samsung 980 1TB

"Consumer-SSD's" bei TrueNAS ist keine gute Idee - habe ich mal ein paar Monate betrieben - die haben da schon ordentlich gelitten - wie verhält sich das bei Proxmox?


Vielen Dank im Voraus!


LG

 

[gea]

SSD's für Proxmox!?

Mein derzeitiger Stand der Dinge:


Auf der 200GB Intel DC SSD läuft derzeit TrueNAS scale "bare metal" - ich möchte aber künftig auf Proxmox umsteigen und dort dann TrueNAS als VM laufen lassen und noch ein paar andere Dinge.


Ich würde gerne 2 SSD's gespiegelt (ZFS) betreiben, wo dann Proxmox + die VM's/Container drauf laufen sollen - bin mir aber nicht ganz sicher, was hier am Sinnvollsten ist!?
Hab mir vor einiger Zeit mal 2 Stk. Samsung PM893 480GB Sata SSD's auf Lager gelegt - bin aber irgendwie am überlegen, ob ich die wieder verkaufe und mir 2 M2-SSD's besorge!?

bringt auf jeden Fall Performance

Wie "nötig" ist denn bei diesen SSD's dann PLP?
Der Server hängt an einer ordentlichen APC-USV.

was heißt schon nötig.
Für VM Storage sollte man auf jeden Fall sync aktivieren. Auch ohne plp ist im Mirror wegen der Redundanz ein gewisser Schutz der ZIL Daten gegeben. Für ein single Slog ohne Mirror wäre es ein NoGo.

Müssen es also "zwingend" Server-SSD's sein, oder könnte man auch z.B. folgende nehmen!?

• WD Red SN700 NAS 1TB
• Samsung 980 1TB

Desktop SSD sind deutlich schlechter bei steady write und mixed read/write
ZFS erzeugt eine deutlich höhere Schreiblast als "alte" Dateisysteme. Liegt an Copy on Write da dabei Daten nicht geändert werden sondern immer komplette Datenblöcke neu geschrieben werden. In einer großen Textdatei bedeutet das Ändern von "Haus" in "Maus" dann 1M Daten für 1 Byte Änderung bei recsize=1M.
Mit aktiviertem Sync wird jede Schreibaktion zweimal ausgeführt, einmal als Log, einmal als normales Write über den Schreibcache.

"Consumer-SSD's" bei TrueNAS ist keine gute Idee - habe ich mal ein paar Monate betrieben - die haben da schon ordentlich gelitten - wie verhält sich das bei Proxmox

Warum sollte das anders ein.
TN=Debian + ZFS
Proxmos= dasselbe Debian mit demselben ZFS

 

[hs_warez]

Hm, die Auswahl an M2 SSDs mit PLP ist ja ziemlich überschaubar - zusätzlich dann noch der sehr hohe Preis.

Entweder nutze ich doch die Sata-SSDs mit PLP, oder ich versuche es mit „normalen/günstigen“ M2-SSDs (gespiegelt) und schaue mal wie lange sie halten, bzw. rausche sie halt nach ein paar Jahren mal?!

 

[Supaman]

@hs_warez

Ich habe noch 3x m2 SSD m2 mit echtem PLP günstig abzugeben:

Micron 7300 pro - 960GB
Model: MTFDHBA960TDF
Formfaktor: m2 / NVMe 2280

Pro Stück 80 inkl. DHP Paketversand oder alle 3 für 225 inkl. Paket Versand.

 

[BobbyD]

Kann es sein, dass Proxmox ne Bitch ist, selbst wenn man nur bei einem Solo-Host die IP-Adresse ändert? Ich hatte eine zweite IP vergeben auf einer weitere Bridge, auch das Gateway dahin geändert, welches ich für meine Verbindung gar nicht brauche , die alte IP bestand noch. Ich war mit dem Ergebnis nicht zufrieden und hab die Schritte genauso rückabgewickelt, wie ich sie vorgenommen hatte, dennoch war das Mist-Ding nicht mehr erreichbar. Und so was ist mir nun schon das zweite mal passiert.
Da Proxmox bei mir selber ne VM ist, war der Drops schnell gelutscht, dennoch... 😤

 

[Supaman]

Datacenter Manager im Arbeit...

Proxmox Datacenter Manager - First Alpha Release

We’re excited to announce the alpha preview of Proxmox Datacenter Manager! This is an early-stage version of our software, giving you a first impression at what we’ve been working on and a chance to collaborate. What's Proxmox Datacenter Manager? The Datacenter Manager project has been...

forum.proxmox.com

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

 

[pwnbert]

Liebes Froum, es stellen sich mir momentan 2 Fragen, die ich leider nicht ausreichend selbst beantworten kann...

1) Netzwerk für VMs:
Wenn ich jetzt ein TrueNAS als VM laufen lasse (ja, ich weiss, man kanns auch direkt machen), und dort eine gute Netzwerkanbindung haben will (also eine extra NIC, erstmal 2.5G, später 10G).
Muss ich die NIC dann per PCIe Passthrough der VM geben, oder reichts ne virtuelle NIC irgendwie per Bridge (hab mir das mit mehreren NICs noch nicht angesehen) zu machen?
Tut sich da performancemäßig irgendwas (relevantes)? Nicht nur bezüglich sequentiell, sondern auch bezügl. Latenz. Die Frage ist jetzt im "praktischen" Rahmen (mit "normalo" SMB) gesehen und nicht akademisch/theoretisch...

2) VM-Speicherplatz / Write-Amplification:
Wenn ich VMs anlege in dem thin-LVM, gebe ich ihnen dort einfach eine gewisse (maximal-) Größe.
Das kann ich dann natürlich verwenden, wie ich will, also frei mit der Wahl des Filesystems.
=> Was ich leider nicht verstehe ist, ob das nun "in" einem ZFS liegt, oder nicht... Vermutlich schon irgendwie, oder? Sonst wäre ja kein ZFS MIrror über das ganze möglich... (nebenfrage, wirkt da dann ein ARC Cache?).
Das heisst also, ich bin von der Write-Amplification her allgemein eher "ungünstig" unterwegs, selbst wenn ich ein XFS oder EXT4 in der VM mache, noch ungünstiger, wenn ich ein BTRFS oder ZFS drin verwende...
Oder ist das nur ein LVM-Raid-1 wo ein ZFS auf die Proxmox-Partition kommt?

Was für Alternativen hätte ich? Wie macht man das, um möglichst zweckmäßig unterwegs zu sein?
Snapshotting ist wsl. gar nicht sooo das große Thema, meine (die meisten) VMs sind nicht so wertvoll, die sind eher experimentell, stabil muss hauptsächlich der Filer sein.

Geplant wäre ein Mirror (auf welche Art auch immer) aus 2x 2tb KC3000... wsl. per PCIe 3.0x1 angebunden (evtl. ein ZIL/SLOG auf ner 7400pro PLP, wenns Sinn macht) (Home-Hardware halt...)... so schlecht sind die ja nicht, bissl was halten die schon aus, und so viel mach ich auch nicht drauf... richtige Enterprise-SSDs sind einfach kein Thema.

Proxmox OS und VM Speicher selbst wollte ich eigentlich nicht trennen... wäre zwar grundsätzlich denkbar (Proxmox auf SATA SSD), aber wiederum eine Mehrausgabe und komplizierter...



Könnt ihr mir da etwas Licht ins Dunkle bringen?

 

[BobbyD]

Zu 1. Ich würde ne Bridge nehmen, weil "einfacher". Zumindest, wenn man die Hardware mal wechselt. Was ich mir an deiner Stelle aber überlegen würde, ob Du auch VMs hast, die performant auf TrueNAS zugreifen sollen. Dann würde ich das Ganze vermutlich anders gestalten, denn aktuell scheint alles durch einen physischen Switch zu müssen, selbst VMs auf dem selben Host.

 

[gea]

Wenn man Hardware wie eine Netzwerkkarte per Software emuliert, kann das nicht so schnell sein wie echte Hardware. Es gibt Unterschiede in der Emulation was die Effizienz, CPU Last oder Latenz angeht. Von ESXi mit der hochoptimierten vmxnet3 kenne ich es so, dass bei entsprechend potenter Hardware mehrere GBit/s problemlos gehen, 10 Gbit/s nicht erreicht werden und darüber ohne Passthrough garnichts geht.

Wenn man ZFS für Storage nutzt, so sorgen Copy on Write und das doppelte Schreiben bei sync für write amplification. Da ist es egal ob man NFS, SMB, iscsi nimmt, direkt im OS darauf zugreift oder darauf VMs ablegt. Copy on Write ist Vorraussetzung für ein crash resistentes Dateisystem und sync sorgt dafür dass beim Schreiben keine bestätigten Writes verlorengehen (=korrupte VM). Beides will man nicht missen so nimmt man write amplification gerne in Kauf, auch wenn eine VM mit ZFS auf darunterliegendem ZFS das zumindest für CoW verdoppelt. Man kauft halt eine SSD/NVMe die mit dem use case in der angedachten Nutzungszeit klar kommt oder ersetzt die halt wenn nötig.

Arc Cache gehört zu ZFS und jedes OS mit ZFS hat einen. Bei ZFS on ZFS kann man überlegen ob man den eventuell in einer VM ausschaltet. Wahrscheinlich ist es aber so dass das gar keine größere Relevanz auf Performance und Resourcenbedarf hat. Also einfach alles lassen wie es ist: Keep it simple. Besser nichts verstellen als falsch verstellen..

 

[pwnbert]

Danke, soweit bin ich schon.
Mein Problem ist, dass ich eine Ebene tiefer nicht verstehe. Ich verstehe nicht, ob das nun z.B. EXT4 on ZFS oder ZFS on ZFS oder BTRFS on ZFS ist, oder obs einfach nur EXT4/ZFS/BTRFS on plain lvm-mirror ist... siehe oben.

Wenn ich mich undeutlich ausgedrückt habe, sagt mir bitte wobei, dann versuche ich das anders zu forumulieren.
Ich stehe leider wirklich auf der Leitung.

 

[Supaman]

Warum reichst Du das Speichermedium nicht als raw-device an TrueNAs durch ? Und dann mit der gewünschten Anzahl an Laufwerken das gewünschte Speichersystem fahren.

 

[gea]

Wenn man in Proxmox einen ZFS Pool anlegt und die VMs darauf ablegt, so hat man immer "on ZFS". Ist die VM Windows so hat man "ntfs on ZFS", Ist die VM ein Linux mit ext4 so hat man "ext4 on ZFS" oder eben bei einem Linux mit ZFS "ZFS on ZFS".

Arbeitet man mit HBA pass-through z.B. einer Illumos oder Linux Storage VM, so nutzt die VM die physischen Platten mit eigenem Treiber, das ist dann ZFS direkt. Bei einer normalen VM ist ein Gastdateisystem für Proxmox ja quasi lediglich eine große Datei.

Wie Proxmox physical Raw Mapping genau handhabt, kann ich nicht sagen. Bei ESXi war es so, dass die Platten zwar über den ESXi Treiber verwaltet wurden aber ansonst 1:1 als Platte durchgereicht wurden.

 

[pwnbert]

TrueNAS: Das Thema haben wir eh schon, das ist auch kein "Thema"... TrueNAS bekommt einen ganzen HBA und gut ists (habs ja auch schon geschafft von der TrueNAS-OS SATA-SSD am HBA zu booten, was man so ja eig. nicht macht), ums TrueNAS selbst mach ich mir eh keine Sorgen.
Meine Frage 2 ist entkoppelt von Frage 1.

Ich meine diese hier:

Ist jetzt nur so eine quick and dirty installation, werd das dann später nochmal probieren müssen mit anderer Hardware.


Wenn ich die Default Installation mach, dann bekomm ich doch eine Partition für Proxmox selbst und dann den Rest als lvm-thin, wo ich diverse VMs hinlegen kann, wie im 2. Bild zu sehen... ist das nun ein Raid Z Mirror (ZFS) oder sein "stinknormaler" LVM-Mirror (also "Dateisystemfrei")?

 

[wenzilinho]

Wenn du die Installation nur durchklickst dann legt er dir LVM-thin auf der ausgewählten Platte an mit ext4.
Wenn du auf "Options" gehst kannst du btrfs und zfs für einen Mirror (und weiteres) auswählen. Im nächsten Schritt gibst du dann die beiden Platten an.

LVM-Mirror geht glaube ich nur über den Umweg mit Debian vorher ein mdraid anzulegen und darauf dann das logical volume

 

[pwnbert]

Gut, dann muss ich das nochmal durchklicken und genau anschauen.

Ich versteh nur nicht ganz, ob diese z.B. "vm-101-disk-1; raw" jetzt eine Partition am LVM ist, die einfach so der VM zur Verfügung gestellt wird, oder ob das ne Datei auf einem Filesystem ist, in der dann eben der Virtuelle Datenträger erstellt wird, der dann in der VM wiederum formatiert wird, also Dateisystem im Dateisystem.

Für mich würde LVM ja darauf hindeuten, dass es kein Dateisystem selbst ist, aber dafür kenn ich mich eben zu wenig aus...

 

[Mac_leod]

hi, ich hab den pbs eingerichtet und frage mich gerade warum die prune jobs nicht funktionieren.
das einzige was ich in den Logs finde ist das hier:
/var/log/pve/tasks/1/UPIDve:001E2068:080EB2BF:674D30C1:vzdump::root@pam::ERROR: prune 'vm/102': proxmox-backup-client failed: Error: permission check failed - missing Datastore.Modify|Datastore.Prune on /datastore/pbs1

 

[Supaman]

Sind schon Backups auf dem DS vom PBS ? Ansonsten gibt es nichts zu prunen...

 

[gea]

Gut, dann muss ich das nochmal durchklicken und genau anschauen.

Ich versteh nur nicht ganz, ob diese z.B. "vm-101-disk-1; raw" jetzt eine Partition am LVM ist, die einfach so der VM zur Verfügung gestellt wird, oder ob das ne Datei auf einem Filesystem ist, in der dann eben der Virtuelle Datenträger erstellt wird, der dann in der VM wiederum formatiert wird, also Dateisystem im Dateisystem.

Für mich würde LVM ja darauf hindeuten, dass es kein Dateisystem selbst ist, aber dafür kenn ich mich eben zu wenig aus...

Prinzipiell kann man "Raw Blockdevices/zvols", Shares und Dateien ontop LVM/ext4 oder ontop ZFS anlegen. Nur bei Raw Platten ist die Situation klarer. Die Namen helfen da nur bedingt weiter. Man kann ja LVM/ext4 ontop ZFS angelegt haben so wie ZFS ontop einem anderen Dateisystem auf Dateien oder virtuellen Festplatten. Virtualisierer sind da sehr flexibel.

Das passiert aber nicht geheimnisvoll im Hintergrund sondern dadurch dass man eine VM auf einem bestimmten Storagetyp anlegt oder durch Konfiguration der VM. Das hat man daher aktiv selbst in der Hand. Als Grundstorage bietet sich natürlich immer ZFS an weil man nur dadurch Crashsicherheit (CoW), bitrot protection und sauberes sync write garantieren kann. Mit raw Festplatten oder LVM/ext4 als Basis hat man das nicht, Als Ergebnis ist dann alles ontop ZFS.

Ist das Basistorage LVM/ext4 ist alles ontop ext4 (ohne CoW, bitrot protection oder sync)