[Sammelthread] Proxmox Stammtisch

[uan]

schaue bitte in der /etc/pve/storage.cfg nach.
Da steht dann sowas drinnen und die unerwünschten Einträge einfach rauslöschen:

dir: local
        path /var/lib/vz
        content iso,backup,vztmpl

zfspool: local-zfs
        pool rpool/data
        content rootdir,images
        sparse 1

pbs: pbs-hp
        datastore datastore1
        server pbs-hp.home.xxx
        content backup
        fingerprint xxx
        prune-backups keep-all=1
        username backup@pbs

zfspool: ssd-pool
        pool ssd-pool
        content rootdir,images
        mountpoint /ssd-pool
        nodes pve-tmxxxx

das wars, danke, wie geil und einfach ist das denn...

 

[Pixolantis]

Für ein Test habe ich eine alte QNAP Mellanox x4 Karte (QXG-10G2SF -CX4) die mit dem Lüfter aber extrem laut ist. Vielleicht ist sie such langsam defekt.

Ich wollte mir nun auf ebay eine günstige X710-DA2 holen. Die meisten werden als CNA angegeben. Ich weiss grad gar nicht ob alle x710 CNA sind.
Muss ich da auf was achten? Hab einige Einträge gelesen das es bei der X710 in Proxmox Probleme gibt und frage mich daher ob das je nach Version der Fall sein könnte

 

[Fusseltuch]

Ich würde die 700er-Serie und 800er-Serie von Intel meiden. Ich mache ja keinen Hehl daraus, dass ich kein Freund davon bin. LLDP funktioniert nicht richtig, HW-Offload bei vielen VLANs funktioniert nicht bzw nur mit Einschränkungen. Ich hatte bisher mit keiner Serie so viele Probleme wie mit der 700er.

Ich würde stattdessen eine Mellanox ConnectX4-Lx holen. Sind zwar etwas älter, funktionieren dafür aber zuverlässig, ohne dass man irgendwelche Supportseiten quälen muss, um die richtigen Einstellungen zu finden. Die gibt's als OEM von HP oder IBM/Lenovo gebraucht für einen schmalen Kurs.

 

[Pixolantis]

Die X4 funktioniert wirklich gut. Auch meine QXG-10G2SF-CX4 ist ne X4 aber leider mit Lüfter.

Die meisten X4 bei ebay haben SFP28. Die 3er sind da schon besser zu finden.
Die Intel sind Interessant da sie Moderner sind, wobei eben immer wieder von Problemen zu lesen sind. Beruflich hatte ich da zwar bisher nie Probleme, aber das sind auch andere Geräte

 

[Fusseltuch]

Als HP 640SFP28 aber trotzdem günstig zu bekommen, ohne Lüfter. Und SFP28 und SFP+ sind kompatibel zueinander. Die "fressen" auch anstandslos jedes SFP+-Modul, welches ich probiert habe.

 

[Pixolantis]

Danke. Hatte da mal ein problem bei SFP28. Aber ist zu lange her um noch zu wissen ob es nicht das Modul war…
Ich schau mir mal noch die X-4 an ob ich was günstiges sehe

 

[besterino]

Zur Not sowas: https://www.amazon.de/dp/B07XXVDLB8?psc=1&ref=ppx_yo2ov_dt_b_product_details

Funzt in meinen CX4/CX5. Nicht ganz günstig, aber wenn man dadurch die Option hat, auch mal auf 100Gbit zu gehen....

 

[gea]

Ich habe zunhmend den Eindruck, dass sich Proxmox zu DEM Linux Universalserver mausert, da

• aktueller, sehr gut gepflegter Kernel mit Debian als Basis
• sehr gute Virtulisierungsfähigkeiten
• gut gepflegtes ZFS
  
  Damit ist der Weg frei für Proxmox als Universal-Server Linux nicht nur für beliebige Dienste als VM sondern auch als Storageserver mit ZFS. Eine Storage-VM unter Proxmox sehe ich als obsolet an, wenn man damit auch nur Dateisysteme über einen zum Proxmox eigenen identischen SAMBA Server freigibt. Die Hauptgründe für eine Storage VM bleiben derzeit noch die eingeschränkten ZFS Management Funktionen in Proxmox oder eine Illumos/Solaris VM weil damit SMB Shares mit Windows ntfs ACL Rechten (NFSv4) ohne den smb.conf Masochismus vonstatten geht - zfs set sharesmb=on und alles gut.
  
  Wem aktuell die ZFS Managementoptionen in Proxmox nicht ausreichen, kann ja mal mein napp-it cs unter Proxmox testen. Das Management erfolgt dann über eine Web-GUI im die man einfach unter Windows herunterladen und starten kann. Unter Proxmox installiert man den zugehörigem Management Dienst mit
  
  wget -O - www.napp-it.org/nappitcs | perl
  (aktueller Stand: beta, frei für noncommercial use)

 

[besterino]

Absolut. Selbst ich teste ja gerade damit/daran rum. :P

 

[Trambahner]

Dito .

Die Tage möchte ich mal Intel Arc A750 passthrough probieren mit 8.2 . Hoffe , ich komm dazu.
a ) obs sauber-brauchbar geht und b ) wie dann die Idle-Leistungsaufnahme der Arc aussieht. Gerade Letzteres ist ja gerne ein Problem.

Wenn das hinhaut und mich im Idle nicht unnötig mit Strom arm frisst > AV1 Encoding VM mit QSVenc.

 

[besterino]

Ich hab immerhin schon erfolgreich nen LSI HBA per passthrough durchgereicht. Der Weg dahin war allerdings nicht 100% geradeaus und ich weiss gerade noch nicht wirklich, woran's eigentlich lag, dass es erst nicht und dann doch funkionierte.

Aber egal. War bei ESXi bisweilen auch so. Wenn's dann läuft, nicht mehr anfassen und gut ist.

Ich muss allerdings zu meiner Schande gestehen, dass ich so'n Windows-Server gerade echt bequem finde, und das Featureset ist auch ziemlich attraktiv. Wenn der (offizielle) Preis nicht wäre bzw. die kostenlose Variante vom 2019er Hyper-V nicht endlich...

 

[sandreas]

Wem aktuell die ZFS Managementoptionen in Proxmox nicht ausreichen, kann ja mal mein napp-it cs unter Proxmox testen.

Es gibt auch ein Tool namens Cockpit ZFS Manager. Ich bin mir nicht sicher, ob das so gut ist, aber ich habe gelesen, dass ein paar Leute das nutzen.
Napp-it klingt auch nach einem sehr spannenden Projekt - was mich ein bisschen davon abhält, ist, dass ich auf meinem Proxmox-Haupt-Server nicht unbedingt ein Web-Interface / den "Management Dienst" eines Drittanbieters mit "root"-Rechten installieren will, auch wenn der Server von außen nicht erreichbar ist.

Ich bin sicher, dass du dich sehr um die Security bei napp-it bemühst - hast du denn schon mal einen Pentest machen lassen? So wie ich das gesehen habe, verwendest du perl als Programmiersprache und im Grunde lieferst du die entsprechenden Scripte komplett mit dem Release aus - das könnte es einem Angreifer erleichtern, im Sourcecode nach Schwachstellen zu suchen und fündig zu werden. Und machst du napp-it ganz alleine oder mit einem Team?

Für den wget-Download wird z.B. kein https erzwungen - da könnte man per Man-in-the-Middle ein schönes Script dazwischen schieben Da du auf napp-it.org ein SSL-Zertifikat hast, ließe sich das sicher leicht anpassen...

Nix für ungut, ich meine das wirklich nur konstruktiv.

 

[BobbyD]

Ich muss allerdings zu meiner Schande gestehen, dass ich so'n Windows-Server gerade echt bequem finde, und das Featureset ist auch ziemlich attraktiv.

Ich betreibe Proxmox nested in HyperV, läuft. 😁

 

[besterino]

 

[gea]

All in One MKII

Vor ca 15 Jahren habe ich das All in One Prinzip vorgestellt (ESXi + ZFS Storage) und aus dem FreeNAS Forum damals zu hören bekommen, dass ein virtualisierter Storageserver gar nicht funktionieren kann, jetzt ist das Standard, https://hardforum.com/threads/opens...nios-openindiana-solaris-and-napp-it.1573272/

Heute kann man das immer noch so machen um besondere Features zu haben (in der Web-GUI oder Solaris Kernel SMB statt SAMBA). Für viele Anwendungsfälle ist aber der Leistungsumfang von Proxmox genau richtig, lediglich ZFS Management ist naja. Proxmox läuft zwar nicht in einem Frame aber man kann das als weiteren Tab gut mit einer ZFS GUI kombinieren die ZFS Management abdeckt.

zum Thema Sicherheit
Napp-it cs ist copy and run, kann man ganz normal im Browser herunterladen oder per wget https://

Das Problem sehe ich nicht im Download sondern im normalen Betrieb. Da sollte man VM oder Storage Server nicht im Internet erreichbar machen und nur im sicheren Netz oder vlan betreiben oder die entsprechenden Management Ports 80,443, 63000 per Firewall blocken und z.B. nur SMB Traffic ins geschützte Netz zulassen. Generell ist die Lösung nicht für Umgebungen mit erhöhten Sicherheitsansprüchen geeignet. Möchte man von ausserhalb drauf dann nur per vpn z.B. Wireguard.. Da napp-it als einzigen Dienst einen minimalen Apache benötigt, sind mögliche Sicherheitslücken weitgehend darauf beschränkt. Den Datenverkehr zwischen Server und napp-it sollte man nicht abhören können, auch sollte man den cs_server auf die ip der Managementstation beschränken.

 

[sandreas]

Napp-it cs ist copy and run, kann man ganz normal im Browser herunterladen oder per wget https://

Das weiß ich. Aber der von dir gepostete Befehl nutzt leider kein https (auch nicht per redirect). Aber ich will nicht drauf rumreiten, man kann es ja einfach über https laden.

Generell ist die Lösung nicht für Umgebungen mit erhöhten Sicherheitsansprüchen geeignet.

Ok, verstanden.

Da napp-it als einzigen Dienst einen minimalen Apache benötigt, sind mögliche Sicherheitslücken weitgehend darauf beschränkt.

Mmh... und über den Apache läuft also ein Perl-Script (CGI?), was man via http(s) mit Parametern aufruft (https://mein-proxmox-server/napp-it.pl?tuwas=1) - dieses perl script führt dann im Hintergrund via shell-exec die Aktionen durch? Entsprechend würde napp-it (als client) dann mit diesem Management-Script via http request kommunizieren, um storage zu verwalten?

Ich meine, wenn napp-it einfach nur als SSH Client fungieren würde und via public key auth shell befehle auf dem Server ausführt, dann wäre das ja ne halbwegs sichere Sache. Aber ein perl Dienst auf dem Apache-Server wäre ja dann schon sicherheitsrelevant, wenn der als API mit Storage-Verwaltungs-Berechtigungen fungiert (string-handling, command-injection, information-leaks, etc.).

Es geht mir nur darum, dass einem klar sein muss: Man verwendet hier ein (wenn auch von den Features tolles) Projekt, das in nahezu allen Umgebungen zusätzlich via Firewall abgesichert werden müsste, um ein gewisses Maß an Sicherheit zu gewährleisten. Diese Firewall-Absicherung müsste ich ja dann als Netzwerk-Admin meines Homelabs selbst vornehmen (mit eventuell hohem Aufwand).

 

[gea]

Klar ist dass eine Storage Management GUI root Rechte braucht, sonst ginge zfs und zpool nicht. Man kann zwar die erlaubten Befehle beschänken, ein zpool destroy && zpool create wäre dannn immer noch möglich ohne undo option. Die angesprochenen Probleme betreffen in erster Linie die Kommunikation zwischen den Servern. Die kann man zwar verschlüsseln, hat aber bei shh oder https mit eigenem Zertifikat immer noch das man in the middle Problem. Wenn sich jemand in die Kommunikation dazwischenklemmt, kann er die Session übernehmen.

Im Moment ist mir der Aspekt "Copy and Run" wichtiger und ich gehe von einem "geschützten LAN oder vlan" mit Beschränkung erlaubter ip Adressen aus. Eine starke Verschlüssellung zwischen den Servern ist aber schon ein Schritt der angedacht ist. Dann ist aber Copy and Run plattformübergreifend nicht mehr möglich weil dann vorab Software installiert werden muss. Hat alles Vor und Nachteile.

 

[sandreas]

Die angesprochenen Probleme betreffen in erster Linie die Kommunikation zwischen den Servern.

Um SSL ging es mir gar nicht wirklich, das war nur eine Nebensache, die mir aufgefallen war.

Ich wollte eigentlich eher wissen, ob man für den Betrieb von napp-it auf dem Server (in diesem Fall Proxmox)

• a) einen Apache + von dir entwickelte perl-Scripte installiert oder
• b) napp-it nur als client über standardisierte Protokolle (wie z.B. SSH oder die Proxmox-API) mit dem Server kommuniziert und man das prinzipiell auf jedem PC als reine Client-Anwendung laufen lassen kann, ohne den Server via perl-API zu erweitern

Sorry, ich hab mich da vielleicht etwas missverständlich ausgedrückt. Ich gehe von a) aus und beziehe mich deshalb wegen der Security-Anforderungen auf eben genau diese perl-Scripte, welche die API für die napp-it Storage-Verwaltung als root bereit stellen.
Falls in deinen perl-Scripten also eine Sicherheitslücke aufträte, könnte man diese (ohne die von dir vorgeschlagenen zusätzlichen Firewall-Restriktionen) ausnutzen, um als root Befehle auf dem Server auszuführen... Ich hab mir den Quellcode nicht näher angeschaut - es war nur eine Verständnisfrage, wie napp-it aufgebaut ist.

 

[gea]

Napp-it cs (Frontend web-gui) sind perl cgi scripte die unter Apache (Windows) als nobody ausgeführt werden,
Für die "Fernsteuerung" eines Servers (Free-BSD, Proxmox, OSX, Raspberry etc) wird eine Socket Verbindung auf Port 63000 aufgebaut. Diese sollte auf die Frontend IP beschränkt werden und ist mit einem auth string abgesichert (was natürlich bei einem man in the middle nicht hilft). Der socket server der als root gestartet wurde z.B. auf Proxmox führt dann die Befehle wie zfs oder zpool aus.

Auf dem Proxmox wird also ein socket serverscript (+ ein monitorscript gestartet). Das ist ein Perl script das im Hintergrund läuft und kaum Resourcen braucht.
Unter dem Frontend (Windows) wird Apache gestartet und die Scripte für die GUI ausgeführt. Diese Scripte haben keine Adminrechte.

Eine Interaktion mit sonstigen Schnittstellen eines Servers findet nicht statt, wäre auch nicht copy and run oder OS unabhängig möglich. Napp-it cs soll ja prinzipiell überall laufen wo Perl drauf ist und binär 1 und 1 zusammengezählt werden kann.

 

[LehmannE]

Ich bräuchte mal euer Hilfe!
Habe mein Proxmox auf den neusten Stand gebracht 8.2.2! Da wurde der Kernelversion auf Linux 6.8.4-2-pve gebracht.
Der Rechner läuft aber ich komme nicht auf die Web Oberfläche.
Mit PuTTY kommt auch nicht hoch!
Nur ein Bild mit einen Monitor, der dran ist sieht man was. Da sieht alles normal aus, wenn er hoch fährt.

Wenn ich bei Starten des PC die Kernelversion aussuche und auf Linux 6.5.13-5-pve gehe. Bekommen ich wieder eine Web Oberfläche und ich kann zugreifen.

Mein Board ist ein ASRock Rack B550D4iD-2L2T und er hängt an ein 10 GB Port dran.

Könnt ihr mir da weiter helfen?

Gruß Enrico

 

[HydraMc]

Abend zusammen,
ich möchte auf meinen neuen Homeserver TrueNAS SCALE, Pi-hole, Home Assistant, Minecraft Server und in der Zukunft bestimmt noch weitere Dienste laufen lassen. Als Hypervisor dachte ich zuerst an Proxmox, jedoch biete TrueNAS SCALE nun auch viele Virtualisierungsmöglichkeiten. Ein Cluster zu bauen habe ich nicht vor.
Bestimmt wurde das Thema schon einmal hier diskutiert, leider habe ich jedoch den Überblick etwas verloren. Daher meine Frage, gibt es konkrete Gründe Proxmox über TrueNAS SCALE zu wählen.

 

[sandreas]

Daher meine Frage, gibt es konkrete Gründe Proxmox über TrueNAS SCALE zu wählen.

Ja. TrueNAS SCALE ist noch nicht so lange auf dem Markt und ist bei der Virtualisierung nicht so flexibel. Darüber hinaus ist gerade im Bereich Netzwerkkonfiguration meiner Erfahrung nach noch einiges sehr eingeschränkt bzw. instabil. Proxmox hingegen ist gut abgehangen und wird im Enterprise Bereich viel eingesetzt. Das ist ziemlich stabil und kann auch Backup / Restore zuverlässig.

Ich würde TrueNAS SCALE nehmen, wenn ich hauptsächlich ein NAS betreibe, aber hin und wieder mal einfache Virtualisierungsaufgaben habe (ne Windows VM zum Testen aufsetzen, 3 unabhängige kleine Dienste laufen lassen und sowas). Wenn ich aber eher Virtualisierung brauche (Homelab mit vielen Diensten und etwas Netzwerk), dann würde ich Proxmox bevorzugen und die Platten an eine TrueNAS VM durchreichen.

Beitrag automatisch zusammengeführt: 04.05.2024

Nur ein Bild mit einen Monitor, der dran ist sieht man was. Da sieht alles normal aus, wenn er hoch fährt.

Äh... ich bin jetzt nicht sicher wie "basic" ich was dazu schreiben soll, aber:

• Ist Netzwerk richtig angeschlossen?
• Kannst du dich mit ner Tastatur und Monitor am Gerät einloggen?
• Kannst du deinen Router / nen anderen Host in deinem Netzwerk vom Proxmox aus pingen?
• Was sagen die Logfiles?
• Hast du mal eine Live-CD gebootet und geschaut, ob du dich damit verbinden kannst?

Das wären mal so die ersten Tests die ich machen würde...

 

[Trambahner]

Ich werde wohl die Tage mal 8.2.x ausprobieren, ob die manuellen Warteschlangen-Settings für Samba bei die X550-T2 (am X570D4U-2L2T) noch notwendig sind:
Die da nämlich.

 

[NutellaBr0t]

Wenn ich bei Starten des PC die Kernelversion aussuche und auf Linux 6.5.13-5-pve gehe. Bekommen ich wieder eine Web Oberfläche und ich kann zugreifen.

Das liegt an der neuen Kernel Version. Dadurch ändern sich die Netzwerk Interface Namen. Also entweder auf die neuen Namen anpassen, also unter /etc/network/interfaces oder auf die frühere Kernelversion zurück und dort die Interface Namen statisch über die MAC Adresse zuweisen. Wird hier beschrieben.

Das alles wird auch in den Release Notes beschrieben.

 

[LehmannE]

Hallo NutellaBr0t,
Danke für die Info!
Kann man auch eigene Namen nehmen! Die dann immer bleiben? Weil das so im ersten Stück steht.
Das Board hat 4 Netzwerk Ports und 1 IPMI Port z.B:
en10x7101
en10x7102
en1i2101
en1i2102
enIPMI

Über die Weboberfläche ihr geht das nicht oder?


Muss man unter /etc/systemd/network/ 5 neue Dateien anlegen? Für jede Netzwerk Port.
/etc/systemd/network/10-en10x7101.link
/etc/systemd/network/20-en10x7102.link
/etc/systemd/network/30-en1i2101.link
/etc/systemd/network/40-en1i2102.link
/etc/systemd/network/50-enipmi.link
Und in der Datei (.link)

[Match]
MACAddress=?

[Link]
Name=en10x7101

Mit den Befehl ip a in de Shell bekomme ich die MAC Adressen raus? Oder gibt es da noch was besseres?



Gruß Enrico

 

[KurantRubys]

Kann man auch eigene Namen nehmen! Die dann immer bleiben?

Die Beschreibung hast du gelesen? kannst als Interface Name auch Bratwurst01-05 angeben wenn du das möchtest

 

[Supaman]

Kann man auch eigene Namen nehmen! Die dann immer bleiben? Weil das so im ersten Stück steht.

Das ist der Sinn der Sache, das die NICs bei Änderungen der PCIe Konstellation nicht neu durchnumeriert werden.
Allerdings empfiehlt es sich, folgendes zu beachten:

It is recommended to assign a name starting with en or eth so thatProxmox VE recognizes the interface as a physical network device which can then beconfigured via the GUI.

 

[LehmannE]

Dann werde ich das mal probieren!


Ist das so richtig!
Datei erstellen mit den Name " 20-en10x7102.link "
Der Inhalt ist dann:

[Match]
MACAddress=a8:a1:59:xx:xx:xx

[Link]
Name=en10x7102

Die Datei kommt dann " /etc/systemd/network/20-en10x7102.link " hin.
Und unter " /etc/network/interfaces " wird der alte Name enp33s0f1 in den neuen Name en10x7102 geändert.
Auch die vmbr0 muss dann den rechtigen Port dann zugewiesen werden.

Wer das so richtig!
Gruß Enrico

 

[Supaman]

yop, passt.

 

[LehmannE]

Das umschreiben der Netzwerkkarten hat super Funktioniert!

Aber es kommt eine Fehler Meldung bei den LXC.

TASK ERROR: command '/usr/bin/termproxy 5900 --path /vms/101 --perm VM.Console -- /usr/bin/dtach -A /var/run/dtach/vzctlconsole101 -r winch -z lxc-console -n 101 -e -1' failed: exit code 1