[Sammelthread] Proxmox Stammtisch

Ggf interessant: Nachdem ich meinen ehem. ESXI (X570D4U-2L2T und 5950X) auf PVE umgestellt habe (8.1.x), ist mir aufgefallen dass ich bei nachinstalliertem Samba ("am Blech", nicht in ner VM oder Container) deutliche Einbrüche des SMB-Durchsatzes hatte bei der X550-T2 NIC. Kein Problem bei einer nachgesteckten z.B. Realtek 2.5G.
Gegen einen W10-Client mit ner Realtek 2.5G war das immer schwankend zwischen 150 und 200 MB/s. Meist im Mittelbereich dazwischen.
iPerf hat jedoch stets 280 MB/s gezeigt.

Ein Umstellen per "ethtool -L enp36s0f1 combined 4 " auf 4 statt max. 32 (default) RX/TX war die Lösung. Damit gibts nun vollen Durchsatz: 275-280 MB/s.
Dito natürlich für die enp36s0f0 . Mit 2 Warteschlangen gehts auch, mit 8 so "naja". Alles darüber > Bantha Poodo.
Also in die interfaces-Datei als Post-Up eingetragen: läuft.

Mit PVE 7.4 , dazwischen mal als schneller Gegentest draufgehabt, war kein Handlungsbedarf gewesen. Ich hab aber nicht geprüft, was da die default Warteschlangen war.
ESXI (7+8) war auch nicht "bockig" beim Durchsatz, da lief das ebenso out of the Box.

Btw, per ethtool advertise kann man der X550T auch zusätzlich 2.5G und 5G Auto-Negotiation unter Proxmox beibringen, per default kann sie da nur 1 und 10G. (Bei Windows muss man nix tun ausser aktuelle Treiber).


SSD:
Bei WD SN850(X) musste ich auf 4Kn umformatieren, um die volle sequentielle read/write der SSDs im Rohdurchsatz unter Proxmox zu bekommen. Mit 512e > Pooodooooo.
512E: etwa 3,1 GB/s maximum, mit 4Kn Format sind wir bei 6 GB/s. (getestet mit hdparm -t mit und ohne --direct). Und ja, war beidemals mit PCIe gen4 mit 4 Lanes dran,
Bei ZFS reads machts aber keinen Unterschied, über mehr als 2,3 GB/s pro Disk gehts nicht hinaus. Leider.
Letzteres auch bei meinen PM9A3, nur dass die mit 512e zurecht kommen und keine 4Kn benötigen.

Btw, Stromverbrauch out-of-the-box etwa 10W niedriger im Idle als mit ESXI 7. :d
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Trambahner schrieb:
ESXI (7+8) war auch nicht "bockig" beim Durchsatz, da lief das ebenso out of the Box.
Zum Vergrößern anklicken....
Seit Proxmox 8 habe ich auf meinem Fujitsu 3417 auch Zickereien mit der integrierten Netzwerkkarte - allerdings bei Gigabit, auch Intel (e1000). Dazu zählten:

  • Auto-Negotiate nur 10Mbit möglich - fix war mit ethtool solange rumzuspielen, bis es wieder dauerhaft ging (Strom und Netzwerkkabel mussten auch 5 Minuten ab)
  • Große Schwankungen der Übertragungsrate via scp, rsync und SMB (fix war auch nach den ethtool experimenten da, keine Ahnung mehr, was ich alles gemacht hab. War einfach zuviel)
  • Abstürze des gesamten Netzwerk-Stacks (weder per Intel AMT noch via ping erreichbar) - fix war tso und gso auszuschalten

Ich weiß nicht, woran es liegt, aber irgendwie ist das Netzwerk nicht immer in Ordnung unter Proxmox 8. Mit 7.4 war alles tutti.
 
Hallo zusammen, ich bräuchte mal nen Denkanstoß bzgl. ESXi Migration nach Proxmox.

Setup ist aktuell: Server -> M2 SSD mit ESXi, darauf laufen dann 3 VMs (plus ein paar zum Spielen bei Bedarf, nicht so wichtig). Der Onboard SATA Controller ist an eine OmniOS (Napp-It) VM durchgereicht. Alle VMs liegen auf der M2 SSD. Zusätzlich gibt‘s noch nen PCIe M2 Adapter und 2 passende SSDs. Die sollten eigentlich auch mal an die OmniOS VM durchgereicht werden, das hatte aber unter ESXi Zicken gemacht, daher sind die dann erst einmal wieder rausgeflogen. Die stünden aktuell zu freien Verfügung für die Migration.

Nun soll das also nach Proxmox migriert werden. Einen erstzunehmenden zweiten Rechner hab ich tatsächlich nicht vorrätig. Eine Backup-Maschine steht viele km entfernt. Eher keine Option, die für die Migration einzubinden, weil,a) Backupn und b) zu weit weg.

Welche Migrationsstrategie seht Ihr? Doch noch irgendwie einen zweiten Rechner auftreiben, Proxmox installieren und VMs wie oben beschrieben migrieren? Oder auf dem produktiven Server Proxmox auf einem separaten Medium installieren, z.B. auf USB-Stick oder auf einer der beiden freien M2 SSDs, die am PCIe - M2 Adapter hängen? Lässt sich das nachher problemlos auf die M2 SSD umziehen, auf der aktuell noch ESXi und die VMs liegen (könnte ja nach erfolgreicher Migration für Proxmox frei gemacht werden)? Ich möchte ungern mehr Geld in Hardware für die Migration stecken, als sinnvoll und nötig ist, wenn die gekaufte Hardware nachher bloß bei mir rumliegt…

Danke vorab für Eure Tipps!
 
Sodale, bin nun dazu gekommen die Win10 VM vom ESXI, die sich im Januar nicht mehr aktivieren ließ, nen "aktiviert" Status am Proxmox zu verpassen.
Wie hier im Forum empfohlen, die UUID ausgelesen, manuell in der Proxmox-VM eingetragen, VMware-Tools+Grafik raus, Virtiotreiber und Qemu-Gasterweiterung rein.
W7 auf 10 Upgradelizenz hat sich damit wieder aktiviert, :bigok:
 
Hat schon jemand ein Minisforum MS-01 verwendet?

Ich überlege mir ob ich mit einer sehr kleinen M.2/U.2 auf dem äussersten langsamsten Slot Proxmox installiere und mit zwei 2 TB M.2 an den anderen beiden Arbeiten könnte. Oder bringt die kleine Platte nichts da das System eh nur wenig Speicher braucht?

Wenn alles gut läuft und ich später mal mehr Verfügbarkeit Zuhause möchte könnte ich ein Cluster mit zwei oder später 3 mit HA aufbauen.

Für die grossen Daten könnte ich mir vorstellen ebenfalls ein MS-01 beispielsweise mit einem Famtec HD Cage zu verwenden. Hier dann TrueNAS Scale (oder unRAID?) zu verwenden. Mit unRAID wäre es eventuell was Stromsparender da nicht alle Platten angehen.
Edit: Solange kein Cluster in Frage kommt wäre es auch eine Idee (sofern unterstützt) das externe Gehäuse per USB-C anzuschliessen und in Proxmox einzurichten?

Was ich mir noch unschlüssig bin wie ich das Backup von Proxmox abbilden könnte für Snapshots
 
Zuletzt bearbeitet:
Kann Proxmox inzwischen eigentlich SMBdirect (also RDMA, nicht "nur" multichannel)?

Habe nur das hier gefunden, wonach das angeblich im Kernel aktiviert worden sein könnte:


Unter anderem kann man wohl per dmesg schauen, ob 'CIFS VFS: CONFIG_CIFS_SMB_DIRECT' enabled ist?
 
Pixolantis schrieb:
Hat schon jemand ein Minisforum MS-01 verwendet?
Zum Vergrößern anklicken....
Nettes Ding, aber mit aktivem Kühler und deutlich teurer als Eigenbau mit Standard Komponenten.

Pixolantis schrieb:
Was ich mir noch unschlüssig bin wie ich das Backup von Proxmox abbilden könnte für Snapshots
Zum Vergrößern anklicken....
Proxmox Backup Server als VM laufen lasen.

Ein übliches Setup wäre: Proxmox + VMs auf (m2) SSD 1, 2te SSD als Backup Platte für PBS und diese als raw Device durchreichen.
 
Supaman schrieb:
Nettes Ding, aber mit aktivem Kühler und deutlich teurer als Eigenbau mit Standard Komponenten.
Zum Vergrößern anklicken....
Danke dir. Beim Eigenbau bin ich auch noch dran aber fand die kleinen sehr Interessant auch falls mal ein Rackeinbau geplant sein könnte da es da kleine Einbaurahmen gibt.
An was für Komponenten denkst du welche auch BCM/IPMI oder mindestens AMT haben die günstiger mit mindestens der selben Leistung kommen?
 
Danke. Ich bin die Komponenten noch am prüfen, komme da aber nicht wirklich günstiger weg. Natürlich flexibler. Ein Pro Prozessor mit ECC wäre mir der Aufpreis wert.
Aber es ist was gebastelt wenn ich den gleich für HDDs nutzen würde. Also Zusatzkartr um auf dem X16 eine M.2 Karte sowie SATA Erweoterungslarte zu verwenden (was etwas gebastelt sein wird) und auf x4 dann die SFP+ Karte die x8 haben müsste. Da braucht es noch tests ob die wirklich sauber damit funktionieren würde. Habe schon beides gehört/gelesen.
 
Sagen wir so, so ein MS-01 wäre (auch ohne ECC zu thematisieren) nicht meine Wahl, wenn da Last anliegt oder eine Karte verbaut wird, die gut Wärme abgibt.
Vor wenigen Tagen hab ich erst nen Stream mit dem Teil gesehen unter Proxmox, mit ner aktiv belüfteten SFP+ Karte in dem Slot. Der Lüfter von der Karte hat unmotiviert regelrecht das "Schreien" angefangen. Ohne Netzwerklast drauf. SSDs werden auch gut warm unter Last, so dass das noch dazukommt.
Das thermische Budget dieser Mini-PCs , egal ob IO oder CPU-Last, ist halt sehr schnell erschöpft; und dann wirds unangenehm. Erst laut, dann ggf. Sicherheitsabschaltungen oder Crashs.

Ich bin daher generell kein Fan dieser Mini-PCs, wenn sie mehr als bissl Routing und Firewall und 24/7 laufen sollen; der Einsatz muss IMO schon wohlüberlegt für ein Szenario sein.
Die Dinger haben halt nen "Schnuckelfaktor", aber wenn sie wirklich was tun müssen > Ich weiss nicht.
 
Zuletzt bearbeitet:
+1. Bei Servethehome liest man auch sehr gemischte Erfahrungsberichte, gerade was die Kühlung bei auch nur Teillast betrifft, aber auch Stabilität mit Proxmox scheint sehr durchwachsen zu sein.
 
Danke euch. Habe bisher erst ein. Bericht gelesen das der gut dein soll und mich noch nicht weiter damit befasst. Aber dann hat sich der eh erledigt :)
Dann muss ich nochmals Hardware suchen
 
Meine beiden stehen z.B. in der Signatur, der "Zwerg" hat halt kein IPMI/AMT (wäre mit einer IPMI-Karte erweiterbar), ist aber für Desktop PCIE-gen4 Komponenten halt recht sparsam. Mit nem 4350G/4650G/4750G/5650G/5750G könnte man den nochmal etwa 7W drücken, aber dann gibts halt kein gen4 PCIe mehr und weniger Flexibilität bei der PCIe-Bifurcation. Durch den 5600X kann er halt x4x4x4x4 am GPU-Slot und eben gen4. Der läuft derzeit aber so stabil, dass ich an dem Ding aktuell aber kein IPMI vermisse (generell bin ich ja Fan von BMC).
Der steckt übrigens in einem Chieftec ci-01b-op mit abgenommenen Füssen in einem Kallax-Einschub (das ci-02b-op würde mit füßen passen) und ohne CPU-Last ist der annähernd unhörbar. Bei voller Last nur ein leises Rauschen. Einen 5950X könnte der auch ab, Idle würde der kaum nen Unterschied machen. Aber: er bräuchte dann aber für permanente Last nen anderen Kühler (aktuell ist ein Purerock 2 drauf, einem 5950X würde ich nen Thermalright Peerless 120 spendieren in dem Case)

Der "Dicke" hat IPMI, ist aber natürlich höher in der Idlelast: X570, 2x10G Kupfer Intel, IPMI und mehr Lüfter fordern ihren Tribut. (Case: Fractal Meshify 2).

Da der Kram aber nicht 24/7 läuft sondern jeweils nur bei Bedarf an ist, ists powertechnisch nicht so kritisch. Der Zwerg sollte eigentlich nur ein temporärer Proxmox-Experimentierrechner 2022/23 sein, wurde aber quasi zum derzeitigen Standardserver da es sehr gut lief und derzeit auch nicht sooo viel zu tun hat. Damit ist der nun wesentlich öfter und länger an als der Dicke (bis vor 4 Wochen ESXI 7) .

Warum kein Intel aktuell bei mir? ECC ein Grund, x4x4x4x4 Bifurcation ein anderer (was Intel nicht kann) und AM4 zum Beschaffungszeitraum sehr günstig bei gleichzeitig großer Spannbreite von "einigermaßen sparsam" (bei guter Wahl der Komponenten) bis "sehr hohe Leistung" war.

Im Bilder-/Vorstellungsstread sind beide "irgendwo" drin.
 
Zuletzt bearbeitet:
Ich sehe in ungefähr folgende Hardware Abstufungen:
ThinClient für < 50 Euro - wenn es billig sein soll und nicht viel leisten muss
China Box mit n5105 oder n100 CPU - preiswert, kann jede Menge "idle" VMs packen
Selbstbau mit potenter CPU
(Rack) Server mit allem was dazu gehört

Da muss man sich dann entscheiden, wo der Fokus liegt, oder ob man ggf auch splittet und ein low Power System für Firewall/Ide VMs,
und ein potenes System das bei Bedarf eingeschaltet wird.
 
Wobei die ersten Epycs (Generation Zen/Zen+) kein Ausgeburt an IPC und vor allem Taktfreudigkeit waren.

Ich hatte ja mit nem 1920X auf X399DA8-2T als Homelab experimentiert, und der wurde halt so lange der Fokus auf CPU-Threadperformance und nicht I/O liegt, dann vom 5600X weggebügelt. Total Multithread-Leistung waren beide in etwa gleichauf und Singlethread der 5000er halt meilenweit vorne. Bei sowas von niedrigerer Leistrungsaufnahme.

Homelab profitiert halt, meist, von Takt und IPC, weniger von vielen Kernchen.
 
Absolut. Die Epyc klingen vor allem gut wollen aber auch für eine passende Umgebung eingesetzt werden. Ich mag generell die Supermicro Boards. Mit denen (auf Xeon Basis) habe ich einige Jahre nur gute Erfahrungen machen dürfen.
 
Zuletzt bearbeitet:
Ich hab hier noch ein interessantes Thema was mich langsam etwas nervt, ich seh keine Auslastungs-Statistiken mehr. Hat wer von euch eine Idee warum?

1712675478428.png
 
doofe frage und ich komm einfach nicht weiter. ich hab einen docker lxc mit nextcloud, jetzt meckert er das er opcache zu klein ist. ich find die php.ini nicht wo ich das an der richtigen stelle für die lxc größer mache. ich hoffe das ist der richtige faden, vielleicht ist es auch keine promox einstellung sondern im nextcloud container, ich hab schon relativ viel gesucht :/
 
Hab meinen alten Proxmox Host von einem alten Dell Optiplex SFF (intel i7 6te Generation) auf einen HP Elitedesk (intel i5 8. Generation) umgezogen. Vorher hatte ich mir einen alten SFF Rechner bei ebay für unter 30€ gekauft, wo die ganzen Backups für die VM's gespeichert waren. Das ganze lief echt alles ohne Probleme ab, hat schon fast Spaß gemacht. :d

Das ganze läuft jetzt mit einer Docker-VM, Home Assistant VM und Plex VM, mal gucken was da in Zukunft dazu kommt. Mal eben eine neue VM erstellen geht ja echt flott.
 
@Buschpilot Was war der Grund zu welchseln. Ein I7-6 kann geht doch auch schon gut. Wie verhalt sich das denn mit der Auslasung bzw. Performance bei dir?
Habe selbst einen i7-6700 auf dem auf dem 5 VMs und 18 LXC laufen mit Load von ~1 und 12% CPU.
 
Gründe war die limitierte Möglichkeit 3.5“ Festplatten in dem optiplex zu installieren. Ich hätte mir da zusätzliche Halterungen kaufen müssen (ca 20€). Das ganze Upgrade auf den neuen Rechner hat 30€ gekostet, daher hab ich das einfach direkt gemacht. Die neue CPU Hat für etwaige transkoden-Aufgaben für Plex/jellyfin natürlich auch Vorteile.

Insgesamt war die Leistung vom alten i7 auch vollkommen ausreichend (dümpelt bei 1-3% rum) war wahrscheinlich auch einfach der basteltrieb. :)
 
Zuletzt bearbeitet:
MultumInParvo schrieb:
doofe frage und ich komm einfach nicht weiter. ich hab einen docker lxc mit nextcloud, jetzt meckert er das er opcache zu klein ist. ich find die php.ini nicht wo ich das an der richtigen stelle für die lxc größer mache.
Zum Vergrößern anklicken....
Ich denke das hat mit Proxmox so gar nichts zu tun - aber ich kann dir vielleicht trotzdem kurz was zum Nachdenken geben:

Die php.ini liegt auf jeden Fall im docker container und nicht im LXC, solange du nichts anderes eingestellt hast. Je nachdem, welches docker image du verwendest, ist die php.ini an einem anderen Platz. Vielleicht ist das aber gar nicht so wichtig, denn oft sind Konfiguriationen so eingestellt, dass alle config-Dateien in einem bestimmten Verzeichnis geladen werden. Beispiel:

Code: 
# Hauptdatei
/etc/php.ini

# Modul-Verzeichnis - alle ini-Dateien darin werden geladen
/etc/php.d/


Je nachdem, wie das konfiguriert ist, musst du die folgende Einstellung setzen. Entweder es gibt es eine Datei /etc/php.d/10-opcache.ini, dann kannst du eine Datei /etc/php.d/11-opcache.ini mit folgendem Eintrag anlegen:

Code: 
opcache.memory_consumption=256

Dummerweise kann man in nem Docker-Container diese Konfiguration nicht einfach ergänzen oder austauschen, weil der Container beim Neustart ja immer zurück gesetzt wird. Folglich musst du diese Konfiguration entweder über ein Volume reinmounten oder über ein before-starting Skript manuell setzen. Es lohnt sich vielleicht, folgenden Beitrag mal zu lesen.

help.nextcloud.com

Opcache.memory_consumption insane values needed by nextcloud

Hi, some additional reading regarding the Opcache warnings: https://docs.nextcloud.com/server/latest/admin_manual/installation/server_tuning.html?highlight=opcache#enable-php-opcache The idea of the warning is to make you aware that the opcache configuration is not sufficient. That can...
help.nextcloud.com help.nextcloud.com
 
Zum Thema mini-PCs: Ich bin mit meinen 3 NUCs sehr zufrieden. Im Nachhinein hätte mir die günstigere slim Variante auch gereicht, aber gut, so bleibt die Option zur SATA Erweiterung.
 
nbächste frage, gestellt im Mainboard Bereich weil ich dachte, dass es ein Hardware problem ist, aber vielleicht ja auch hier interessant

PCIe Passthrough einer SATA Controller board im nvme steckplatz eines gigabyte boards.

erstellt weil mein hdd spinndown script unter truenas-scale nicht läuft mit device-id scsi hdd mapping von proxmox auf VM (truenas-scale vm). entsprechend will ich jetzt hardware-pcie passthrough versuchen, scheiter aber an der iommugroup.

habs über den ACS Patch im proxmox kernel gelöst. siehe verlinkter beitrag im mainboard faden.
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.

Ähnliche Themen

D
Bester Hypervisor für Windows VMs gesucht
Antworten
10
Aufrufe
1K
Supaman
Supaman
M
[User-Review] LG gram 17 17Z90S-G.AA78G
Antworten
7
Aufrufe
2K
mz_z
M
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh