Was echt genial wäre... evtl. testest du das mit Proxmox (falls kompatible Treiber erscheinen sollten) noch mal oder mit ESXi
[Sammelthread] Proxmox Stammtisch
- Ersteller GrafikTreiber
- Erstellt am
Was echt genial wäre... evtl. testest du das mit Proxmox (falls kompatible Treiber erscheinen sollten) noch mal oder mit ESXi
@Sup_X Zu deiner CPU-Frage: Wenn du Sockel 2011 nutzen möchtest, dann nimm auf jeden Fall eine V2 CPU. Mein E5-2630L V2 (6c/12t @ 2.4Ghz bzw. 2.8 Ghz Turbo @ 60W TDP) ist bedeutend schneller als mein E5-2650 V1 (8c/16t @ 2 Ghz bzw. 2.8 Ghz Turbo @ 95 W TDP).
Für Boards gibt es zwei Möglichkeiten: 1) Du holst dir ein günstiges China-Board von Ebay mit X79 Board wie das hier: https://www.ebay.de/itm/X79-Turbo-M...319576?hash=item3ff5c5c8d8:g:3YYAAOSwa7hgQFMO ANGEBLICH unterstützt es auch Reg DIMM, das ist aber eher ein Glücksspiel, ob das stimmt. Sonst sind die Teile wohl ziemlich brauchbar, auch wenn sie nur normalen DDR3-Ram unterstützen. 2) Du nimmst ein Server-/Workstationboard, dass Reg DIMM unterstützt, da dieser Speicher bedeutend günstiger ist.
Zum Passthrough: Ich hatte meine GTX1650 mal ohne Probleme durchgereicht und mit Moonlight/Geforce Experience genutzt. Von heute auf morgen hat das jedoch nicht mehr funktioniert, da auf einmal die Maus nur noch verzögert reagiert hatte. Aktuell nutze ich eine Quadro P620 V2, die ich in einem R620 an eine Win 10 VM durchgereicht habe für CUDA.
Für Boards gibt es zwei Möglichkeiten: 1) Du holst dir ein günstiges China-Board von Ebay mit X79 Board wie das hier: https://www.ebay.de/itm/X79-Turbo-M...319576?hash=item3ff5c5c8d8:g:3YYAAOSwa7hgQFMO ANGEBLICH unterstützt es auch Reg DIMM, das ist aber eher ein Glücksspiel, ob das stimmt. Sonst sind die Teile wohl ziemlich brauchbar, auch wenn sie nur normalen DDR3-Ram unterstützen. 2) Du nimmst ein Server-/Workstationboard, dass Reg DIMM unterstützt, da dieser Speicher bedeutend günstiger ist.
Zum Passthrough: Ich hatte meine GTX1650 mal ohne Probleme durchgereicht und mit Moonlight/Geforce Experience genutzt. Von heute auf morgen hat das jedoch nicht mehr funktioniert, da auf einmal die Maus nur noch verzögert reagiert hatte. Aktuell nutze ich eine Quadro P620 V2, die ich in einem R620 an eine Win 10 VM durchgereicht habe für CUDA.
Danke für die Info, scheint wohl so, dass ein passthrough nur noch mit Quadro Karten adäquat zu realisieren ist.
Danke für den Hardware Tipp, von den Chinaboards hab ich auch schon was gelesen gehabt, lieber wäre mir gebrauchte enterprise Hardware wie Supermicro aber da habe ich absolut keinen Überblick und der gebraucht Markt scheint zur Zeit auch eher weniger üppig zu sein, von dem was angeboten wird.
Hab ich direkt mal ausprobiert, so wie es aussieht immer noch error 43 ... scheint wohl so, dass dieser für aktuellere Karten wie die RTX Serie ausgelegt ist?
Rocker
Enthusiast
Hallo,
ich habe zum Testen und Probieren einen Server bei Hetzner gemietet - ich habe eine IP zur Verfügung um meinen Host zu erreichen.
Das funktioniert auch alles soweit, ich leite einfach per NAT alles zur virtualisierten OpnSense weiter, bis auf die Ports 8006 und 22.
Hierfür habe ich mich an folgende Anleitung gehalten:
wie gesagt, das klappt auch alles super, ich habe zusätzlich den SSH Login auf Keys umgestellt und die Proxmox Web UI und der SSH Zugang werden mit fail2ban überwacht.
Der Server läuft jetzt schon ein ganzes Stück, und fail2ban hat alle Hände voll zu tun... im schnitt sind ca 250-300 ip´s auf der Bann-Liste.
Ich habe versucht die ufw mit Spammhaus und der Firehol Blacklist zu konfigurieren, leider aber kann ich dann meinen OpenVPN Client auf der OpnSense nach der Aktivierung nicht mehr nutzen, wenn ich die ufw anschalte. Kann man die UFW evtl. so konfigurieren, dass sie grundsätzlich alles erlaubt, bis auf die hinterlegten Spammlisten?
Auf der Opnsense laufen diese Spamlisten mit BLOCK in WAN - und es gibt wirklich einige Einträge im LOG die auf Quellen aus dem Spamlisten schließen lassen.
das heißt, der Proxmox hängt ja vorne dran - er leitet zwar alles an die OpnSense weiter, aber irgendwie hätte ich schon gerne, dass man bereits vor/am Proxmox den "Müll" reduziert.
Hui das war jetzt doch mehr Text als erwartet, zusammengefasst beschäftigen mich gerade folgende Punkte:
Vielen lieben Dank
Gruß Rocker
ich habe zum Testen und Probieren einen Server bei Hetzner gemietet - ich habe eine IP zur Verfügung um meinen Host zu erreichen.
Das funktioniert auch alles soweit, ich leite einfach per NAT alles zur virtualisierten OpnSense weiter, bis auf die Ports 8006 und 22.
Hierfür habe ich mich an folgende Anleitung gehalten:
Proxmox auf Rootserver mit nur 1 Public IP-Addresse + pfSense - NAT IPTables
Proxmox auf Rootserver Proxmox VE betreiben und alles über Virtuelle Maschinen managen. Das alles mit nur 1 IP-Adresse.
schroederdennis.de
wie gesagt, das klappt auch alles super, ich habe zusätzlich den SSH Login auf Keys umgestellt und die Proxmox Web UI und der SSH Zugang werden mit fail2ban überwacht.
Der Server läuft jetzt schon ein ganzes Stück, und fail2ban hat alle Hände voll zu tun... im schnitt sind ca 250-300 ip´s auf der Bann-Liste.
Ich habe versucht die ufw mit Spammhaus und der Firehol Blacklist zu konfigurieren, leider aber kann ich dann meinen OpenVPN Client auf der OpnSense nach der Aktivierung nicht mehr nutzen, wenn ich die ufw anschalte. Kann man die UFW evtl. so konfigurieren, dass sie grundsätzlich alles erlaubt, bis auf die hinterlegten Spammlisten?
Auf der Opnsense laufen diese Spamlisten mit BLOCK in WAN - und es gibt wirklich einige Einträge im LOG die auf Quellen aus dem Spamlisten schließen lassen.
das heißt, der Proxmox hängt ja vorne dran - er leitet zwar alles an die OpnSense weiter, aber irgendwie hätte ich schon gerne, dass man bereits vor/am Proxmox den "Müll" reduziert.
Hui das war jetzt doch mehr Text als erwartet, zusammengefasst beschäftigen mich gerade folgende Punkte:
- diese riesige Anzahl an IP´s die es am SSH Port versuchen - ist das normal?
- könnte man dieses Grundrausachen durch das Verschieben des SSH Ports reduzieren?
- kann man vorher bereits z.B. mit der UFW solche Sachen durch Spammlisten "filtern" / macht das Sinn? - oder ist die Kombi UFW + Proxmox keine gute Idee.
- kann die Hetzner Firewall die ja vor dem Server hängt mit Spammlisten umgehen?
Vielen lieben Dank
Gruß Rocker
Zuletzt bearbeitet:
Den SSH Port auf einen anderen umzustellen macht bei ROOT und VP Server tatsächlich Sinn, dass dein Server weiterhin gescannt wird, lässt sich nicht ganz vermeiden. Was ich mich frage, was soll eine guest sense machen auf einem Root server, soll das eine VPN Schnittstelle zu deinem LAN sein?
Zuletzt bearbeitet:
Ja, ich hatte nach 465 R beta gegooglet und bin dort direkt auf den download Link gegangen.
Reddit - Dive into anything
www.reddit.com
Reddit - Dive into anything
Habe ich auch schon gefunden, brauchst aber trotzdem den Nvidia License Server für die vGPUs oder?
Rocker
Enthusiast
die OpnSense ist quasi der Torwächter zum eigentlichen VM Netz bzw. stellt OpenVPN bereit
Gruß Rocker
martingo
Experte
- Mitglied seit
- 17.01.2017
- Beiträge
- 1.300
Konsequent wäre es, auch die Ports 22 und 8006 weiterzuleiten und den Zugrif darauf dann nur per VPN zu gestatten. Oder die Ports 22 und 8006 erstmal nicht weiterzuleiten, aber über die Hetzner Firewall zu sperren. Übers VPN kommst Du dann trotzdem von innen auf den Proxmox und wenn Deine Sense mal komplett an die Wand gefahren ist, deaktivierst Du nur die Regel im Hetzner Interface und kommst trotzdem wieder auf den Proxmox.
Ich bin da mittlerweile noch etwas weiter gegangen. Bei mir ist es so, dass (auch Hetzner Server) die Public IPs nicht auf dem physikalischen Server hängen, sondern auf der MikroTik VM.
Im PVE habe ich dazu zwei Bridges, die VLAN-aware sind. In der einen Bridge hängt das physikalische Interface, in der anderen Bridge hängt das Virtuelle Management Interface des PVE:
Die Router VM hat ebenfalls zwei Interfaces (ether1 und ether2):
Der Trick ist, die MAC-Adresse der physikalischen NIC an die Router VM zu hängen (siehe oben, das ist die Mac des Boards) und dem PVE dann eine beliebige andere Mac zu geben:
So ist der PVE effektiv nicht mehr von außen ansprechbar. Hört sich im ersten Moment etwas komplex an, aber wenn man PVE und RouterVM per Konsole administrieren kann (das geht dann nämlich auch über die angeschlossene Hetzner KVM-Konsole), dann hat das wahnsinnig viele Vorteile, wenn man mit mehr öffentlichen IP-Adressen oder gar Netzen arbeiten will:
Würde man das über die vorgesehene Funktion bei Hetzner machen (Separate MAC anfordern - so hatte ich es zunächst), dann braucht man pro IP ein separates Interface, was einen Reboot der Router-VM erfordert. Selbst wenn man auf die ungenutzte IP des PVE pfeifen würde. Es ist bisher leider nicht möglich, bei Hetzner mehrere IPs auf eine virtualisierte MAC zu binden.
Auf den ersten Blick hört sich das ganze etwas sperrig an, aber nachdem ich zuvor diverse andere Überlegungen umgesetzt hatte, fahre ich dieses Konstrukt nun seit fast drei Jahren auf mehreren Servern und es läuft hervorragend. Man muss halt PVE und Router auch per Konsole sinnvoll administrieren können (daher auch der Serial Port im zweiten Screenshot).
Viele Grüße
Martin
Ich bin da mittlerweile noch etwas weiter gegangen. Bei mir ist es so, dass (auch Hetzner Server) die Public IPs nicht auf dem physikalischen Server hängen, sondern auf der MikroTik VM.
Im PVE habe ich dazu zwei Bridges, die VLAN-aware sind. In der einen Bridge hängt das physikalische Interface, in der anderen Bridge hängt das Virtuelle Management Interface des PVE:
Die Router VM hat ebenfalls zwei Interfaces (ether1 und ether2):
Der Trick ist, die MAC-Adresse der physikalischen NIC an die Router VM zu hängen (siehe oben, das ist die Mac des Boards) und dem PVE dann eine beliebige andere Mac zu geben:
So ist der PVE effektiv nicht mehr von außen ansprechbar. Hört sich im ersten Moment etwas komplex an, aber wenn man PVE und RouterVM per Konsole administrieren kann (das geht dann nämlich auch über die angeschlossene Hetzner KVM-Konsole), dann hat das wahnsinnig viele Vorteile, wenn man mit mehr öffentlichen IP-Adressen oder gar Netzen arbeiten will:
Würde man das über die vorgesehene Funktion bei Hetzner machen (Separate MAC anfordern - so hatte ich es zunächst), dann braucht man pro IP ein separates Interface, was einen Reboot der Router-VM erfordert. Selbst wenn man auf die ungenutzte IP des PVE pfeifen würde. Es ist bisher leider nicht möglich, bei Hetzner mehrere IPs auf eine virtualisierte MAC zu binden.
Auf den ersten Blick hört sich das ganze etwas sperrig an, aber nachdem ich zuvor diverse andere Überlegungen umgesetzt hatte, fahre ich dieses Konstrukt nun seit fast drei Jahren auf mehreren Servern und es läuft hervorragend. Man muss halt PVE und Router auch per Konsole sinnvoll administrieren können (daher auch der Serial Port im zweiten Screenshot).
Viele Grüße
Martin
Shihatsu
Legende
- Mitglied seit
- 16.08.2005
- Beiträge
- 5.014
Moin, ich hab folgendes Szenario:
Proxmox Host A mit HBA (IT Mode) durchgereicht an eine TrueNAS VM, daran ein ZPool im RaidZ2.
Proxmox Host B mit Backup der TrueNAS VM.
Ziel: Migration des HBA und des daran hängenden ZPools ohne Verlust der Daten (Backup vorhanden), und daran auch gleich mal den Hardwareausfall "üben" und dokumentieren.
Mein Plan:
Backup von TrueNAS VM von Host A
Export des ZPools auf der TrueNAS VM zpool export poolname
Shutdown der TrueNAS VM von Host A
Shutdown von Host A
Ausbau HBA und Platten aus Host A und Einbau in Host B
IOMMU aktivieren, passthrough überprüfen und Adresse herausfinden
Import des Backups der TrueNAS VM
Anpassen der "Hardware" der TrueNAS VM: Entfernen des bisherigen Adapters und hinzufügen des "neuen" Adapters mit der richtigen Adresse
Hochfahren der TrueNAS VM auf Host B
Import des ZPools auf der TrueNAS VM zpool import poolname
Und das sollte es gewesen sein, oder?
Proxmox Host A mit HBA (IT Mode) durchgereicht an eine TrueNAS VM, daran ein ZPool im RaidZ2.
Proxmox Host B mit Backup der TrueNAS VM.
Ziel: Migration des HBA und des daran hängenden ZPools ohne Verlust der Daten (Backup vorhanden), und daran auch gleich mal den Hardwareausfall "üben" und dokumentieren.
Mein Plan:
Backup von TrueNAS VM von Host A
Export des ZPools auf der TrueNAS VM zpool export poolname
Shutdown der TrueNAS VM von Host A
Shutdown von Host A
Ausbau HBA und Platten aus Host A und Einbau in Host B
IOMMU aktivieren, passthrough überprüfen und Adresse herausfinden
Import des Backups der TrueNAS VM
Anpassen der "Hardware" der TrueNAS VM: Entfernen des bisherigen Adapters und hinzufügen des "neuen" Adapters mit der richtigen Adresse
Hochfahren der TrueNAS VM auf Host B
Import des ZPools auf der TrueNAS VM zpool import poolname
Und das sollte es gewesen sein, oder?
Braucht es denn das überhaupt? Wenn du zwei laufende ZFS Dateisysteme hast und machst einen send / retr, dann liegt das Dateisystem doch schon genau so da wie es soll?
Ah okay, also kein Backup im klassischen Sinne sondern eher ein "Umzug"?
Ich habe ein ähnliches Thema.
Habe einen Server mit Proxmox (Fujitsu TX1320M1) und VMs. Diese sichere ich aktuell von der Laufzeitumgebung (SSD) auf eine Backup-Platte (HDD). Des weiteren habe ich ein NAS, das SMB Shares bereit stellt (Backups hier per Rolling Backup mit USB-Platten).
Auf dem Proxmox Server würde ich gerne zusätzlich zu den VMs die SMB Shares bereit stellen und alles auf einen zweiten Server über VPN replizieren. Würdet ihr da der Einfachheit halber auf eine NAS-VM setzen oder nativ per PVE ZSync replizieren? Falls eine NAS-VM, welche Anforderungen stellt das an die Server Hardware?
Und - welche "NAS-VM"?
P.S. An beiden Standorten stehen vorgelagerte OPNsense Applicances zur Verfügung.
Hast du einen Screenshot von Proxmox mit entsprechender Konfiguration, einer "NAS-VM"?
Habe einen Server mit Proxmox (Fujitsu TX1320M1) und VMs. Diese sichere ich aktuell von der Laufzeitumgebung (SSD) auf eine Backup-Platte (HDD). Des weiteren habe ich ein NAS, das SMB Shares bereit stellt (Backups hier per Rolling Backup mit USB-Platten).
Auf dem Proxmox Server würde ich gerne zusätzlich zu den VMs die SMB Shares bereit stellen und alles auf einen zweiten Server über VPN replizieren. Würdet ihr da der Einfachheit halber auf eine NAS-VM setzen oder nativ per PVE ZSync replizieren? Falls eine NAS-VM, welche Anforderungen stellt das an die Server Hardware?
Und - welche "NAS-VM"?
- TrueNAS
- OpenMediaVault
- Linux mit Webmin
P.S. An beiden Standorten stehen vorgelagerte OPNsense Applicances zur Verfügung.
Könntest du hier nochmal näher ausführen, was alles an Hardware notwendig ist? Vielleicht mit einem Beispiellink?
Hast du einen Screenshot von Proxmox mit entsprechender Konfiguration, einer "NAS-VM"?
Zuletzt bearbeitet:
Wäre auch in Ordnung. Dachte der kann nur die VMs als solche sichern (VZdumps), aber keine vollständigen Dateisysteme per ZFS. Habe ich etwas übersehen?
Ja, okay, klar. In dem Fall würde ich auch wirklich einen zweiten Node aufsetzen und im darunter liegenden Debian dann scripten. Aber meine Annahme ist doch richtig, dass Proxmox in der GUI kein ZFS send / retr Scheduling anbietet, oder? Auch nicht mit dem Backup-Server?
In der GUI aktuell nicht, aber schau mal hier rein: https://pve.proxmox.com/wiki/PVE-zsync oder hier: https://github.com/psy0rz/zfs_autobackup
Danke, die beiden Links kenne ich schon. Läuft also auf scripts hinaus. Wenn Proxmox ZFS Pool genauso inkrementell aus der GUI heraus backupen könnte wie die VMs wäre das wirklich die eierlegende Wollmilchsau ... möchte halt ungern "unter" Proxmox irgendwelche pip-installs von GitHub machen ... das geht irgendwie gegen mein Prinzip ... dann doch lieber ein eigenes Skript mit pve-zsync.
Ich denke das werde ich mal tun ... erstmal muss ich es mal mit dem CLI zum Laufen bringen, damit ich weiß, was ich überhaupt benötigen würde ...
heamer
Experte
Bin gerade am Umstrukturieren meiner Proxmox Backup Strategie.
Hab aktuell als Datenspeicher eine 4TB HDD an eine OMV VM durchgereicht die mir SMB Freigaben ins Netzwerk macht.
Zusätzlich gibt es noch auf einer 250gb SSD:
LXC: IoBroker
LXC: Influx DB
LXC: Plex
VM: Xpenology (nur für die Synology Moments App)
Jeden Sonntag läuft ne Sicherung auf eine Synology Ds216J mit 2x8TB.
Die Ds216J würde ich jetzt gerne Ersetzen (bekommen meine Eltern), die Festplatten würde ich übernehmen.
Als CPU hätte ich hier nen J5005 mit 8gb Ram noch liegen.
Hab mir Überlegt ich setzte nen Proxmox Backup Server auf worauf dann alles gesichert wird.
Unsicher bin ich mir jetzt mit der Openmediavault VM wäre es besser ein ZFS Pool aufzubauen, und die SMB Freigaben direkt in Proxmox zu machen ?
Dann könnte ich ja ein inkrementelles Backup machen und muss nicht immer die vollen 4 TB der VM Schreiben oder ?
Hauptanschaffung für Proxmox war damals der IoBroker, danach hab ich halt aufm schnellem Wege die NAS Funktion mit reingenommen.
Hab aktuell als Datenspeicher eine 4TB HDD an eine OMV VM durchgereicht die mir SMB Freigaben ins Netzwerk macht.
Zusätzlich gibt es noch auf einer 250gb SSD:
LXC: IoBroker
LXC: Influx DB
LXC: Plex
VM: Xpenology (nur für die Synology Moments App)
Jeden Sonntag läuft ne Sicherung auf eine Synology Ds216J mit 2x8TB.
Die Ds216J würde ich jetzt gerne Ersetzen (bekommen meine Eltern), die Festplatten würde ich übernehmen.
Als CPU hätte ich hier nen J5005 mit 8gb Ram noch liegen.
Hab mir Überlegt ich setzte nen Proxmox Backup Server auf worauf dann alles gesichert wird.
Unsicher bin ich mir jetzt mit der Openmediavault VM wäre es besser ein ZFS Pool aufzubauen, und die SMB Freigaben direkt in Proxmox zu machen ?
Dann könnte ich ja ein inkrementelles Backup machen und muss nicht immer die vollen 4 TB der VM Schreiben oder ?
Hauptanschaffung für Proxmox war damals der IoBroker, danach hab ich halt aufm schnellem Wege die NAS Funktion mit reingenommen.
Im Prinzip ist genau das auch meine Frage ... wie bekomme ich am Geschicktesten die Vorteile von Proxmox (VM u. deren Backups), ZFS und eine vernünftige GUI für NAS-Anwendungen inkl. SMB-Shares unter einen Hut?
heamer
Experte
Ja stimmt, hab jetzt erst im Nachgang die vorhereigen Post mal genauer gelesen.
Shihatsu
Legende
- Mitglied seit
- 16.08.2005
- Beiträge
- 5.014
Mal als Bericht - ich habe das genau so durchgeführt, und es klappt genau so. Alelrdings ist ein Import nicht nötig gewesen. Das liegt natürlich daran das ich zuerst das Backup und dann den export gemacht habe. Würde das in Zukunft auch wieder so machen, falls die VM nicht mehr hochkommt kann ich den Pool dann wenigstens in einer neuen importieren - so der GEdanke. right?
Rocker
Enthusiast
Hallo,
ich hätte eine kurze Frage zu dem SSH Zugang und der Web GUI - wie kann man diese auf eine andere Schnittstelle/IP verlegen.
Denn ich würde gerne die 2 von draußen erreichbaren Ports nach innen verlegen (Server bei Hetzner) - damit ich die bestehende VPN Verbindung zur Administration von "innen" nutzen kann.
Ich möchte nur keinen Fehler machen und mich aussperren
Danke
Gruß Rocker
ich hätte eine kurze Frage zu dem SSH Zugang und der Web GUI - wie kann man diese auf eine andere Schnittstelle/IP verlegen.
Denn ich würde gerne die 2 von draußen erreichbaren Ports nach innen verlegen (Server bei Hetzner) - damit ich die bestehende VPN Verbindung zur Administration von "innen" nutzen kann.
Ich möchte nur keinen Fehler machen und mich aussperren
Danke
Gruß Rocker
Zuletzt bearbeitet:
