[Sammelthread] Proxmox Stammtisch

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Habe heute die H310 von DELL bekommen, alten PC rausgekram, das teil drauf geschnallt, dann gemerkt das man die Pinne abkleben muss. Bootet sehe aber nicht das die Karte erkannt wird. Mit freeDOS bekomme ich bei "megacli.exe -AdpAllInfo -aAll -page 20" Exit Code 0x01. Kann also meine Adresse nicht auslesen. Ist schon mal blöd, gefühlt würde ich sagen die Karte hat schon ne Macke.

€: Bios usw sieht man auch nicht, habe paar Leute gefunden die hatten das gleich Problem, ist wohl ein defekt, na super! :/
 
Zuletzt bearbeitet:
MisterY schrieb:
Ich musste keinen Pin abkleben.
Zum Vergrößern anklicken....

Muss ja nicht unbedingt sein! Bei mir hat sonst der PC erst gar nicht gebootet.

€: Karte in Server zwei rein, dann wird die erkannt. Nun auf IT geflashed gut läuft sie da halt.

Noch mal danke an alle die mir hier geholfen haben :wink:
 
Zuletzt bearbeitet:
Hi, ich bin dieses Jahr nach etlichen Jahren mit ESXi auf Proxmox gewechselt. Ich mag halt einfach Open Source und ZFS. Mein System läuft soweit auch sehr gut und stabil. Ich habe es bis jetzt über eine NIC laufen lassen und die zweite Onboardkarte unter Proxmox nicht genutzt (Hauptsächlich aus Zeitgründen und weil es seinen Dienst tut). Unter ESXi habe ich immer einen Bond/Teaming genutzt. Das wollte ich nun auch angehen, bekomme es aber nicht vernünftig zum laufen.

Hier meine jetzige Config für eine NIC. Ich benötige mehrere vLANs (0(LAN),10,20,30,40).
Code: 
auto lo
iface lo inet loopback

iface enp9s0 inet manual

iface enp5s0 inet manual

auto vmbr0
iface vmbr0 inet static
        address  10.2.0.11
        netmask  255.255.255.0
        gateway  10.2.0.254
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094
Ich habe es mit balance-rr probiert und auch im späteren Versuch per LACP. Das Problem bleibt das gleiche. Ich habe danach noch Zugriff auf den Host, komme auch auf die Weboberfläche, aber egal ob ich ein LXC Container starte oder eine KVM, sie bekommt vom DHCP keine IP bzw hat überhaupt keinen zugriff aufs Netzwerk. Am liebsten wäre mir eine passende Config mit Openvswitch.

Ich habe noch eine Config aus meinen ersten Versuchen gefunden. Habe da erstmal nur ein vLan eingerichtet um es überhaupt ans Laufen zu bekommen.
Code: 
auto lo
iface lo inet loopback

iface enp9s0 inet manual

iface enp5s0 inet manual

auto bond0
iface bond0 inet manual
        bond-slaves enp5s0 enp9s0
        bond-miimon 100
        bond-mode balance-rr

auto bond0.40
iface bond0.40 inet manual
       vlan-raw-device bond0

auto vmbr0
iface vmbr0 inet static
        address  10.2.0.11
        netmask  255.255.255.0
        gateway  10.2.0.254
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0

auto vmbr40
iface vmbr40 inet manual
bridge_ports bond0.40
bridge_stp off
bridge_fd 0
 
Der Bondingmode hängt natürlich davon ab, was an deinem Switch eingestellt ist.
Hier die Config für die Nutzung von OVS (an Stelle der Linux Interfaces). Geschmackssache, was man bevorzugt.


Code: 
root@seu-proxmox-b:~# cat /etc/network/interfaces
# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface eno1 inet manual

iface eno2 inet manual

allow-vmbr0 bond0
iface bond0 inet manual
        ovs_bonds eno1 eno2
        ovs_type OVSBond
        ovs_bridge vmbr0
        ovs_options bond_mode=balance-tcp lacp=active other_config:lacp-time=slow

auto vmbr0
iface vmbr0 inet manual
        ovs_type OVSBridge
        ovs_ports bond0 vlan22 vlan51

allow-vmbr0 vlan22
iface vlan22 inet static
        address  10.1.22.12
        netmask  255.255.255.0
        gateway  10.1.22.1
        ovs_type OVSIntPort
        ovs_bridge vmbr0
        ovs_options tag=22

allow-vmbr0 vlan51
iface vlan51 inet static
        address  10.1.51.12
        netmask  255.255.255.0
        ovs_type OVSIntPort
        ovs_bridge vmbr0
        ovs_options tag=51


iface enp9s0f0 inet manual

iface enp9s0f1 inet manual

iface enp10s0f0 inet manual

iface enp10s0f1 inet manual

Edit: VLAN 22 ist das Standard Proxmox VLAN (Management, Internetacces, GUI usw.), VLAN 51 ist das optionale Multicast Netz für einen Proxmox Cluster.
Die CTs und VMs laufen bei mir großteils in VLAN 23 und wurden entsprechend konfiguriert, z.B. so:

Code: 
root@seu-proxmox-b:~# cat /etc/pve/lxc/102.conf
arch: amd64
cores: 2
hostname: seu-file-b
memory: 512
mp0: HDD-zfs:subvol-102-disk-0,mp=/mnt/HDD,acl=1,replicate=0,size=2500G
nameserver: 10.1.23.11 10.1.23.12
net0: name=eth0,bridge=vmbr0,gw=10.1.23.1,hwaddr=4E:58:93:9A:BC:40,ip=10.1.23.102/24,tag=23,type=veth
ostype: debian
parent: snap001
rootfs: local-zfs:subvol-102-disk-0,size=5G
searchdomain: ad.xyz.de
swap: 512
unprivileged: 1

und so:

Code: 
root@seu-proxmox-b:~# cat /etc/pve/qemu-server/201.conf
balloon: 512
bootdisk: scsi0
cores: 1
ide2: local:iso/UCS-Installation-amd64.iso,media=cdrom
memory: 1024
name: seu-ucs-a
net0: virtio=8A:29:E6:F5:73:21,bridge=vmbr0,tag=23
numa: 0
ostype: l26
parent: snap0001
scsi0: local-zfs:vm-201-disk-0,size=8G
scsihw: virtio-scsi-pci
smbios1: uuid=5a0b9ece-0e25-4bdd-8337-4e52a7ec262b
sockets: 1
vmgenid: 71938e91-6632-48cb-9539-83134d5216c4

Solltest Du ebenfalls auf openvswitch umsteigen wollen, musst Du noch dieses Paket nachinstallieren: openvswitch-switch
Grundsätzlich läuft es mit Linux Interfaces aber genauso, wenn alles korrekt eingestellt ist.
 
Zuletzt bearbeitet:
Vielen Dank schon einmal. Das openvswitch Paket hatte ich installiert. Der Switch wurde, als ich LACP ausprobiert habe dementsprechend umgestellt. Bei meinem Freenas funzt auch alles einwandfrei über LACP. Die verschiedenen vLANS funktionieren aktuell mit single Nic problemlos.
Wie gesagt, den Host konnte ich auch immer erreichen, nur die VMs/Container nicht.
Ich werde die Config mal am Wochenende testen.
 
So, ich habe nun erfolgreich mein Proxmox inkl. einiger Container auf neue Hardware migriert.
Klang alles recht easy, wurde dann aber ein stundenlanges Abenteuer.

Eingesetzte Hardware:

Ryzen 3 2200G
Gigabyte B450 Aorus M
16Gb G.Skill Aegis 3000Mhz CL16
4TB HDD
120Gb SSD

Nun zu meinem Fehler:

Ich habe vorher Backups der Container angelegt auf der HDD.
Dann im neuen System versucht Proxmox in aktuellster Version zu installieren.
Beim ersten Start gibts dann nen schwarzen Bildschirm und mehr nicht mehr. Freeze
Einige Recherche später stellte sich heraus, dass wohl der Kernel kein großer Freund der Vega iGPU ist.
IOMMU und SVM Mode waren aktiv.
Alte Kernels sollen angeblich funktionieren, also vom 5.4 bis zur 5.0 herunter gearbeitet.
5.0 hat dann ENDLICH Bild behalten und ich konnte direkt mal den GPU Treiber blacklisten. how-to-blacklist-amdgpu-driver
Danach direkt weiter mit der Einrichtung, bzw dem bearbeiten der Repo Listen. Siehe Video: YOUTUBE
Dann von der 5.0 auf die 5.4 upgraden etc... So, dann noch manuell die HDD wieder mounten etc. So wie hier ab dem Punkt mounten: zweite-festplatte-einbinden
Nun noch im Proxmox die HDD wieder als Storage hinzufügen und von dort die gesicherten Container wiederherstellen. Hier den Haken bei "unprivilegierter Container" raus machen, sonst geht's nicht.

Easy... aber ich als ziemlicher Linux Noob musste doch schlucken :rolleyes:
Echt erstaunlich, dass so eine Kleinigkeit so viel Arbeit machen kann.

Ich bin aber heil froh, dass mein ioBroker und co nun wieder laufen, und ich die ganzen Scripte etc nicht neu schreiben muss :asthanos:
Wahrscheinlich gabs für die Lösung auch einen einfacheren Weg, aber ich war froh über jeden kleinen Strohhalm.

Over and out,
Sascha
 
Hallo auch von mir. Ich versuche gerade einen smb container aufzusetzen. Angebunden ist er zunächst via 10gbe. Mittels async io und jumbo frames komme ich auf 1GB/s write. Auf Containerseite ist der smb storage auf ein zfs subvol gelegt. Der ARC hat 64GB RAM. Jedoch kann ich nur ca 5GB mit voller Geschwindigkeit schreiben, dann habe ich nur noch die 200 MB/s, die mir mein zpool tatsächlich liefert. Ich würde aber gerne mehr RAM als write cache benutzen. Hat jemand eine Idee?
 
mal so eine Frage: Ich plane irgendwann zum Jahresende meinen i5-4430 gegen einen aktuellen Ryzen auszutauschen. Wie sind denn die Erfahrungen mit AMD-Systemen im Moment? Gibt es irgendwelche Probleme, oder muss ich da sehr viel Hand anlegen? Bisher ist die Planung noch nicht abgeschlossen. Ein Produktiv-system ist das auch nicht sondern nur für mich zum üben, testen, spielen. Wichtig ist mir, das USB-Geräte in den VMs problemlos durchgereicht werden können
 
Wie stehts in Proxmox eigentlich mit iSCSI, gibts da Besonderheiten?
Hab gestern unsere EQLs geärgert als ich versucht habe einen R620 mit Proxmox 5.4 per iSCSI an eine EQL Group zu bekommen, der hat das iSCSI Netz geflooded...
Hab ich da einen Denkfehler?

NIC aktivieren, IP vergeben, Comment "iSCSI", unter Datacenter dann Storage iSCSI auswählen.
Nachdem ich dann auf die Target IP gezeigt habe und nach LUNs gescannt habe, ist die EQL weggegrätscht mit "Network Storm detected" und hat alle iSCSI Verbindungen blockiert.
 
Hallo zusammen,
ich hab gestern meinen Homeserver neu aufgesetzt.
Ich habe Proxmox auf einen 500GB ZFS Mirror installiert.
Die sonstige Hardware ist folgendes:
Code: 
HP Ml10v2, Intel Xeon 1225v3, 28GB DDR3 ECC Ram, 3x 3TB WD Red

Nun habe ich bemerkt, dass das System sehr langsam läuft (bsp. VM restore oder apt-get upgrade).
Ich habe grade mal die Geschwindigkeit mit fio getestet und dabei bemerkt, dass die Schreibgeschwindigkeit des Mirrors sehr gering ist.
--rw=write \
--direct=0 \
--iodepth=32 \
--ioengine=libaio \
--bs=1M \
--numjobs=1 \
--size=1G \
--runtime=30
seqwrite: (g=0): rw=write, bs=1M-1M/1M-1M/1M-1M, ioengine=libaio, iodepth=32
fio-2.16
Starting 1 process
Jobs: 1 (f=1): [W(1)] [40.7% done] [0KB/0KB/0KB /s] [0/0/0 iops] [eta 00m:51s]
seqwrite: (groupid=0, jobs=1): err= 0: pid=33977: Thu May 23 11:15:52 2019
write: io=451584KB, bw=13277KB/s, iops=12, runt= 34013msec
slat (usec): min=491, max=30675K, avg=77118.03, stdev=1467428.13
clat (usec): min=19, max=30699K, avg=2390080.82, stdev=7827687.32
lat (msec): min=16, max=30700, avg=2467.20, stdev=7941.07
clat percentiles (msec):
| 1.00th=[ 17], 5.00th=[ 17], 10.00th=[ 17], 20.00th=[ 17],
| 30.00th=[ 22], 40.00th=[ 25], 50.00th=[ 26], 60.00th=[ 26],
| 70.00th=[ 26], 80.00th=[ 29], 90.00th=[ 3032], 95.00th=[16712],
| 99.00th=[16712], 99.50th=[16712], 99.90th=[16712], 99.95th=[16712],
| 99.99th=[16712]
lat (usec) : 20=0.23%
lat (msec) : 20=28.57%, 50=57.14%, >=2000=14.06%
cpu : usr=0.11%, sys=0.66%, ctx=535, majf=0, minf=11
IO depths : 1=0.2%, 2=0.5%, 4=0.9%, 8=1.8%, 16=3.6%, 32=93.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=99.8%, 8=0.0%, 16=0.0%, 32=0.2%, 64=0.0%, >=64=0.0%
issued : total=r=0/w=441/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
WRITE: io=451584KB, aggrb=13276KB/s, minb=13276KB/s, maxb=13276KB/s, mint=34013msec, maxt=34013msec
Die Smartwerte der beiden SSDs sehen soweit ganz gut aus denke ich.
=== START OF INFORMATION SECTION ===
Device Model: CT500MX500SSD1
Serial Number: 1911E1F24E79
LU WWN Device Id: 5 00a075 1e1f24e79
Firmware Version: M3CR023
User Capacity: 500,107,862,016 bytes [500 GB]
Sector Sizes: 512 bytes logical, 4096 bytes physical
Rotation Rate: Solid State Device
Form Factor: 2.5 inches
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: ACS-3 T13/2161-D revision 5
SATA Version is: SATA >3.2 (0x1ff), 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Thu May 23 11:18:32 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x80) Offline data collection activity
was never started.
Auto Offline Data Collection: Enabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: ( 0) seconds.
Offline data collection
capabilities: (0x7b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 30) minutes.
Conveyance self-test routine
recommended polling time: ( 2) minutes.
SCT capabilities: (0x0031) SCT Status supported.
SCT Feature Control supported.
SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 100 100 000 Pre-fail Always - 0
5 Reallocated_Sector_Ct 0x0032 100 100 010 Old_age Always - 0
9 Power_On_Hours 0x0032 100 100 000 Old_age Always - 11
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 14
171 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0
172 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0
173 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 1
174 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 6
180 Unused_Rsvd_Blk_Cnt_Tot 0x0033 000 000 000 Pre-fail Always - 42
183 Runtime_Bad_Block 0x0032 100 100 000 Old_age Always - 0
184 End-to-End_Error 0x0032 100 100 000 Old_age Always - 0
187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0
194 Temperature_Celsius 0x0022 061 054 000 Old_age Always - 39 (Min/Max 0/46)
196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 100 100 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 100 100 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 100 100 000 Old_age Always - 0
202 Unknown_SSD_Attribute 0x0030 100 100 001 Old_age Offline - 0
206 Unknown_SSD_Attribute 0x000e 100 100 000 Old_age Always - 0
210 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0
246 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 224514856
247 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 5417408
248 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 3159149

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged. [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Completed [00% left] (0-65535)
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
SSD2
=== START OF INFORMATION SECTION ===
Device Model: SAMSUNG MZ7TD512HAGM-000L1
Serial Number: S151NYAF102114
LU WWN Device Id: 5 002538 500000000
Add. Product Id: 00000000
Firmware Version: DXT05L0Q
User Capacity: 512,110,190,592 bytes [512 GB]
Sector Size: 512 bytes logical/physical
Rotation Rate: Solid State Device
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: ACS-2, ATA8-ACS T13/1699-D revision 4c
SATA Version is: SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Thu May 23 11:19:07 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (53956) seconds.
Offline data collection
capabilities: (0x5b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
No Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 70) minutes.
SCT capabilities: (0x003d) SCT Status supported.
SCT Error Recovery Control supported.
SCT Feature Control supported.
SCT Data Table supported.

SMART Attributes Data Structure revision number: 1
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
9 Power_On_Hours 0x0032 097 097 000 Old_age Always - 10611
12 Power_Cycle_Count 0x0032 099 099 000 Old_age Always - 260
175 Program_Fail_Count_Chip 0x0032 100 100 010 Old_age Always - 0
176 Erase_Fail_Count_Chip 0x0032 100 100 010 Old_age Always - 0
177 Wear_Leveling_Count 0x0013 090 090 005 Pre-fail Always - 119
178 Used_Rsvd_Blk_Cnt_Chip 0x0013 100 100 010 Pre-fail Always - 0
179 Used_Rsvd_Blk_Cnt_Tot 0x0013 100 100 010 Pre-fail Always - 0
180 Unused_Rsvd_Blk_Cnt_Tot 0x0013 100 100 010 Pre-fail Always - 12480
181 Program_Fail_Cnt_Total 0x0032 100 100 010 Old_age Always - 0
182 Erase_Fail_Count_Total 0x0032 100 100 010 Old_age Always - 0
183 Runtime_Bad_Block 0x0013 100 100 010 Pre-fail Always - 0
184 End-to-End_Error 0x0033 100 100 097 Pre-fail Always - 0
187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0
190 Airflow_Temperature_Cel 0x0032 072 054 000 Old_age Always - 28
195 Hardware_ECC_Recovered 0x001a 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 100 100 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x003e 253 253 000 Old_age Always - 0
233 Media_Wearout_Indicator 0x003a 198 198 000 Old_age Always - 61119765
234 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 0
235 Unknown_Attribute 0x0012 099 099 000 Old_age Always - 37
236 Unknown_Attribute 0x0012 099 099 000 Old_age Always - 47
237 Unknown_Attribute 0x0012 099 099 000 Old_age Always - 119
238 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
# 1 Extended offline Completed without error 00% 6196 -

SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
255 0 65535 Read_scanning was never started
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

"zpool get ashift" liefert folgende Ausgabe:
Code: 
NAME   PROPERTY  VALUE   SOURCE
rpool  ashift    12      local

Hat jemand ne Idee warum der Pool so langsam ist?
Hätte jetzt als nächstes eine SSD aus dem Mirror entfernt und einzeln die Geschwindigkeit getestetet.
Dann ein resilver und die andere SSD.

Hat irgendjemand ne bessere Idee?

Vielen Dank im Voraus

Gruß Philipp
 
Zuletzt bearbeitet:
Danke für deine Antwort.
Ich werde mir dann mal ne USV bestellen und dann sync deaktivieren.

Ich habe aktuell jedoch noch ein weiteres Problem.
Ich möchte eine DVBC Karte per passthrough mit einer VM teilen.
Dazu habe ich die Anleitung aus dem Proxmox Wiki befolgt.
Beim Versuch die VM zu starten bekomme ich jedoch folgenden Fehler:
Code: 
kvm: -device vfio-pci,host=04:00.0,id=hostpci0,bus=pci.0,addr=0x10: vfio error: 0000:04:00.0: failed to setup container for group 1: failed to set iommu for container: Operation not permitted
TASK ERROR: start failed: command '/usr/bin/kvm -id 201 -name pfitv -chardev 'socket,id=qmp,path=/var/run/qemu-server/201.qmp,server,nowait' -mon 'chardev=qmp,mode=control' -chardev 'socket,id=qmp-event,path=/var/run/qmeventd.sock,reconnect=5' -mon 'chardev=qmp-event,mode=control' -pidfile /var/run/qemu-server/201.pid -daemonize -smbios 'type=1,uuid=cbd80fc5-a477-43be-b25e-eb394401f230' -smp '2,sockets=1,cores=2,maxcpus=2' -nodefaults -boot 'menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg' -vnc unix:/var/run/qemu-server/201.vnc,x509,password -cpu kvm64,+lahf_lm,+sep,+kvm_pv_unhalt,+kvm_pv_eoi,enforce -m 2000 -device 'vmgenid,guid=7f5ec4cc-c1e8-47b1-b7d2-c70928541b5d' -readconfig /usr/share/qemu-server/pve-q35.cfg -device 'usb-tablet,id=tablet,bus=ehci.0,port=1' -device 'vfio-pci,host=04:00.0,id=hostpci0,bus=pci.0,addr=0x10' -device 'VGA,id=vga,bus=pcie.0,addr=0x1' -device 'virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x3' -iscsi 'initiator-name=iqn.1993-08.org.debian:01:ad25fba95f67' -drive 'if=none,id=drive-ide2,media=cdrom,aio=threads' -device 'ide-cd,bus=ide.1,unit=0,drive=drive-ide2,id=ide2,bootindex=200' -device 'ahci,id=ahci0,multifunction=on,bus=pci.0,addr=0x7' -drive 'file=/dev/zvol/rpool/data/vm-201-disk-0,if=none,id=drive-sata0,format=raw,cache=none,aio=native,detect-zeroes=on' -device 'ide-hd,bus=ahci0.0,drive=drive-sata0,id=sata0,bootindex=100' -drive 'file=/var/lib/vz/template/iso/ubuntu-18.04.2-live-server-amd64.iso,if=none,id=drive-sata1,media=cdrom,aio=threads' -device 'ide-cd,bus=ahci0.1,drive=drive-sata1,id=sata1,bootindex=201' -netdev 'type=tap,id=net0,ifname=tap201i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' -device 'virtio-net-pci,mac=CE:56:D5:13:0E:06,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=300' -machine 'type=q35'' failed: exit code 1

Code: 
dmesg | grep -e DMAR -e IOMMU
[spoiler]
[    0.000000] ACPI: DMAR 0x00000000F1DE4A80 0003BC (v01 HP     ProLiant 00000001 \xffffffd2?   0000162E)
[    0.000000] DMAR: IOMMU enabled
[    0.000000] DMAR: Host address width 39
[    0.000000] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[    0.000000] DMAR: dmar0: reg_base_addr fed91000 ver 1:0 cap d2008c20660462 ecap f010da
[    0.000000] DMAR: RMRR base: 0x000000f1ffd000 end: 0x000000f1ffffff
[    0.000000] DMAR: RMRR base: 0x000000f1ff6000 end: 0x000000f1ffcfff
[    0.000000] DMAR: RMRR base: 0x000000f1f93000 end: 0x000000f1f94fff
[    0.000000] DMAR: RMRR base: 0x000000f1f8f000 end: 0x000000f1f92fff
[    0.000000] DMAR: RMRR base: 0x000000f1f7f000 end: 0x000000f1f8efff
[    0.000000] DMAR: RMRR base: 0x000000f1f7e000 end: 0x000000f1f7efff
[    0.000000] DMAR: RMRR base: 0x000000000f4000 end: 0x000000000f4fff
[    0.000000] DMAR: RMRR base: 0x000000000e8000 end: 0x000000000e8fff
[    0.000000] DMAR: RMRR base: 0x000000f1dee000 end: 0x000000f1deefff
[    0.000000] DMAR-IR: IOAPIC id 8 under DRHD base  0xfed91000 IOMMU 0
[    0.000000] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[    0.000000] DMAR-IR: x2apic is disabled because BIOS sets x2apic opt out bit.
[    0.000000] DMAR-IR: Use 'intremap=no_x2apic_optout' to override the BIOS setting.
[    0.000000] DMAR-IR: Enabled IRQ remapping in xapic mode
[    0.541408] DMAR: No ATSR found
[    0.541599] DMAR: dmar0: Using Queued invalidation
[    0.541607] DMAR: Setting RMRR:
[    0.541910] DMAR: Setting identity map for device 0000:01:00.0 [0xf1dee000 - 0xf1deefff]
[    0.542196] DMAR: Setting identity map for device 0000:01:00.2 [0xf1dee000 - 0xf1deefff]
[    0.542474] DMAR: Setting identity map for device 0000:01:00.4 [0xf1dee000 - 0xf1deefff]
[    0.542773] DMAR: Setting identity map for device 0000:00:1f.2 [0xe8000 - 0xe8fff]
[    0.543053] DMAR: Setting identity map for device 0000:04:00.0 [0xe8000 - 0xe8fff]
[    0.543322] DMAR: Setting identity map for device 0000:07:00.0 [0xe8000 - 0xe8fff]
[    0.543534] DMAR: Setting identity map for device 0000:03:00.0 [0xe8000 - 0xe8fff]
[    0.543759] DMAR: Setting identity map for device 0000:03:00.1 [0xe8000 - 0xe8fff]
[    0.543770] DMAR: Setting identity map for device 0000:01:00.0 [0xe8000 - 0xe8fff]
[    0.543779] DMAR: Setting identity map for device 0000:01:00.2 [0xe8000 - 0xe8fff]
[    0.543788] DMAR: Setting identity map for device 0000:00:1f.2 [0xf4000 - 0xf4fff]
[    0.543790] DMAR: Setting identity map for device 0000:04:00.0 [0xf4000 - 0xf4fff]
[    0.543792] DMAR: Setting identity map for device 0000:07:00.0 [0xf4000 - 0xf4fff]
[    0.543793] DMAR: Setting identity map for device 0000:03:00.0 [0xf4000 - 0xf4fff]
[    0.543794] DMAR: Setting identity map for device 0000:03:00.1 [0xf4000 - 0xf4fff]
[    0.543794] DMAR: Setting identity map for device 0000:01:00.0 [0xf4000 - 0xf4fff]
[    0.543796] DMAR: Setting identity map for device 0000:01:00.2 [0xf4000 - 0xf4fff]
[    0.543797] DMAR: Setting identity map for device 0000:00:1f.2 [0xf1f7e000 - 0xf1f7efff]
[    0.543804] DMAR: Setting identity map for device 0000:04:00.0 [0xf1f7e000 - 0xf1f7efff]
[    0.543812] DMAR: Setting identity map for device 0000:07:00.0 [0xf1f7e000 - 0xf1f7efff]
[    0.543820] DMAR: Setting identity map for device 0000:03:00.0 [0xf1f7e000 - 0xf1f7efff]
[    0.543827] DMAR: Setting identity map for device 0000:03:00.1 [0xf1f7e000 - 0xf1f7efff]
[    0.543835] DMAR: Setting identity map for device 0000:01:00.0 [0xf1f7e000 - 0xf1f7efff]
[    0.543840] DMAR: Setting identity map for device 0000:01:00.2 [0xf1f7e000 - 0xf1f7efff]
[    0.543844] DMAR: Setting identity map for device 0000:00:1f.2 [0xf1f7f000 - 0xf1f8efff]
[    0.543845] DMAR: Setting identity map for device 0000:04:00.0 [0xf1f7f000 - 0xf1f8efff]
[    0.543847] DMAR: Setting identity map for device 0000:07:00.0 [0xf1f7f000 - 0xf1f8efff]
[    0.543848] DMAR: Setting identity map for device 0000:03:00.0 [0xf1f7f000 - 0xf1f8efff]
[    0.543849] DMAR: Setting identity map for device 0000:03:00.1 [0xf1f7f000 - 0xf1f8efff]
[    0.543850] DMAR: Setting identity map for device 0000:01:00.0 [0xf1f7f000 - 0xf1f8efff]
[    0.543852] DMAR: Setting identity map for device 0000:01:00.2 [0xf1f7f000 - 0xf1f8efff]
[    0.543853] DMAR: Setting identity map for device 0000:00:1f.2 [0xf1f8f000 - 0xf1f92fff]
[    0.543854] DMAR: Setting identity map for device 0000:04:00.0 [0xf1f8f000 - 0xf1f92fff]
[    0.543855] DMAR: Setting identity map for device 0000:07:00.0 [0xf1f8f000 - 0xf1f92fff]
[    0.543856] DMAR: Setting identity map for device 0000:03:00.0 [0xf1f8f000 - 0xf1f92fff]
[    0.543857] DMAR: Setting identity map for device 0000:03:00.1 [0xf1f8f000 - 0xf1f92fff]
[    0.543858] DMAR: Setting identity map for device 0000:01:00.0 [0xf1f8f000 - 0xf1f92fff]
[    0.543860] DMAR: Setting identity map for device 0000:01:00.2 [0xf1f8f000 - 0xf1f92fff]
[    0.543861] DMAR: Setting identity map for device 0000:00:1f.2 [0xf1f93000 - 0xf1f94fff]
[    0.543862] DMAR: Setting identity map for device 0000:04:00.0 [0xf1f93000 - 0xf1f94fff]
[    0.543863] DMAR: Setting identity map for device 0000:07:00.0 [0xf1f93000 - 0xf1f94fff]
[    0.543864] DMAR: Setting identity map for device 0000:03:00.0 [0xf1f93000 - 0xf1f94fff]
[    0.543865] DMAR: Setting identity map for device 0000:03:00.1 [0xf1f93000 - 0xf1f94fff]
[    0.543866] DMAR: Setting identity map for device 0000:01:00.0 [0xf1f93000 - 0xf1f94fff]
[    0.543867] DMAR: Setting identity map for device 0000:01:00.2 [0xf1f93000 - 0xf1f94fff]
[    0.543868] DMAR: Setting identity map for device 0000:01:00.0 [0xf1ff6000 - 0xf1ffcfff]
[    0.543869] DMAR: Setting identity map for device 0000:01:00.2 [0xf1ff6000 - 0xf1ffcfff]
[    0.543870] DMAR: Setting identity map for device 0000:01:00.4 [0xf1ff6000 - 0xf1ffcfff]
[    0.544102] DMAR: Setting identity map for device 0000:00:14.0 [0xf1ffd000 - 0xf1ffffff]
[    0.544370] DMAR: Setting identity map for device 0000:00:1a.0 [0xf1ffd000 - 0xf1ffffff]
[    0.544663] DMAR: Setting identity map for device 0000:00:1d.0 [0xf1ffd000 - 0xf1ffffff]
[    0.544676] DMAR: Prepare 0-16MiB unity mapping for LPC
[    0.544927] DMAR: Setting identity map for device 0000:00:1f.0 [0x0 - 0xffffff]
[    0.544936] DMAR: Intel(R) Virtualization Technology for Directed I/O
[   96.061908] vfio-pci 0000:04:00.0: Device is ineligible for IOMMU domain attach due to platform RMRR requirement.           
[/spoiler]

Wenn ich im Proxmox Webinterface das PCI Device ändern will, steht da folgendes:
Code: 
 The selected Device is not in a seperateIOMMU group, make sure this is intended.

Soll ich die x2apic Voreinstellung mal überschreiben?

Code: 
[    0.000000] DMAR-IR: IOAPIC id 8 under DRHD base  0xfed91000 IOMMU 0
[    0.000000] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[    0.000000] DMAR-IR: x2apic is disabled because BIOS sets x2apic opt out bit.
[    0.000000] DMAR-IR: Use 'intremap=no_x2apic_optout' to override the BIOS setting.

Hat jemand sonst noch ne Idee worin das Problem liegt?

Edit:
Code: 
dmesg | grep ecap
[spoiler]
[    0.000000] DMAR: dmar0: reg_base_addr fed91000 ver 1:0 cap d2008c20660462 ecap f010da
[/spoiler]

IOMMU interrupt remapping sollte also aktiv sein.
 
Zuletzt bearbeitet:
Benutze zwar kein Proxmox mehr, aber evtl. habe ich hier was für dich. Ich hatte mit meiner DVB-S2 Karte damals auch Probleme. Lass einfach mal „driver=vfio“ weg. Schau dir mal folgenden Link an, evtl. ist da was für dich dabei:

[SOLVED] - PCI Passthrough: DVB-C Cine S2 V7 von DigitalDevices | Proxmox Support Forum

Oder den Treiber auf dem Hostsystem blacklisten.

Oder alternativ mal über LXC nachdenken:

[Howto] Proxmox 4.4 und LXC - TV-Karte (hier Digital Devices Cine S2 v6.5) im Container verfügbar machen - Server - VDR Portal

Gruß Hoppel
 
Die Karte befindet sich in der gleichen Iommu-Gruppe wie ein anderes Gerät. Man kann nur beide gleichzeitig oder keine von beiden durchreichen.
ggf lässt sich das mit einer boot-Option von Proxmox beheben: pcie_acs_override=downstream
hilft aber leider nicht, wenn die CPU es nicht zulässt. schau mal im HomeServer-Vorstellungsthread zwei/drei Seiten zurück.
 
Danke für die Antworten. Habs jetzt mit nem LXC Container gemacht. Da hats funktioniert... Nachdem ich nen neuen "privileged" Container erstellt hab zumindest :d
Mit pcie_acs_override=downstream hat die Karte zumindest eine eigene Iommu Gruppe bekommen. Allerdings kam dann die Fehlermeldung "Device is ineligible for IOMMU domain attach due to platform RMRR requirement".
Und da haben alle Methoden die ich in den weiten des Netzes gefunden hab nicht geholfen.


Hab jetzt ein anderes Problem... ein seltsames.

Wenn ich von dem Vm Host Versuche einen NFS Share auf der Storage VM zu mounten funktioniert das problemlos. Nicht so wenn ich das aus dem LXC Container versuche.

Storage VM
Code: 
/etc/exports

/daten/tv 10.10.0.0/24(rw,no_subtree_check)

Host
Code: 
mount 10.10.0.8:/daten/tv /mnt -vvv

mount.nfs: timeout set for Tue May 28 20:35:47 2019
mount.nfs: trying text-based options 'vers=4.2,addr=10.10.0.8,clientaddr=10.10.0.7'

LXC Container
Code: 
mount 10.10.0.8:/daten/tv /mnt -vvv                                                             :(

mount.nfs: timeout set for Tue May 28 20:39:10 2019
mount.nfs: trying text-based options 'vers=4.2,addr=10.10.0.8,clientaddr=10.10.0.200'
mount.nfs: mount(2): Permission denied
mount.nfs: access denied by server while mounting 10.10.0.8:/daten/tv


Weiß jemand wo das Problem liegt?
 
Zuletzt bearbeitet:
Hallo,
ich habe mal eine generelle Frage zu Proxmox.
Auf diversen Seiten und auch im Proxmox Forum habe ich oft gelesen, dass es Quatsch ist das Proxmox OS auf eine SSD oder gar RAID-1 zu stecken.
Hier im Server Vorstellungsthread lese ich aber ziemlich oft dass das Proxmox OS auf einem SSD RAID-1 installiert wird.

Warum ist das sinnvoll, bzw. eben nicht sinnvoll/notwendig?

(Oder verwechsle ich das gerade mit FreeNAS...)
 
Ich hätte derartiges im Proxmox Forum bisher noch nicht gelesen?

Sinnvoll ist es durchaus wenn du deinen Host gegen den Ausfall der Bootplatte absichern willst/musst.
 
Ich denke, das verwechselst Du. Die Installationsplatte wird standardmäßig ja auch für die VMs und Container usw. hergenommen. Insofern machen sowohl Ausfallsicherheit als auch vernünftige Performance Sinn.
 
Guten Morgen zusammen,

ich versuche seit, mit Unterbrechung, seit ein paar Tage ein nfs mount aus einem LXC Container heraus.
Dabei habe ich mich meinen alten Notizen bedient, wo es mal funktioniert haben muss. Mit hilfe eines Kumpels habe ich mich an seinen Notizen versucht.
Beides ist bisher kläglich gescheitert.

Bis jetzt konnte ich mich von der mount Fehlermeldung "operation not permitted" zu "access denied" und einem entsprechenden Log Eintrag im PVE durchkämpfen.
Die Meldung sieht so aus
Code: 
apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-117_</var/lib/lxc>" name="/mnt/backup/" pid=19181 comm="mount.nfs" fstype="nfs" srcname="192.168.2.2:/volume1/burp" flags="rw, nosuid, nodev, noexec"

Folgendes habe ich noch im Netz gefunden
https://www.svennd.be/mount-nfs-lxc-proxmox/
Was mich hoffend stimmte als ich zumindest Fehlermeldungen im PVE log erzeugen konnte. Somit musste der mount Befehl zumindest aus dem Container heraus kommen.

Jedoch verweist meine Fehlermeldung nicht auf die passende Config File im Apparmor.
Etliche Tutorials,Forenbeiträge drehen sich immer wieder um die gleichen File mit den gleichen Einträgen, wie z.b. den oben verlinkten.
Bei mir hat das bisher nichts gebracht.

Was mache ich falsch?
Bin gerade noch über diesen Beitrag gestolpert
https://forum.proxmox.com/threads/mounting-nfs-in-lxc-not-working-since-latest-update.47815/
Das beschreibt mein Problem wohl ziemlich treffend und muss es gleich testen.
Ist das der richtige Weg oder ein möglicher? So wie ich das verstehe würde ich dann nur in den Container in den ich ein nfs mount benötige, diesen auch freigaben.

Folgendes habe ich gemacht:
In die lxc-default-cgns habe ich eingetragen:
Code: 
  mount fstype=rpc_pipefs,
  mount fstype=nfs,
  mount fstype=nfs4,

In die Container Config:
Code: 
lxc.apparmor.profile: lxc-container-default-cgns

Im Container habe ich der fstab folgenden Eintrag gegeben:
Code: 
192.168.2.2:/volume1/burp /mnt/backup nfs rw,user,noauto 0 0

Beim Ausführen von mount -a kommt keine Fehlermeldung aber das Verzeichnis ist nicht gemounted.
Folgendes erhalte ich mit
Code: 
root@burp-test:/mnt# mount -v /mnt/backup/
mount.nfs: timeout set for Sun Jun  2 10:10:41 2019
mount.nfs: trying text-based options 'vers=4.2,addr=192.168.2.2,clientaddr=192.168.2.95'
mount.nfs: mount(2): Protocol not supported
mount.nfs: trying text-based options 'vers=4.1,addr=192.168.2.2,clientaddr=192.168.2.95'
mount.nfs: mount(2): Protocol not supported
mount.nfs: trying text-based options 'vers=4.0,addr=192.168.2.2,clientaddr=192.168.2.95'
mount.nfs: mount(2): Operation not permitted
mount.nfs: trying text-based options 'addr=192.168.2.2'
mount.nfs: prog 100003, trying vers=3, prot=6
mount.nfs: trying 192.168.2.2 prog 100003 vers 3 prot TCP port 2049
mount.nfs: prog 100005, trying vers=3, prot=17
mount.nfs: trying 192.168.2.2 prog 100005 vers 3 prot UDP port 892
mount.nfs: mount(2): Operation not permitted
mount.nfs: Operation not permitted

Im PVE message Log kommt nur folgende Fehlermeldung
Code: 
apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-container-default-cgns" name="/" pid=3452 comm="(resolved)" flags="rw, rslave"

Zusatzinfos:
Code: 
root@pve:/etc/apparmor.d/lxc# pveversion -v
proxmox-ve: 5.4-1 (running kernel: 4.15.18-15-pve)
pve-manager: 5.4-6 (running version: 5.4-6/aa7856c5)
pve-kernel-4.15: 5.4-3
pve-kernel-4.15.18-15-pve: 4.15.18-40
pve-kernel-4.15.18-14-pve: 4.15.18-39
pve-kernel-4.15.18-13-pve: 4.15.18-37
pve-kernel-4.15.18-12-pve: 4.15.18-36
pve-kernel-4.15.18-11-pve: 4.15.18-34
pve-kernel-4.15.18-10-pve: 4.15.18-32
pve-kernel-4.15.18-9-pve: 4.15.18-30
corosync: 2.4.4-pve1
criu: 2.11.1-1~bpo90
glusterfs-client: 3.8.8-1
ksm-control-daemon: 1.2-2
libjs-extjs: 6.0.1-2
libpve-access-control: 5.1-10
libpve-apiclient-perl: 2.0-5
libpve-common-perl: 5.0-52
libpve-guest-common-perl: 2.0-20
libpve-http-server-perl: 2.0-13
libpve-storage-perl: 5.0-43
libqb0: 1.0.3-1~bpo9
lvm2: 2.02.168-pve6
lxc-pve: 3.1.0-3
lxcfs: 3.0.3-pve1
novnc-pve: 1.0.0-3
proxmox-widget-toolkit: 1.0-28
pve-cluster: 5.0-37
pve-container: 2.0-39
pve-docs: 5.4-2
pve-edk2-firmware: 1.20190312-1
pve-firewall: 3.0-22
pve-firmware: 2.0-6
pve-ha-manager: 2.0-9
pve-i18n: 1.1-4
pve-libspice-server1: 0.14.1-2
pve-qemu-kvm: 3.0.1-2
pve-xtermjs: 3.12.0-1
qemu-server: 5.0-52
smartmontools: 6.5+svn4324-1
spiceterm: 3.0-5
vncterm: 1.5-3
zfsutils-linux: 0.7.13-pve1~bpo2

NFS Ziel ist eine virtuelles XPenology, ich gehe im Moment davon aus, dass die nfs Freigabe funktioniert, da ich bereits einen NFS Share in einer VM habe.
Die Einstellungen für die NFS Freigabe habe ich 1 zu 1 übernommen.
 
Zuletzt bearbeitet:
Also bei mir geht das ohne Probleme, automount über fstab geht aber nicht, nur über systemd o.ä.

In der Proxmox GUI: Container > Options > Features : nfs

So läuft das bei mir ohne große veränkungen.
 
Da führt mich im Moment mal dazu, dass ich jetzt nicht mehr als root in den Container rein komme.
Per ssh und entsprechendem Benutzer komme ich aktuell drauf, ein su bzw. sudo -i endet dann irgendwas mit sudo und owner id

Ist schon komisch, dass es bei zig Leuten funktioniert nur bei mir ist es wieder was anderes.
 
Anmelden, um zu antworten.

Ähnliche Themen

nDer
Alternativen zu Proxmox mit Docker
Antworten
9
Aufrufe
2K
Luckysh0t
Luckysh0t
D
Bester Hypervisor für Windows VMs gesucht
Antworten
10
Aufrufe
820
Supaman
Supaman
S
[Kaufberatung] Ein Server für alle Fälle? Konsolidierung der Systeme, Hardwarefindung und Brauchen vs Schöner Wohnen.
2 3
Antworten
62
Aufrufe
6K
HansBohne
H
R
[User-Review] Lesertest zur Synology DiskStation DS224+
Antworten
0
Aufrufe
6K
_roman_
R
M
[User-Review] LG gram 17 17Z90S-G.AA78G
Antworten
7
Aufrufe
838
mz_z
M
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh