Gen8, Proxmox, FreeNAS, M1015 boot Probleme

[bongartz]

Hallo zusammen,

Ich bin gerade dabei mir ein neues RAID System mit FreeNas 9.3.x und Proxmox 3.3.x einzurichten. Hierbei bin ich leider auf ein sehr komisches Problem gestoßen. Wenn ich bei dem Proxmox den IBM M1015 Raidcomtroller mit PCI direkt an den FreeNAS durchreiche kann ich plötzlich nicht mehr Booten, da keinen Bootbare Festplatte mehr gefunden wird.

Hier meine System Konfiguration.

Hardware:

HP MicroServer Gen8
Intel E3 1265L
16 GB RAMAl
Samsung SSD für System auf SATA OOD Port
IBM M1015 Raid Controller mit geflashten BIOS
4 x 4TB WD Red

Software:
Proxmox 3.3.x mit 2.6 Kernel auf der SSD
KVM mit FreeNAS 9.3.x mit 12 GB RAM
Vitro HDD 16GB
Bootreihenfolge Virteo HHD, CD-ROM, Netzwerk

Wenn ich FreeNAS ohne anpasste conf Datei, also ohne RAID Conteoller starte kann ich ganz normal hochfahren, wenn jedoch der RAID Controller eingebunden ist, will das System immer von der ersten Platte vom RAID starten wo natürlich kein OS drauf ist.

Wenn ich mit crt + c in den RAID Controller beim starten will passiert nicht. Und F12 beim FreeNAS gibt mir nur die Wahl von der ersten HHD zu booten oder per Netzwerk.

Weiß einer von euch wie ich die bootreihenfolge in der KVM verändern kann? In Proxmox ist natürlich als erste Bootgerät die Vitro HDD ausgewählt, aber da der RAID Controller ja durchgeschleift wird bringt diese konfiguration ja nicht so viel.

Danke

Gruß

André

 

[Fischje]

ich bin mir nicht so ganz hundert prozent sicher ob es daran liegt, aber ich musste meinen proxmox kernel auf 3.1 upgraden bevor mein m1015 ordentlich durchgereicht werden konnte.

ich hatte als ich meine netzwerkkarte durchgereicht habe auch ein problem. und zwar war das so, dass ich da nur eine reihenfolge beim durchreichen machen konnte, sonst hing die vm immer. warum weiss ich auch nicht...

hast du VT-d funktion im kernel aktiviert beim booten? sonst ist ja nichts mit pci durchreichen....

 

[bongartz]

Hallo,

Danke für deine Antwort. Also das durchreichen an sich geht aber dann bootet er ja leider falsch.

Hatte schon versucht den Kernel auf 3.1 upzudaten aber ich habe nicht raus gefunden wie. Wenn du mir dazu etwas helfen könntest wäre das echt perfekt.

Danke

 

[hominidae]

...auf jeden Fall im M1015 erstmal die Unterstützung fürs booten/Boot-Option ausschalten.
Dazu musst Du ins BIOS...das wirst Du mMn nicht im BIOS/Boot-Screen der VM machen/schaffen.
Du musst also den ganzen Host durchstarten, dann mit ctl+c ins M1015 Menü ...ich meine das heisst INT13H Support oder so...guck in die Kurzbeschreibung im M1015 BIOS.
Danach sollte es mit dem Duchreichen und booten der VM von der virt. Disk keine Probleme geben.

 

[bongartz]

So mal kurz Zwischenstand von mir. Ich habe jetzt Proxmox mit dem 3.1 Kernel installiert und im BIOS von dem M1015 boot auf disable gesetzt. Jetzt wollte ich FreeNAS noch mal neuinstallieren und habe jetzt das Problem, das beim laden der Hardware es bei den USB Ports nicht weiter geht.

Weiß einer von euch wie man dieses Problem beheben kann?

 

[hominidae]

...USB?...wieso plötzlich USB?
Probier das doch erstmal ohne USB-Controller in der VM und nur mit M1015....immer einen Fuss vor den anderen setzen

 

[bongartz]

Ich weiß aber leider nicht wie ich alle USB Ports aus der VM werfen kann :-(

 

[Fischje]

Grundsätzlich findest du unter /etc/pve/qemu-server/#dervm.conf

eine datei mit den einstellungen. da würde man auch sehen wenn du usb durchgereicht hast.

 

[bongartz]

Da war ich schon, aber leider nix mit USB gefunden. Ich habe jetzt den RAID Controller in der conf deaktiviert und jetzt komme ich bei der Installation weiter.

Langsam merke ich das FreeNAS und KVM wohl nicht so gut zusammen laufen :-(

 

[Fischje]

FreeNAS und KVM laufen gut. Daran liegts nicht.

Was passiert denn wenn die VM hochfährt und die USB-Ports sollen geladen werden. (Vor allem welche ?)

 

[bongartz]

So also ich hab das Problem jetzt auf den passthrough eingeschlossen. Wenn ich folgenden Befehle in die conf Datei schreibe kann er nicht mehr booten, da er bei den USB Geräten hängen bleibt:

machine: q35
hostpci0: 04:00.0,pcie=1,driver=vfio

Jetzt will ich es mal testen wenn ich es auf dem alten Weg mit folgenden Befehlen geht oder nicht:

hostpci0: 04:00.0

- - - Updated - - -

So mit dem alten Kernel geht es jetzt. Wenn ich aber mit dem 3.1 Kernel starte bleibt die KVM bei dem USB Geräten hängen. Gibt es hier irgendwie ein Treiber Problem oder so?

Weiß einer von euch wie ich für die M1015 bei FreeNAS einen neuen Treiber installieren kann?

 

[luigi4711]

Hi bongartz,
könntest Du mal Deine Config (mit dem alten Kernel) posten? Irgendwie startet bei mir die VM nicht mehr, wenn die die hostpci0 Zeile in der [vm#].conf eintrage!?
Warum brauchst Du denn den neuen Kernel noch, wenn es ja scheinbar mit dem alten bootet (stimmt es immer noch, dass der 3er Kernel keine OpenVZ Guests supported)?

 

[bongartz]

Ich brauche den neuen Kernel nicht, dachte nur das der neue Kernel mein Problem behebt.

hier meine conf Datei:

bootdisk: virtio0
cores: 4
hostpci0: 07:00.0
ide2: none,media=cdrom
memory: 12000
name: FreeNAS
net0: virtio=36:B0:233:FE:4D,bridge=vmbr0
onboot: 1
ostype: other
smbios1: uuid=a657657b-f28f-4fa4-8b73-9346e7acd184
sockets: 1
virtio0: local:100/vm-100-disk-1.qcow2,format=qcow2,size=32G

Hast du denn auch vorher dies https://pve.proxmox.com/wiki/Pci_passthrough gemacht?

 

[luigi4711]

Danke, das sieht meiner sehr ähnlich. Die Vorbereitungen zum Passthrough hatte ich gemacht, allerdings hat er bei meinem Dell T20 mit intel_iommu=on jede Menge Fehler geworfen... mit intel_iommu=Igfx_off hat er dann gebootet, aber vielleicht ist es dadurch nicht richtig aktiv!?

# dmesg | grep -e DMAR -e IOMMU
ACPI: DMAR 00000000d8ffe4c8 000B8 (v01 INTEL HSW 00000001 INTL 00000001)
dmar: IOMMU 0: reg_base_addr fed90000 ver 1:0 cap c0000020660462 ecap f0101a
dmar: IOMMU 1: reg_base_addr fed91000 ver 1:0 cap d2008020660462 ecap f010da

Ich mach mal in dem T20 Thread weiter...
http://www.hardwareluxx.de/community/f101/dell-poweredge-t20-1031138-75.html#post23172010

 

[argo]

@bongartz:
gibt es neue Erkentnisse zum Thema. Ich habe genau das gleiche Problem mit identischer Hardware. Ich wollte eigentlich Proxmox nutzen wegen linux, zfs und webgui werde dann wohl doch wieder ESXi 5.0U3 installieren ...

 

[mueslo]

Hab auch das gleiche Problem, wäre auch an einer Lösung interessiert. (Dell T20 + M1015 (geflasht auf IT-Modus) + Proxmox + KVM + FreeNAS). Als Kernelparameter habe ich "intel_iommu=on". Der HBA ist auf 01:00.0. Ich habe 4 verschiedene Varianten getestet:

1. Mit dem PVE-3.10.0-8er Kernel und machine=q35 und hostpci0=01:00.0,pcie=1,driver=vfio in der VM-Config, d.h. PCI-Express-Passthrough, hängt es beim Booten, die letzten Zeilen sehen in etwa so aus:

usbus4: 12 Mbps full speed USB 1.0
usbus5: 12 Mbps full speed USB 1.0
usbus6: 12 Mbps full speed USB 1.0
usbus7: 480 Mbps full speed USB 2.0

2. Mit normalem PCI-Passthrough (d.h. ohne 'machine' und mit 'hostpci0=01:00.0') und dem 3.10.0-8er kommt die Fehlermeldung

kvm: -device pci-assign,host=01:00.0,id=hostpci0,bus=pci.0,addr=0x10: No IOMMU found. Unable to assign device "hostpci0"
kvm: -device pci-assign,host=01:00.0,id=hostpci0,bus=pci.0,addr=0x10: Device initialization failed.
kvm: -device pci-assign,host=01:00.0,id=hostpci0,bus=pci.0,addr=0x10: Device 'kvm-pci-assign' could not be initialized

Die Ausgabe von "dmesg | grep -e IOMMU -e DMAR" für die Versuche 1 und 2 befindet sich hier: [ 0.000000] ACPI: DMAR 00000000d8ffe500 000B8 (v01 INTEL HSW 00000001 I - Pastebin.com
Auf 00:1f.2 befindet sich der Onboard-RAID-Controller.

3. Mit normalem PCI-Passthrough und dem PVE-2.6.32-37er Kernel funktioniert es prinzipiell, aber dmesg spuckt dauerhaft mit einer Frequenz von ca 20 Hz Fehler

dmar: DMAR:[DMA Read] Request device [00:02.0] fault addr 36c0000
DMAR: [fault reason 06] PTE Read access is not set
dmar: DRHD: handling fault status reg 3

Auf 00:02.0 sitzt:

00:02.0 VGA compatible controller: Intel Corporation Xeon E3-1200 v3 Processor Integrated Graphics Controller (rev 06)

Hier kommt auch bei dmesg erst der Fehler zu 00:1f.2 bevor die ganzen Fehler zum Grafikcontroller kommen. Hab aber kein dmesg-Output dazu, weil dmesg zu schnell voll ist durch die ganzen Fehler.

4. Um diese Fehler zu beseitigen haben manche mit "intel_iommu=igfx_off" gebootet. Dann sind bei mir zwar die sich wiederholenden Fehler weg, aber es kommt der gleiche Fehler wie bei 2. wenn man versucht die VM zu starten, PCI passthrough funktioniert nicht mehr.

Die Ausgabe von "dmesg | grep -e IOMMU -e DMAR" befindet sich hier: ACPI: DMAR 00000000d8ffe500 000B8 (v01 INTEL HSW 00000001 INTL 00000001) - Pastebin.com

 

[luigi4711]

Ich hatte in dem T20 Thread weiter unten meine Lösung gepostet. Schau mal, ob Dir das hilft, ich denke Dein Kernelparameter ist nicht vollständig:
http://www.hardwareluxx.de/community/f101/dell-poweredge-t20-1031138-77.html#post23181454

Bei mir:
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=igfx_off intel_iommu=on"