AliManali
cpt sunday flyer
Falls tatsächlich wer den Filer auf dem durchgereichten HBA betreibt, bitte Hände hoch. Diejenigen die den Filer dagegen virtuell laufen lassen auch Hände hoch.
[Sammelthread] Proxmox Stammtisch
- Ersteller GrafikTreiber
- Erstellt am
Falls tatsächlich wer den Filer auf dem durchgereichten HBA betreibt, bitte Hände hoch. Diejenigen die den Filer dagegen virtuell laufen lassen auch Hände hoch.
Hab ich auch noch nicht gehört. Mit Hyper-V würde das z.B. gar nicht gehen. Würde daher Abstand davon nehmen.
AliManali
cpt sunday flyer
Würde meinen, wenn der HBA im IT Modus ist, kann gar nicht davon gebootet werden? Zumindest in meinem Host tauchen die Platten erst auf, nachdem der gestartet wurde. Die seh ich nicht im BIOS, oder (in meinem Fall unter ESXi) im Hostclient. Die Platten sehe ich erst im gestartetem Filer, und von dem HBA BIOS sehe ich gar nie was. Kommt aber auch auf den HBA und die Firmware an. Die ganzen ZFS Freaks mögen ja die IT Firmware.
pwnbert
Enthusiast
- Mitglied seit
- 30.10.2014
- Beiträge
- 3.916
So, ich hab hier die Option, von der vorher gesprochen wurde, hilft aber nicht weiter.
Aber es geht ja wunderbar - also why not? Soll ich euch ne Bildergeschichte machen, damit ihr es glaubt?
Es ist so, mit SeaBios rebootet er irgendwann nachm HBA initialisieren. Wenn ich da ESC drücke für die Boot-Optionen (mehr gibt das SeaBios mit dem Proxmox Logo ja nicht her offenbar), wähle ich dort 1. legacy (wie am ersten Screenshot), dann bootet er mir sauber.
Okay, ich glaub euch schon, dass das unüblich ist.
Aber es geht ja wunderbar - also why not? Soll ich euch ne Bildergeschichte machen, damit ihr es glaubt?
Es ist so, mit SeaBios rebootet er irgendwann nachm HBA initialisieren. Wenn ich da ESC drücke für die Boot-Optionen (mehr gibt das SeaBios mit dem Proxmox Logo ja nicht her offenbar), wähle ich dort 1. legacy (wie am ersten Screenshot), dann bootet er mir sauber.
AliManali
cpt sunday flyer
Frag mal @gea, die ist da super Profi. Die kann das sicher besser erläutern. Halte mich da auch nur an Vorgaben, die von den ganzen Nerds gemacht werden. Eine davon ist, dass für ZFS der HBA im IT Mode sein sollte. Damit er nirgends rein funkt hardwaremässig. Im IT Mode ist er halt dumm, und das OS regelt alles. IR Mode ist eher für Hardware RAID und sowas gedacht.
wenzilinho
Experte
- Mitglied seit
- 21.09.2018
- Beiträge
- 189
Richtig im Sinne von "best practice". War vielleicht falsch ausgedrückt. Beim virtuellen OS kannst halt easy Backups machen oder vorm Update noch nen Snapshot.
Will dir in dein Gebastel nicht reinreden, finde es interessant.
Die anderen Möglichkeiten wollte ich nur erwähnt haben. Für dich keine Hilfe, klar, weil du Truenas nutzen willst. Aber für andere vielleicht eine Hilfe.
pwnbert
Enthusiast
- Mitglied seit
- 30.10.2014
- Beiträge
- 3.916
Versteh schon. Nachdem es aber offenbar (irgendwie) funktioniert, frag ich mich, wie wohl richtig.
Ich könnte es natürlich nochmal am HBA neu installieren... wer weiss?
Ehrlich gesagt bin ich selbst am überlegen, ob ich das OS einfach virtuell machen soll... damit habt ihr schon recht. Geht am Ende ja nur um die Konfiguration.
Ich fände es trotzdem irgendwie elegant.
Hat wohl beides seine Vor und Nachteile.
Begonnen hat mein Plan damit, dass ich mit möglichst wenig Aufwand ein TrueNAS von baremetal auf Proxmox übersiedeln wollte, wenn der Rückweg ebenso problemlos und kinderleicht ist, wäre das natürlioch kein Schaden, dachte ich.
Ich könnte es natürlich nochmal am HBA neu installieren... wer weiss?
Ehrlich gesagt bin ich selbst am überlegen, ob ich das OS einfach virtuell machen soll... damit habt ihr schon recht. Geht am Ende ja nur um die Konfiguration.
Ich fände es trotzdem irgendwie elegant.
Hat wohl beides seine Vor und Nachteile.
Begonnen hat mein Plan damit, dass ich mit möglichst wenig Aufwand ein TrueNAS von baremetal auf Proxmox übersiedeln wollte, wenn der Rückweg ebenso problemlos und kinderleicht ist, wäre das natürlioch kein Schaden, dachte ich.
AliManali
cpt sunday flyer
Wenn Du virtuell installierst, hast Du sowohl die virtuelle Boot Platte als auch den HBA Storage an TrueNAS. Genauso wie wenn Du es vom HBA aus bootest.
Wenn Du den bestehenden Storage importieren willst a) backup Config einspielen, oder b) Pools rasch importieren. Bei b) werden praktischerweise auch die ganzen Berechtigungen übernommen; war selbst ganz erstaunt, dass das geht. Zumindest unter napp-it.
Es war/ist/handelt sich um einen ZFS Storage, oder? Wenn ja, würde ich mich erst mal darum kümmern, ob der HBA im IT Mode läuft...
Und Rückweg gibt es nicht. Also schon. Aber nicht auf dem highway to rabbit hole. Keine Ahnung, hatte seit 15 Jahren kein Blech mehr am laufen.
Wenn Du den bestehenden Storage importieren willst a) backup Config einspielen, oder b) Pools rasch importieren. Bei b) werden praktischerweise auch die ganzen Berechtigungen übernommen; war selbst ganz erstaunt, dass das geht. Zumindest unter napp-it.
Es war/ist/handelt sich um einen ZFS Storage, oder? Wenn ja, würde ich mich erst mal darum kümmern, ob der HBA im IT Mode läuft...
Und Rückweg gibt es nicht. Also schon. Aber nicht auf dem highway to rabbit hole. Keine Ahnung, hatte seit 15 Jahren kein Blech mehr am laufen.
Zuletzt bearbeitet:
Als Anmerkung
Bei ESXi ist AiO die einzige Möglichkeit, lokales ZFS Storage im ESXi Server zu haben. Das ist da alternativlos.
Bei Proxmox hat man ja bereits ein Debian mit aktuellem ZFS serienmäßig. Da bringt eine Storage VM egal ob mit einem weiteren Debian (TN) oder Solaris/OmniOS ZFS mäßig überhaupt keinen Vorteil sondern nur den Komfort einer Weboberfläche für ZFS Management, kostet nur dafür aber ordentlich Speicher und CPU. Bei Solaris/OmniOS hätte man immerhin noch den kernelbasierten SMB Server statt SAMBA und etwas weniger Resourcenbedarf.
Bei Proxmox lautet die Alternative, SAMBA einfach nachzuinstallieren ohne Storage VM. Für ZFS Management gibt es ja neben meinem napp-it eine ganze Reihe von ZFS Web-GUIs für Linux.
Bei ESXi ist NFS das Mittel der Wahl. Bei Proxmox genügt eigentlich SMB für Datentransfers, NFS brauchts nicht. Damit umgeht man das Problem dass NFS3 keine Authentifizierung oder Authorisierung kann (nur Restriktionen auf ip) und NFS4 gerne imständlich wird. Bei SMB sind ACL Rechtevergaben kein Problem (ok SAMBA ist da eine Katastrophe im Vergleich zu Solaris/Illumos/Windows)
Booten vom HBA ist kein Problem wenn man die Biosunterstützung nicht weggeflasht hat. IT und IR gehen beide problemlos mit ZFS sofern man kein Hardwareraid mit dem IR Mode macht.. SSD Trim soll mit IR Probleme bereiten können.
Konsistente SMB ACL Rechte geht eigentlich nur mit Illumos und Windows ohne Gewürge weil beide weltweit eindeutige (AD) SID als Security Referenz nutzen. SAMBA nutzt als Referenz einfache uid/gid Nummern. Die können auf jedem Server einen anderen Nutzer kennzeichnen. Das dann nötige Mapping uid <-> SID ist der Grund warum SMB Rechte unter SAMBA und Linux so kompliziert sind.
Bei ESXi ist AiO die einzige Möglichkeit, lokales ZFS Storage im ESXi Server zu haben. Das ist da alternativlos.
Bei Proxmox hat man ja bereits ein Debian mit aktuellem ZFS serienmäßig. Da bringt eine Storage VM egal ob mit einem weiteren Debian (TN) oder Solaris/OmniOS ZFS mäßig überhaupt keinen Vorteil sondern nur den Komfort einer Weboberfläche für ZFS Management, kostet nur dafür aber ordentlich Speicher und CPU. Bei Solaris/OmniOS hätte man immerhin noch den kernelbasierten SMB Server statt SAMBA und etwas weniger Resourcenbedarf.
Bei Proxmox lautet die Alternative, SAMBA einfach nachzuinstallieren ohne Storage VM. Für ZFS Management gibt es ja neben meinem napp-it eine ganze Reihe von ZFS Web-GUIs für Linux.
Bei ESXi ist NFS das Mittel der Wahl. Bei Proxmox genügt eigentlich SMB für Datentransfers, NFS brauchts nicht. Damit umgeht man das Problem dass NFS3 keine Authentifizierung oder Authorisierung kann (nur Restriktionen auf ip) und NFS4 gerne imständlich wird. Bei SMB sind ACL Rechtevergaben kein Problem (ok SAMBA ist da eine Katastrophe im Vergleich zu Solaris/Illumos/Windows)
Booten vom HBA ist kein Problem wenn man die Biosunterstützung nicht weggeflasht hat. IT und IR gehen beide problemlos mit ZFS sofern man kein Hardwareraid mit dem IR Mode macht.. SSD Trim soll mit IR Probleme bereiten können.
Konsistente SMB ACL Rechte geht eigentlich nur mit Illumos und Windows ohne Gewürge weil beide weltweit eindeutige (AD) SID als Security Referenz nutzen. SAMBA nutzt als Referenz einfache uid/gid Nummern. Die können auf jedem Server einen anderen Nutzer kennzeichnen. Das dann nötige Mapping uid <-> SID ist der Grund warum SMB Rechte unter SAMBA und Linux so kompliziert sind.
pwnbert
Enthusiast
- Mitglied seit
- 30.10.2014
- Beiträge
- 3.916
Mensch jaaaaa!
Erzähl mir mehr davon.
Die Sache ist ja auch eine grundsätzliche, vom HBA booten können zu wollen. Selbst wenn ich kein virtuelles TNS verwende sondern ne ZFS GUI auf Proxmox (was ich mir ja durchaus einreden lasse mal zu probieren, wenn ich etwas Zeit finde), benatwortet es ja die Frage ja nicht direkt... klar, man kann das umschiffen.
Nüchtern betrachtet kann ich den Bootvorgang auch händisch überwachen, wird nicht oft vorkommen... nur is dann halt kein Auto-Start bei Power-Loss. Meh.
Also nochmal, es funktioniert ja.
1. VM startet, Proxmox Logo
2. HBA initiallisiert, schreibt die HDDs auf, die davor hängen, sieht so aus:
3. Bild springt weiter, nicht erkennbar auf was. => Hier springt er wieder zu 1.
=> Das ist mein "Loop", in dem ich hänge (automatisch).
=> Aus diesem Loop kann ich manuell ausbrechen, indem ich bei:
1. dem Proxmox-Logo-Einschalt-Screen ESC drücke, dann kommt:
1.a. Ein Bootmenü mit den Einträgen "1. Legacy Boot ...", "2. QEMU ... irgendwas" (das virtuelle CD Laufwerk), "3. ..." (müsste diese Bios Shell sein oder so) - Wortlaut im Detail hab ich mir nicht gemerkt, kein Screen da ATM.
==> Wenn ich nun in 1.a. den Punkt 1 mit Enter auswähle, startet mir die Kiste, wie sie soll. Von der HDD am HBA, welcher im HBA-Bios entsprechend als Boot-Medium markiert ist.
Es funktioniert ja, nur nicht automatisch. Was übersehe ich?
