teqqy
Enthusiast
Stand kein "guests allowed" drin. Dabei war ich mir sicher, das sich das im Dropfeld beim anlegen ausgewählt habe. Geändert und schon funktionierts. Danke dir für die Hilfe.
Stand kein "guests allowed" drin. Dabei war ich mir sicher, das sich das im Dropfeld beim anlegen ausgewählt habe. Geändert und schon funktionierts. Danke dir für die Hilfe.
OmniOS als Netzwerk Switch.
Ich spiele gerade mit den Software Bridge Features in OmniOS,
siehe https://docs.oracle.com/cd/E23824_01/html/821-1458/rbridgesoverview.html#scrolltoc zum manuellen Einrichten.
Damit läßt sich folgendes erreichen:
Wenn ein OmniOS Filer z.B. 4 Netzwerkkarten hat, dann kann man eine ganz normal konfigurieren und als Uplink nutzen. Wenn man dann eine Bridge über diese und die drei anderen Karten bildet, dann kann man daran Clients anschließen, die den Server, alle anderen Clients und alles am Uplink sehen.
Hintergrund:
Im Moment kann man damit kleinere Lab Installationen mit günstigen 10G Karten aufbauen und spart sich den zentralen 10G Switch. Richtig spannend wird es aber mit den neuen Intel X710 Karten. Die haben ein oder zwei QSFP+ 40G Anschlüsse. An eine solche Karte kann man per QSFP+ nicht nur zwei andere per QSFP+ anschließen sondern per zwei QSFP+ auf 8 x 10G SFP+ Copper Kabel bis zu 8 x 10G Clients per Nic.
Die QSFP+ Kupfer Kabel sind momentan noch nicht so günstig, dürften aber bald billig zu haben sein (wenn nicht Cisco oder HP draufsteht).
Illumos/ OmniOS arbeitet gerade an Treibern für die Intel X550 und insbesondere die X710.
Damit werden kleine, günstige und sehr schnelle Lösungen denkbar, z.B. mit einem leisen High Performance ZFS Server mit mehreren NVMe Karten als Mirror oder Raid-Z für mehrere 4k Videoschnittplätze oder ESXi Clients für relativ wenig Geld.
Die Lösung erscheint mir sehr interessant. Falls es jemand testet, wären Erfahrungsberichte vor allem zur Stabilität interessant.
Im aktuellen napp-it Pro 2016.05 dev habe ich dazu einen Menüpunkt unter System > Network Eth hinzugefügt.
Ist aber mit obiger Oracle Doc einfach manuell einzurichten.
Ich spiele gerade mit den Software Bridge Features in OmniOS,
siehe https://docs.oracle.com/cd/E23824_01/html/821-1458/rbridgesoverview.html#scrolltoc zum manuellen Einrichten.
Damit läßt sich folgendes erreichen:
Wenn ein OmniOS Filer z.B. 4 Netzwerkkarten hat, dann kann man eine ganz normal konfigurieren und als Uplink nutzen. Wenn man dann eine Bridge über diese und die drei anderen Karten bildet, dann kann man daran Clients anschließen, die den Server, alle anderen Clients und alles am Uplink sehen.
Hintergrund:
Im Moment kann man damit kleinere Lab Installationen mit günstigen 10G Karten aufbauen und spart sich den zentralen 10G Switch. Richtig spannend wird es aber mit den neuen Intel X710 Karten. Die haben ein oder zwei QSFP+ 40G Anschlüsse. An eine solche Karte kann man per QSFP+ nicht nur zwei andere per QSFP+ anschließen sondern per zwei QSFP+ auf 8 x 10G SFP+ Copper Kabel bis zu 8 x 10G Clients per Nic.
Die QSFP+ Kupfer Kabel sind momentan noch nicht so günstig, dürften aber bald billig zu haben sein (wenn nicht Cisco oder HP draufsteht).
Illumos/ OmniOS arbeitet gerade an Treibern für die Intel X550 und insbesondere die X710.
Damit werden kleine, günstige und sehr schnelle Lösungen denkbar, z.B. mit einem leisen High Performance ZFS Server mit mehreren NVMe Karten als Mirror oder Raid-Z für mehrere 4k Videoschnittplätze oder ESXi Clients für relativ wenig Geld.
Die Lösung erscheint mir sehr interessant. Falls es jemand testet, wären Erfahrungsberichte vor allem zur Stabilität interessant.
Im aktuellen napp-it Pro 2016.05 dev habe ich dazu einen Menüpunkt unter System > Network Eth hinzugefügt.
Ist aber mit obiger Oracle Doc einfach manuell einzurichten.
morumbinas
Enthusiast
- Mitglied seit
- 01.12.2007
- Beiträge
- 403
Ich habe mir nen Dell T20 (mit Xeon CPU) gekauft und möchte gerne damit meinen HP N36L ESXi mit verschiedenen VMs (Firewall, Fileserver, Backupserver etc.) ablösen. Vorhanden sind aktuell 2x 2TB NAS 7.200er HDDs und eine 120GB SSD. Aktuell liegen die Betriebssystempartitionen (bzw. die VMDK Datei mit dem Betriebssystem) auf der SSD und die Partitionen mit den Dateien auf einer HDD.
Ein Auszug aus napp-it.de besagt folgendes...
1. Ich möchte gerne ZFS einsetzen. Soweit ich es jetzt verstehe, lege ich alle meine VMs (Betriebssystem & Daten) in den ZFS Pool. Habe ich damit nicht ein Geschwindigkeitsproblem, wenn darauf 5-6 VMs (z.T. ständigem Zugriff) liegen? Aktuell liegen ja die Betriebssysteme auf der SSD.
2. Die SSD nehme ich dann ja für die Storage VM her. Ist es hier empfehlenswert, ein RAID1 Level zu verwenden? Wenn die SSD down ist, liegt ja auch erst einmal der sehr auf Eis...
3. Geht nicht direkt um ZFS. Ich möchte den T20 gerne als Fileserver, als Backupserver und noch für andere Dienste (u.a. Terminalserver) verwenden. Brauche ich (bzw. ist es empfehlenswert) wenn ich mir noch einen bzw. zwei Festplatten Controller anschaffe? Ich kann ja mit dem Xeon den Controller durchreichen und das Betriebssystem kann ihn dann komplett verwalten. Falls dies nötig ist, welchen Controller soll ich für den Fileserver verwenden? Den internen des Mainboards und ein zusätzlich PCI Controller?
Vielen Dank
Ein Auszug aus napp-it.de besagt folgendes...
1. Ich möchte gerne ZFS einsetzen. Soweit ich es jetzt verstehe, lege ich alle meine VMs (Betriebssystem & Daten) in den ZFS Pool. Habe ich damit nicht ein Geschwindigkeitsproblem, wenn darauf 5-6 VMs (z.T. ständigem Zugriff) liegen? Aktuell liegen ja die Betriebssysteme auf der SSD.
2. Die SSD nehme ich dann ja für die Storage VM her. Ist es hier empfehlenswert, ein RAID1 Level zu verwenden? Wenn die SSD down ist, liegt ja auch erst einmal der sehr auf Eis...
3. Geht nicht direkt um ZFS. Ich möchte den T20 gerne als Fileserver, als Backupserver und noch für andere Dienste (u.a. Terminalserver) verwenden. Brauche ich (bzw. ist es empfehlenswert) wenn ich mir noch einen bzw. zwei Festplatten Controller anschaffe? Ich kann ja mit dem Xeon den Controller durchreichen und das Betriebssystem kann ihn dann komplett verwalten. Falls dies nötig ist, welchen Controller soll ich für den Fileserver verwenden? Den internen des Mainboards und ein zusätzlich PCI Controller?
Vielen Dank
Zuletzt bearbeitet:
besterino
Legende
Als ich noch ESXi auf meinem T20 fuhr, hatte ich mir so einen Adapter für USB-Header auf Standardbuchse geholt und daran einen 32GB Stick. Vorteil: du hast Dein OS auch im Gehäuse.
Dann würde ich heute mit ESXi6U2 auf den USB-Stick auch die Napp-IT VM legen und einrichten. Wenn alles läuft und konfiguriert ist, USB Stick auf 2. Stick clonen und als Backup weglegen. (Das schöne ist du hast dann im Backupfall ESXi plus deine Storage VM direkt da liegen und musst nur noch evtl. die Pools neu importierten. Sache von Sekunden bzw. Minuten.).
Für alles weitere brauchst Du idealerweise einen HBA bzw. Raidcontroller den du auf IT Mode flashen kannst, damit Du Deine Platten auch ordentlich an die VM durchreichen kannst. Im Prinzip sind LSI Chipsätze bekannt und bewährt. Bevor du den anschaffst, kannst Du natürlich auch versuchen, die Onboard SATA Ports durchzureichen. Beim HPGen8 hat das bei mir gut funktioniert.
Ich würde mir dann noch ggf. eine 2. 120er SSD holen. Mit der baust Du dann mit deiner vorhandenen einen Mirror in der StorageVM und reichst das Ganze über NFS an ESXi "zurück" als Speicherplatz für deine VMs. Zwar beschleunigt der Mirror schreiben nicht, aber beim Lesen hilfts immerhin und du hast die Ausfallsicherheit. Glaube auch nicht, dass 5-6 VMs da besondere Engpässe verursachen, hängt aber sehr davon ab, was die VMs treiben. Bei "normalen" Anwendungen entsteht wohl die stärkste IO Last auf dem storage beim Booten und Herunterfahren... Aber das musst Du wissen. Zu Not baust du halt noch eine NFS-Freigabe auf deinen Datenplatten und reichst davon auch noch was an ESXi für gewisse VMs zurück, dann kannst Du damit auch noch etwas "load balancen" wie man so schön sagt.... Bei allem Komfort und Luxus den ZFS eben so mit sich bringt. =)
Nur mal so: ich habe zwischendurch ne StorageVM, 2 nested HyperV Server und eine ManagementVM auf einer einzelnen SSD gefahren. Das war vielleicht etwas zäher als wenn die alle auf separatem Metall gelaufen wären - lag aber im Zweifel (auch) an den Rambeschränkungen - war aber völlig brauchbar.
Ansonsten musst Du halt Umdenken - z.B. machst aus den 2 SSD ein Raid0 und sicherst die VMs regelmäßig über ZFS Replikation auf Deinen HDD Pool. Oder halt mit 4 SSD (mit so Icydock Adaptern bekommst du 2y2,5" in jeden 3,5er Schacht - bleiben noch 2 für echte 3,5HDDs ganz ohne Frickeln)...
Dann würde ich heute mit ESXi6U2 auf den USB-Stick auch die Napp-IT VM legen und einrichten. Wenn alles läuft und konfiguriert ist, USB Stick auf 2. Stick clonen und als Backup weglegen. (Das schöne ist du hast dann im Backupfall ESXi plus deine Storage VM direkt da liegen und musst nur noch evtl. die Pools neu importierten. Sache von Sekunden bzw. Minuten.).
Für alles weitere brauchst Du idealerweise einen HBA bzw. Raidcontroller den du auf IT Mode flashen kannst, damit Du Deine Platten auch ordentlich an die VM durchreichen kannst. Im Prinzip sind LSI Chipsätze bekannt und bewährt. Bevor du den anschaffst, kannst Du natürlich auch versuchen, die Onboard SATA Ports durchzureichen. Beim HPGen8 hat das bei mir gut funktioniert.
Ich würde mir dann noch ggf. eine 2. 120er SSD holen. Mit der baust Du dann mit deiner vorhandenen einen Mirror in der StorageVM und reichst das Ganze über NFS an ESXi "zurück" als Speicherplatz für deine VMs. Zwar beschleunigt der Mirror schreiben nicht, aber beim Lesen hilfts immerhin und du hast die Ausfallsicherheit. Glaube auch nicht, dass 5-6 VMs da besondere Engpässe verursachen, hängt aber sehr davon ab, was die VMs treiben. Bei "normalen" Anwendungen entsteht wohl die stärkste IO Last auf dem storage beim Booten und Herunterfahren... Aber das musst Du wissen. Zu Not baust du halt noch eine NFS-Freigabe auf deinen Datenplatten und reichst davon auch noch was an ESXi für gewisse VMs zurück, dann kannst Du damit auch noch etwas "load balancen" wie man so schön sagt.... Bei allem Komfort und Luxus den ZFS eben so mit sich bringt. =)
Nur mal so: ich habe zwischendurch ne StorageVM, 2 nested HyperV Server und eine ManagementVM auf einer einzelnen SSD gefahren. Das war vielleicht etwas zäher als wenn die alle auf separatem Metall gelaufen wären - lag aber im Zweifel (auch) an den Rambeschränkungen - war aber völlig brauchbar.
Ansonsten musst Du halt Umdenken - z.B. machst aus den 2 SSD ein Raid0 und sicherst die VMs regelmäßig über ZFS Replikation auf Deinen HDD Pool. Oder halt mit 4 SSD (mit so Icydock Adaptern bekommst du 2y2,5" in jeden 3,5er Schacht - bleiben noch 2 für echte 3,5HDDs ganz ohne Frickeln)...
Dadurch dass die Solaris oder OmniOS Storage VM den RAM oberhalb von 1-2GB als RAM-Lesecache nutzt, kann man auch aus einem normalen Plattenpool Performance holen. Mit ausreichend RAM werden die allermeisten Lesezugriffe aus dem RAM bedient.
Beim Schreiben oder erstmaligem Zugriff bringt das natürlich nichts. Deshalb ist die übliche Vorgehensweise, zwei Pools zu haben, einen SSD Pool (idealerweise Mirror oder Raid-Z) für VMs und einen normalen Disk-Pool als Filer und fürs Backup der VMs. Ein Disaster Backup aller wichtiger Daten sollte dann noch idealrweise extern vorhanden sein.
Idealerweise hat man
- eine kleine SSD (30-60GB) an Sata für ESXi und die Storage VM
- Einen HBA mit LSI Chipsatz idealerweise ohne Raid/ IT mode den man an ZFS für die Daten gibt z.B. IBM 1015, LSI 9211 etc
USB + Sata oder Raw disk mapping sind Notlösungen um den HBA zu sparen oder falls das Board kein vt-d kann. Die SSD kann man genauso wie einen USB Stick klonen/imagen und das Image oder den Clon als Reserve bereithalten.
Zuletzt bearbeitet:
morumbinas
Enthusiast
- Mitglied seit
- 01.12.2007
- Beiträge
- 403
Vielen Dank gea & auch besterino!
Vermutlich werde ich mir dann 32GB Ram besorgen. Ich hab jetzt noch ein paar Fragen, die mir beim Lesen deines Post eingefallen sind:
1. Kann ich die kleine SSD (für ESXi & die Storage VM) auch im RAID1 laufen lassen? Gibt es dafür irgendwelche Nachteile? Gerade wenn diese SSD ausfällt, ist ja der gesamte Server down... Und kommt es hier stark auf die Perfomance der SSD an? Ich würde dafür vermutlich meine 120GB SanDisk Plus SSD "opfern".
2. An den HBA Controller lege ich die Daten (also in meinem Fall z.B. Raid1 (keine Ahnung wie es bei ZFS heißt
) mit den 2 vorhanden 2TB HDDs; in Zukunft evtl. RAID5 od. RAID10) und diesen Controller gebe ich mittels PCI Passthrough an das NAS Betriebssystem (zB OpenMediaVault) durch. Das Betriebssystem liegt aber dann auf dem SSD Pool (z.B. mit 2x 256GB SSDs die ich noch kaufen muss). Habe ich das so richtig verstanden?3. Wenn ich jetzt eine zusätzliche VM habe zB für den Fileserver und dort recht viel aufnehme, kann ich dann weiterhin den HDD Pool verwenden und muss ich zwangsläufig die Aufnahmen über den SSD Pool machen? Einziger Umweg fällt mir ein, wenn ich über das Fileserver-Betriebssystem eine z.B. Samba Freigabe mache und darüber aufzeichne.
Schon mal vielen Dank im Voraus für deine Bemühungen
Zuletzt bearbeitet:
1. Ja geht,
aber nur wenn ESXi das unterstützt (Hardwareraid) oder aber die Storage VM das per Software kann (z.B.ZFS)
Das macht aber nur Sinn, wenn die Storage VM schwierig einzurichten ist und weitere Dienste bereitstellt. Das sollte man aber bleiben lassen. Die Storage VM liegt ja auf "unsicherem" vmfs Storage wo man auch keine Snapshots halten sollte. Idealerweise nimmt man da eine Minimalst Storage Lösung die man in 30s per Template Import wiederherstellen kann. Mein Favorit ist da OmniOS (ein freier Solaris Fork mit ZFS), kleiner geht eine Storage VM aus einer Hand bei der alles dabei ist nicht. OMV halte ich als ZFS Storage VM eher für weniger geeignet.
Alle anderen Dienste werden virtualisiert, je nach VM mit BSD, OSX, Linux, Solaris oder Windows. Die VMs liegen idealerweise auf "sicherem" ZFS Storage mit Snapshots den die Storage VM per NFS bereitstellt.
2.
Raid-1 heißt überall Raid-1
Die Storage VM liegt aber auf der sata Boot-SSD. Alle anderen VMs dann auf dem ZFS Pool über den Extra Controller (pass-through) mit Raid-1 oder Raid-Z.
3.
Die Storage VM hat dann zwei ZFS Pools, (SSD- und Plattenpool) die man unabhängig je nach Bedarf per NFS, SMB oder iSCSI freigeben kann. Auch kann man VMs auf den SSD Pool oder den langsameren Plattenpool legen.
aber nur wenn ESXi das unterstützt (Hardwareraid) oder aber die Storage VM das per Software kann (z.B.ZFS)
Das macht aber nur Sinn, wenn die Storage VM schwierig einzurichten ist und weitere Dienste bereitstellt. Das sollte man aber bleiben lassen. Die Storage VM liegt ja auf "unsicherem" vmfs Storage wo man auch keine Snapshots halten sollte. Idealerweise nimmt man da eine Minimalst Storage Lösung die man in 30s per Template Import wiederherstellen kann. Mein Favorit ist da OmniOS (ein freier Solaris Fork mit ZFS), kleiner geht eine Storage VM aus einer Hand bei der alles dabei ist nicht. OMV halte ich als ZFS Storage VM eher für weniger geeignet.
Alle anderen Dienste werden virtualisiert, je nach VM mit BSD, OSX, Linux, Solaris oder Windows. Die VMs liegen idealerweise auf "sicherem" ZFS Storage mit Snapshots den die Storage VM per NFS bereitstellt.
2.
Raid-1 heißt überall Raid-1
Die Storage VM liegt aber auf der sata Boot-SSD. Alle anderen VMs dann auf dem ZFS Pool über den Extra Controller (pass-through) mit Raid-1 oder Raid-Z.
3.
Die Storage VM hat dann zwei ZFS Pools, (SSD- und Plattenpool) die man unabhängig je nach Bedarf per NFS, SMB oder iSCSI freigeben kann. Auch kann man VMs auf den SSD Pool oder den langsameren Plattenpool legen.
Zuletzt bearbeitet:
morumbinas
Enthusiast
- Mitglied seit
- 01.12.2007
- Beiträge
- 403
Vielen Dank, ich hab alles verstanden
Ich hab jetzt noch eine Frage bzgl. der SSDs. Würdest du einer Intel Enterprise SSD (zB 3500er mit powerloss Protection) zwei Consumer SSDs im RAID1 Verbund vorziehen, oder doch lieber die Intel SSD alleine nehmen? Das gilt jetzt für den SSD Pool und für die Storage VM.
Bin mir gerade unsicher welche Platten ich kaufen soll. Die Intel SSDs sind ja gleich mal doppelt so teuer... Meine 120er Consumed SSD will ich jetzt auch nicht ungenutzt liegen lassen.
Ich hab jetzt noch eine Frage bzgl. der SSDs. Würdest du einer Intel Enterprise SSD (zB 3500er mit powerloss Protection) zwei Consumer SSDs im RAID1 Verbund vorziehen, oder doch lieber die Intel SSD alleine nehmen? Das gilt jetzt für den SSD Pool und für die Storage VM.
Bin mir gerade unsicher welche Platten ich kaufen soll. Die Intel SSDs sind ja gleich mal doppelt so teuer... Meine 120er Consumed SSD will ich jetzt auch nicht ungenutzt liegen lassen.
Zuletzt bearbeitet:
Das ist wie Sicherheitsgurt oder Airbag?
Ich würde vermutlich eine Samsung PM/SM 863 SSD nehmen.
Ist etwas billiger als Intel und durchaus vergleichbar.
At Home kommt man dann mit Backups hin. Irgendwann dann eine zweite SSD für einen Mirror und gut.
Ich würde vermutlich eine Samsung PM/SM 863 SSD nehmen.
Ist etwas billiger als Intel und durchaus vergleichbar.
At Home kommt man dann mit Backups hin. Irgendwann dann eine zweite SSD für einen Mirror und gut.
besterino
Legende
Die PM863 mit 120GB kostet ja sogar bei Amazon nur knapp über 100 Euro...
Moin moin,
ich brauche mal ne gut Idee, da mein eigene wohl nen Haken hat
Ich habe zwei Dell T20, einmal mit dem Xeon und einmal mit dem Pentium.
Der Xeon sollte als Hypervisor Host dienen. Plattform noch nicht ganz klar, vielleicht spiele ich nochmal mit Proxmox herum sonst ESXi oder Hyper-V. Im Moment nichts produktives eher zum "spielen".
Für den kleinen T20 hatte ich folgendes überlegt: Einen i3 4330 einbauen der hier noch liegt, die 12GB ECC RAM und dann mit ESXi und Napp-IT ein NAS basteln. Zusätzlich sollen ein paar kleine Linux VMs mit drauf. Einen TV Server mit tvheadend, ein Plex Server und evtl. noch einen VPN Server, da bin ich aber noch nicht festgelegt.
Die Platten hängen an einem LSI der im IT Mode läuft.
Nun habe ich festgestellt, dass mit dem i3-4330 wohl gar kein Passthrough möglich ist. Ich habe wohl VT-d und VT-x verwechselt
Was habe ich also für Möglichkeiten? Den Xeon für das NAS nehmen, OmniOS mit Napp-IT direkt installieren und dann mit KVM die benötigten KVMs basteln? Oder gibt es noch eine andere Lösung?
ich brauche mal ne gut Idee, da mein eigene wohl nen Haken hat
Ich habe zwei Dell T20, einmal mit dem Xeon und einmal mit dem Pentium.
Der Xeon sollte als Hypervisor Host dienen. Plattform noch nicht ganz klar, vielleicht spiele ich nochmal mit Proxmox herum sonst ESXi oder Hyper-V. Im Moment nichts produktives eher zum "spielen".
Für den kleinen T20 hatte ich folgendes überlegt: Einen i3 4330 einbauen der hier noch liegt, die 12GB ECC RAM und dann mit ESXi und Napp-IT ein NAS basteln. Zusätzlich sollen ein paar kleine Linux VMs mit drauf. Einen TV Server mit tvheadend, ein Plex Server und evtl. noch einen VPN Server, da bin ich aber noch nicht festgelegt.
Die Platten hängen an einem LSI der im IT Mode läuft.
Nun habe ich festgestellt, dass mit dem i3-4330 wohl gar kein Passthrough möglich ist. Ich habe wohl VT-d und VT-x verwechselt
Was habe ich also für Möglichkeiten? Den Xeon für das NAS nehmen, OmniOS mit Napp-IT direkt installieren und dann mit KVM die benötigten KVMs basteln? Oder gibt es noch eine andere Lösung?
morumbinas
Enthusiast
- Mitglied seit
- 01.12.2007
- Beiträge
- 403
Ich habs gesehen das die 120er GB Samsung SM SSD nur knapp 83 Euro kostet (die 240GB Variante kostet gleich mal über 140 Euro...). Ich bin mir nur unsicher ob ich nicht doch auf 256GB gehen soll. Die Linux VMs brauchen ja kaum Speicher, aber bei Windows sieht es anders aus. Zumal ich evtl. Die SSD für Speed verwende, zb wenn ich in Lighroom meine Bilder bearbeite. Bin echt gerade im Zwiespalt ob 2x 256 Consumer SSD für knapp 150 Euro oder 2x 120 GB Samsung SM Enterprise SSDs für ca 165 Euro.
Zuletzt bearbeitet:
Moin moin,
ich brauche mal ne gut Idee, da mein eigene wohl nen Haken hat
Ich habe zwei Dell T20, einmal mit dem Xeon und einmal mit dem Pentium.
Der Xeon sollte als Hypervisor Host dienen. Plattform noch nicht ganz klar, vielleicht spiele ich nochmal mit Proxmox herum sonst ESXi oder Hyper-V. Im Moment nichts produktives eher zum "spielen".
Für den kleinen T20 hatte ich folgendes überlegt: Einen i3 4330 einbauen der hier noch liegt, die 12GB ECC RAM und dann mit ESXi und Napp-IT ein NAS basteln. Zusätzlich sollen ein paar kleine Linux VMs mit drauf. Einen TV Server mit tvheadend, ein Plex Server und evtl. noch einen VPN Server, da bin ich aber noch nicht festgelegt.
Die Platten hängen an einem LSI der im IT Mode läuft.
Nun habe ich festgestellt, dass mit dem i3-4330 wohl gar kein Passthrough möglich ist. Ich habe wohl VT-d und VT-x verwechselt
Was habe ich also für Möglichkeiten? Den Xeon für das NAS nehmen, OmniOS mit Napp-IT direkt installieren und dann mit KVM die benötigten KVMs basteln? Oder gibt es noch eine andere Lösung?
Man kann zwar auch unter ESXi Platten per RDM an Gäste ohne vt-d durchreichen, die einfachste Lösung dürften aber ohne vd-d die sein, bei denen das Haupt- oder Storagebetriebssystem nicht virtualisiert wird sondern direkt auf Blech läuft, also
- Windows als Filesyserver mit sonstigen Diensten und Hyper-V für Virtualisiserung
- OmniOS als NAS/SAN mit sonstigen Diensten und Virtualbox/KVM/zones für Virtualisiserung
- Proxmox als Fileserver mit sonstigen Diensten und KVM für Virtualisiserung
Ich würde vermutlich ESXi auf den Xeon packen und alles darauf virtualisieren, inkl Storage VM mit schnellem ZFS Storage für die sonstigen VMs und die zweite Maschine als allgemeinen Filer und für Backup oder iSCSI nehmen.
besterino
Legende
Mach doch mal bei geizhals einen Vergleich. Dann siehst Du, dass die SM im Vergleich zur PM schneller liest und schreibt, für mehr Datenzugriffe spezifiziert ist und 5 Jahre statt 3 Garantie bietet. Hab jetzt nicht die Datenblätter durchforstet, aber danach ist die SM überall die bessere.
Zuletzt bearbeitet:
siehe PM 863 vs SM 863
Samsung Releases PM863 & SM863 Enterprise SATA SSDs: Up to 3.84TB with 3D V-NAND
Der Hauptunterschied ist bei Endurance and random write iops, da ist die SM deutlich besser (halt TLC vs MLC Flash)
Samsung Releases PM863 & SM863 Enterprise SATA SSDs: Up to 3.84TB with 3D V-NAND
Der Hauptunterschied ist bei Endurance and random write iops, da ist die SM deutlich besser (halt TLC vs MLC Flash)
ich selbst (nur meine Meinung) meide TLC ... mit MLC hatte ich bisher nie einen Ausfall (nutze aber auch zumeist MLC mit Lamd/Intel/Marvell)
also diese Schiene: https://geizhals.de/?cat=hdssd&xf=4...64_LAMD~6964_Intel~6964_Marvell~4851_1#xf_top
ausnahmen hab ich z.B. für die Sandisk Extreme Pro (ältere Extreme II) und die OCZ Vertex 180 sowie Samsung 830/840/850 Pro gemacht die wirklich top laufen
also diese Schiene: https://geizhals.de/?cat=hdssd&xf=4...64_LAMD~6964_Intel~6964_Marvell~4851_1#xf_top
ausnahmen hab ich z.B. für die Sandisk Extreme Pro (ältere Extreme II) und die OCZ Vertex 180 sowie Samsung 830/840/850 Pro gemacht die wirklich top laufen
Zuletzt bearbeitet:
besterino
Legende
Wenn die 120er 5 Jahre / 770TB wie garantiert bzw. angegeben überlebt, reicht mir das. Und nachdem bei dem einen SSD Test von Techreport alle SSDs ihre angegebenen Writeraten mal locker bei weitem überlebt haben... Nichts ist leider für die Ewigkeit. Meine VMs jedenfalls erzeugen nicht die Monsterlast im Homelab.
wie kommste auf solche Schreibraten 
.... selbst auf der MariaDB SSD komm ich nur auf ein paar TB
klar ist da ein immenser unterschied, wenn du z.B. ne DB public laufen läßt (aber dazu sollte man ja auch keine Consumer SSD nutzen)
.... selbst auf der MariaDB SSD komm ich nur auf ein paar TBklar ist da ein immenser unterschied, wenn du z.B. ne DB public laufen läßt (aber dazu sollte man ja auch keine Consumer SSD nutzen)
Zuletzt bearbeitet:
besterino
Legende
Komm ich nie im Leben, deshalb reicht mir das ja auch ganz ganz locker
Muss mal in einer ruhigen Minute meine älteste SSD (256er Samsung 830) auslesen. Als ich das letzte mal geschaut hatte, wäre sie in ca 80 Jahren "am Ende"... Seitdem bin ich bei der Haltbarkeit und den ganzen Horrorszenarien wegen "man kann nicht so viel da drauf schreiben" deutlich entspannter.
Muss mal in einer ruhigen Minute meine älteste SSD (256er Samsung 830) auslesen. Als ich das letzte mal geschaut hatte, wäre sie in ca 80 Jahren "am Ende"... Seitdem bin ich bei der Haltbarkeit und den ganzen Horrorszenarien wegen "man kann nicht so viel da drauf schreiben" deutlich entspannter.
Es gibt auch Desktop SSDs da reichen ein paar Tage Schreiben und die sind hinüber
Endurance Testing the Kingston SSDNow V300 SSD
Für Storage untauglich, ok als Systemplatte
Endurance Testing the Kingston SSDNow V300 SSD
Für Storage untauglich, ok als Systemplatte
besterino
Legende
Hab da auch noch so ein ganz altes Schätzchen hier rumliegen:
Traue der guten nicht mehr so wirklich über den Weg... war von dem Ding so enttäuscht gewesen, dass ich seitdem Kingston - außer bei RAM - meide wie der Teufel das Weihwasser (völlig unfair, aber wie das halt manchmal so ist...)
Traue der guten nicht mehr so wirklich über den Weg... war von dem Ding so enttäuscht gewesen, dass ich seitdem Kingston - außer bei RAM - meide wie der Teufel das Weihwasser (völlig unfair, aber wie das halt manchmal so ist...)
Anhänge
Zuletzt bearbeitet:
Sacht mal, habe mir soeben die aktuelle napp-it VM Vorlage geladen und fix mal ausgerollt. SMB Access geht, NFS hingegen vom ESXi aus nicht? Der ESXi hat ein (virtuelles) Bein am vSwitch und kann die VM IP am vmxnet3 Adapter auch pingen...
Im Moment steht ich etwas auf dem Schlauch, woran das liegen könnte... Ich kenne weder die Appliance noch die Konfigs dahinter aktuell. Wo muss ich am besten ansetzen zum prüfen?
Desweiteren, ich würde gern den Access für NFS auf Source IPs einschränken, muss dieses "rw=@192.168.1.0/24,root=@192.168.1.0/24" in das Feld rein, wo man NFS ein/ausschalten kann? Wenn NFS wohl aktiv ist auf dem Share, kann man das Feld nicht editieren, wenn es aus ist, kann ich das zwar reinschreiben, geht aber imho nicht mit dem Access. Der ESXi hupt immer rum, dass er nicht drauf kommen würde... Selbst bei nur "on" nicht...
Irgendwie bin ich aktuell so ein bisschen planlos, was da los ist??
Für den Connect am ESXi muss ich doch via /poolname/volumename verbinden? Oder ist der Pfad schon falsch und es kann gar nicht laufen? -> bei SMB wird ja nur der volumename genutzt, der poolname ist ja dort nicht im Pfad. (also \\servername\volumename, weil volumename = share??)
EDIT:
was hab ich bis dato gemacht:
-> VM ausgerollt und Name wie auch IPs gesetzt
-> OnBoard Intel SATA AHCI Mode Controller an die VM gereicht -> Platten nun sichtbar
-> 2x Pool angelegt (1x2TB SATA als Mirror + 1x320GB SSHD als Mirror)
-> 3x Volume angelegt (2x für NFS, 1x für SMB only)
-> Quota für das SMB Share gesetzt
-> AD Join für AD User/Gruppen
-> Access via Windows gesetzt -> für alle Shares, da bei allen SMB aktiv ist -> meint (AD) User rein, "everyone" raus. (möglicherweise war/ist das der Fehler??)
-> Versuch den ESXi intern via NFS zu connecten -> hier scheitert es allerdings
EDIT2:
Mhh also wenn ich den everyone wieder reinmache, dann geht es mit dem NFS Connect vom ESXi...
Nur stellt sich mir nun gerade die Frage, wie bekomme ich da jetzt bitte die User ausgesperrt, die den Spaß dort nicht abgreifen sollen?
Ja SMB abschalten wäre eine Option, nur wo ist dann der Vorteil? Dann komme ich doch gar nicht mehr an die Shares ran. Kann die "Vorgängerversions-Snaps" nicht abholen usw.
Ist das so richtig??
Im Moment steht ich etwas auf dem Schlauch, woran das liegen könnte... Ich kenne weder die Appliance noch die Konfigs dahinter aktuell. Wo muss ich am besten ansetzen zum prüfen?
Desweiteren, ich würde gern den Access für NFS auf Source IPs einschränken, muss dieses "rw=@192.168.1.0/24,root=@192.168.1.0/24" in das Feld rein, wo man NFS ein/ausschalten kann? Wenn NFS wohl aktiv ist auf dem Share, kann man das Feld nicht editieren, wenn es aus ist, kann ich das zwar reinschreiben, geht aber imho nicht mit dem Access. Der ESXi hupt immer rum, dass er nicht drauf kommen würde... Selbst bei nur "on" nicht...
Irgendwie bin ich aktuell so ein bisschen planlos, was da los ist??
Für den Connect am ESXi muss ich doch via /poolname/volumename verbinden? Oder ist der Pfad schon falsch und es kann gar nicht laufen? -> bei SMB wird ja nur der volumename genutzt, der poolname ist ja dort nicht im Pfad. (also \\servername\volumename, weil volumename = share??)
EDIT:
was hab ich bis dato gemacht:
-> VM ausgerollt und Name wie auch IPs gesetzt
-> OnBoard Intel SATA AHCI Mode Controller an die VM gereicht -> Platten nun sichtbar
-> 2x Pool angelegt (1x2TB SATA als Mirror + 1x320GB SSHD als Mirror)
-> 3x Volume angelegt (2x für NFS, 1x für SMB only)
-> Quota für das SMB Share gesetzt
-> AD Join für AD User/Gruppen
-> Access via Windows gesetzt -> für alle Shares, da bei allen SMB aktiv ist -> meint (AD) User rein, "everyone" raus. (möglicherweise war/ist das der Fehler??)
-> Versuch den ESXi intern via NFS zu connecten -> hier scheitert es allerdings
EDIT2:
Mhh also wenn ich den everyone wieder reinmache, dann geht es mit dem NFS Connect vom ESXi...
Nur stellt sich mir nun gerade die Frage, wie bekomme ich da jetzt bitte die User ausgesperrt, die den Spaß dort nicht abgreifen sollen?
Ja SMB abschalten wäre eine Option, nur wo ist dann der Vorteil? Dann komme ich doch gar nicht mehr an die Shares ran. Kann die "Vorgängerversions-Snaps" nicht abholen usw.
Ist das so richtig??
Zuletzt bearbeitet:
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
Zugriff einschränken kannst du mit acl on Shares.
Im Prinzip liegts daran dass NFS3 keine Authentifizierung oder Authorisierung kennt.
Auch die Einschränkungen beim Sharen via IP sind nur basiert auf good-will und leicht auszuhebeln.
Zudem verhält sich NFS3 je nach Client oder Server OS unterschiedlich (nutzt nobody oder jeweilige UID )
Da Solaris SMB wie Windows nur ACL kennt und immer eine Authentifizerung benötigt, ergibt sich dass beides eigentlich inkompatibel ist. Am besten nutzt man SMB wenn man Authentifizierung benötigt und läßt NFS auf jeder=darf und trennt das per vnics, vlans oder Firewall.
Wenns nur um die Snaps geht gibts noch clones und ZFS rollback oder SMB bei Bedarf. NFS wiederum brauchts eigentlich nur für ESXi.
Auch die Einschränkungen beim Sharen via IP sind nur basiert auf good-will und leicht auszuhebeln.
Zudem verhält sich NFS3 je nach Client oder Server OS unterschiedlich (nutzt nobody oder jeweilige UID )
Da Solaris SMB wie Windows nur ACL kennt und immer eine Authentifizerung benötigt, ergibt sich dass beides eigentlich inkompatibel ist. Am besten nutzt man SMB wenn man Authentifizierung benötigt und läßt NFS auf jeder=darf und trennt das per vnics, vlans oder Firewall.
Wenns nur um die Snaps geht gibts noch clones und ZFS rollback oder SMB bei Bedarf. NFS wiederum brauchts eigentlich nur für ESXi.
Zuletzt bearbeitet:
Ich probiere jetzt gerade mal alles auf dem XEON via ESXi draufzumachen.
Ich gehe da gerade nach Eurer Anleitung vor, für die Napp-in-one Installation.
Jumboframes scheinen nicht zu gehen auf dem T20. Stell ich die ein kommt nur diese Meldung:
Aufruf von "HostNetworkSystem.UpdateVirtualSwitch" für Objekt "networkSystem" auf ESXi "x.x.x.x" ist fehlgeschlagen.
Vorgang fehlgeschlagen, Diagnosebericht: Unable to set MTU to 9000 the following uplinks refused the MTU setting: vmnic0
Habe den Schritt ausgelassen und das Template importiert und Napp-IT läuft schonmal.
Dann werde ich mal nen pool erstellen
Kann ich denn die verschiedenen Services auf verschiedene vnics festbrennen?
Also so nach dem Motto, NFS für die Shares für den ESXi auf vnic1, SMB nur auf vnic 2 und dann nur für die anderen Freigaben?
Das würde mir ggf. schon reichen -> ich hab halt eine vorhandene Workstation nach Wechsel der HDDs von Win8.1 x64 + VMware Workstation auf ESXi umgebaut. Da der ESXi ja kein Softwareraid versteht nutze ich nun die Storage Appliance für die Redundanz. Das klappt soweit. Nur wäre es eben nun schick, nicht zwingend via SSH/SCP oder ähnliches die VMs zum Testen über den ESXi auf die NFS Freigaben zu kippen, sondern wenn das auch native irgendwie gehen würde. Und halt noch das Thema mit den Snapshots, aber das löse ich ggf. ganz anders, mal sehen. -> zur aller größten Not kann ich (da ich diese Arbeiten sowieso von einem Windows Client als VM ausführe) da auch den Client zusätzlich auf das NFS Share mounten. Für den Copy Stuff, so dass SMB halt nicht notwendig ist/wäre.
Da die Kiste aber via LAN erreichbar ist, sollte zumindest NFS nicht von überall gehen (also nicht von allen vnics), wenn der ESXi nun halt eben kein User/PW mitgeben kann, was er ja nicht kann.
NFS und SMB lauschen auf allen Nics.
Man kann aber über die Firewall die Dienste aif einzelne nics oder vnics begrenzen.
- - - Updated - - -
Unter ESXi 6 und vmxnet3 sollten Jumboframes problemlos gehen - bringt aber nur was für externe Zugriffe. Man muss aber den ESXi vswitch auch auf MTU 9000 stellen.
thor17
Enthusiast
- Mitglied seit
- 14.03.2010
- Beiträge
- 569
Hallo miteinander!
Weiß jemand, wie's aktuell mit der Implementierung von Host-Aware Unterstützung in ZFS aussieht?
Die SMR Platten sind ja nun schon ne Weile auf dem Markt und die Preise durchaus verführerisch
Aber die Performance bei Host-Managed soll ja unter aller Sau sein.
Weiß jemand, wie's aktuell mit der Implementierung von Host-Aware Unterstützung in ZFS aussieht?
Die SMR Platten sind ja nun schon ne Weile auf dem Markt und die Preise durchaus verführerisch
Aber die Performance bei Host-Managed soll ja unter aller Sau sein.
SMR Platten sind billig und dafür lausig langsam beim Schreiben.
Da es mittlerweise auch ähnlich große und nur etwas teurere NAS Platten eigentlich überflüsig. Auf der letzten OpenZFS conference in Paris gab es dazu auch eine Präsentation von HGST mit anschließender Diskussion.
Tenor:
MSR Platten im Raid benötigen Unterstützung im OS sonst sind sie beim Schreiben nicht nur lausig langsam sondern extrem langsam - das kann bis zum Timeout gehen. Selbst ZFS Pools können dann defekte Dateien bekommen.
Finger weg!
Da es mittlerweise auch ähnlich große und nur etwas teurere NAS Platten eigentlich überflüsig. Auf der letzten OpenZFS conference in Paris gab es dazu auch eine Präsentation von HGST mit anschließender Diskussion.
Tenor:
MSR Platten im Raid benötigen Unterstützung im OS sonst sind sie beim Schreiben nicht nur lausig langsam sondern extrem langsam - das kann bis zum Timeout gehen. Selbst ZFS Pools können dann defekte Dateien bekommen.
Finger weg!
